Robots.txt 생성기
User-agent 고르고 허용/차단 경로 넣으면 robots.txt 파일이 바로 완성. AI 크롤러 차단 프리셋도 있어요.
쓰는 법
- User-agent 선택: 구글봇, 빙봇, GPTBot, ClaudeBot 등에서 고르거나 직접 입력(
*= 모든 봇). - 규칙 추가: Allow 또는 Disallow 선택 + 경로 입력(
/admin/,/search). - Sitemap URL 입력(
https://example.com/sitemap.xml). - 필요하면 Crawl-delay 설정(봇이 요청 사이에 몇 초 쉴지).
- 미리보기 확인 후 복사 or robots.txt 파일로 다운로드.
- FTP로 사이트 루트에 업로드.
AI 봇 차단 예시
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml크롤러에게 '어디 들어가지 마라' 알려주는 파일
robots.txt는 사이트 루트(example.com/robots.txt)에 두는 평문 파일이에요. 구글봇이나 빙봇이 사이트 크롤링하러 오기 전에 이 파일을 먼저 읽고 '어디는 들어가지 마라'를 확인합니다.
관리자 페이지, 검색 결과 페이지, 중복 콘텐츠 URL 같은 거 인덱싱 안 되게 막고 싶을 때 필수예요. 요즘엔 GPTBot, ClaudeBot 같은 AI 크롤러 차단 수요도 많아서 그 프리셋도 넣어뒀습니다.
여기 쓰면 편한 점
- 문법 오류 걱정 없어요. 체크박스/드롭다운으로 만들면 형식 자동 보장.
- 구글봇, 빙봇, 네이버 예티, GPTBot, ClaudeBot 등 자주 쓰는 크롤러가 미리 등록돼 있어요.
- AI 학습 크롤러 차단 프리셋 제공. 요즘 콘텐츠 학습 안 시키고 싶은 수요 많잖아요.
- 규칙 추가할 때마다 미리보기가 실시간 갱신.
- 복사 or robots.txt 파일 다운로드 한 번에.
- 모든 처리는 브라우저에서. 설정값 서버로 안 나감.
다른 robots.txt 생성기랑 비교
| 항목 | FreeToolbox | SEOptimer | Ryte |
|---|---|---|---|
| 동작 위치 | 브라우저 | 서버 | 서버 |
| AI 크롤러 프리셋 | 있음 (GPTBot, ClaudeBot) | 없음 | 없음 |
| 커스텀 user-agent | 있음 | 제한적 | 있음 |
| 실시간 미리보기 | 있음 | 있음 | 있음 |
| 가입 필요 | 없음 | 없음 | 필요 |
자주 묻는 질문
robots.txt 정확히 뭐예요?
사이트 루트에 두는 평문 파일이에요. 크롤러(검색엔진 봇)에게 '이 경로는 들어오지 마라' 또는 '여기는 괜찮다'를 알려줍니다. Robots Exclusion Protocol이라는 표준을 따르고요.
GPTBot 같은 AI 크롤러는 어떻게 막아요?
User-Agent 드롭다운에서 GPTBot(또는 ChatGPT-User, ClaudeBot, Google-Extended) 선택하시고 '/'에 Disallow 규칙 추가하세요. 생성된 robots.txt가 해당 봇에게 사이트 전체 크롤링 금지하라고 지시합니다.
파일 어디다 올려요?
사이트 루트 디렉터리에 올리셔서 https://yourdomain.com/robots.txt로 접근되게 하셔야 해요. FTP, cPanel, CMS 관리자 화면 어디서든 업로드 가능합니다.
robots.txt 쓰면 검색 결과에서 완전히 사라지나요?
아니요. 이건 '부탁'이지 강제가 아니에요. 정상적인 봇은 지키지만 악성 봇은 무시할 수 있고, 심지어 구글도 다른 사이트에 링크 있으면 robots.txt로 막은 페이지를 인덱싱 할 수 있어요. 확실히 빼려면 페이지에 <meta name="robots" content="noindex"> 넣으셔야 합니다.
Crawl-delay는 뭐예요?
봇이 요청 사이에 몇 초 기다릴지 지정해요. 서버 부하 줄이고 싶을 때 쓰는데, 구글봇은 이걸 무시해요. 구글 크롤링 속도 조절은 Search Console에서 따로 설정하셔야 합니다. 빙은 지원하고요.