Robots.txt 생성기
검색 엔진용 robots.txt 파일을 만듭니다
크롤러 규칙
시작 템플릿을 선택한 다음 크롤러 접근 권한과 경로 예외를 조정하세요.
규칙 그룹
그룹 1
Disallow · 차단 경로
Allow · 예외
내 robots.txt
User-agent: * Disallow: /admin/ Disallow: /private/ Allow: /
미리보기가 갱신되었습니다. 게시하기 전에 규칙을 검토하세요.
웹사이트에 설치
- 생성된 내용을 복사하거나 다운로드하세요.
- robots.txt라는 이름의 UTF-8 텍스트 파일로 저장하세요.
- 해당 호스트, 프로토콜, 포트의 루트에 업로드하세요.
- yoursite.com/robots.txt에 접속하여 내용을 확인하세요.
- 게시 후 Search Console에서 robots.txt 보고서를 확인하세요.
게시하기 전에
- robots.txt는 크롤링을 제어합니다. 차단된 URL도 검색 결과에 표시될 수 있습니다.
- noindex를 사용하려면 크롤러가 페이지를 가져와 메타 태그나 응답 헤더를 읽을 수 있도록 허용하세요.
- 비공개 페이지와 스테이징 페이지는 인증으로 보호하세요. robots.txt는 누구나 읽을 수 있습니다.
- 페이지 렌더링에 필요한 CSS와 JavaScript는 크롤링할 수 있게 두세요.
- 각 템플릿을 자신의 URL 구조에 맞는지 확인하세요.
- 크롤러마다 다른 규칙이 필요하면 구체적인 user-agent를 사용하세요.
- 경로는 대소문자를 구분하며, *는 와일드카드이고 $는 URL의 끝을 나타냅니다.
Disallow · 차단 경로
Allow · 예외
Robots.txt 생성기 소개
이 Robots.txt 생성기는 웹사이트용 robots.txt 파일을 올바른 형식으로 만들어 주는 무료 온라인 도구입니다. robots.txt 파일은 검색엔진 크롤러가 접근할 수 있거나 접근할 수 없는 페이지 또는 디렉터리를 알려 주는 기술적 SEO의 기본 요소입니다. 크롤러 규칙은 선택한 경로에 대한 요청을 줄일 수 있습니다. 차단된 URL도 검색 결과에 나타날 수 있으며, 비공개 영역에는 robots.txt가 아닌 인증이 필요합니다.
웹사이트는 크롤러 규칙이 필요할 때 호스트의 루트에 robots.txt 파일을 둘 수 있습니다. 이 파일 없이도 크롤링을 허용할 수 있습니다. 이 생성기는 일반적인 템플릿, 여러 user-agent 그룹, 선택 사항인 사이트맵 및 지연 필드를 제공하므로, 사이트의 실제 경로에 맞는지 검토하세요.
블로그, 전자상거래 쇼핑몰, 기업 웹사이트, SaaS 애플리케이션 등 어떤 사이트든 robots.txt 생성기로 크롤러 규칙을 시각적으로 설정하고, 생성된 파일을 실시간으로 미리 보고, 한 번의 클릭으로 복사할 수 있습니다. 규칙을 편집하는 데 코딩은 필요하지 않습니다. 지시문 지원은 크롤러마다 다릅니다. Google은 User-agent, Allow, Disallow, Sitemap을 지원하며, 선택 사항인 지연 및 레거시 Host 필드는 무시될 수 있습니다.
주요 기능
- 기본 웹사이트, 제한적 설정, WordPress 블로그, 전자상거래 쇼핑몰용 빠른 템플릿
- 여러 user-agent(Googlebot, Bingbot, Yandex 등)별 크롤러 규칙 지원
- 규칙당 항목 수 제한 없는 Allow 및 Disallow 경로 설정
- 검색엔진의 발견을 돕는 사이트맵 URL 참조 필드
- 이를 따르는 봇을 위한 Crawl-delay 설정(Bing과 Yandex는 따르고, Google은 무시함)
- 구형 Yandex 설정을 위한 선택적 레거시 Host 줄(Yandex는 2018년부터 더 이상 사용하지 않으며, 도메인 정규화에는 301 리디렉션을 사용)
- 생성되는 robots.txt 파일의 실시간 미리보기
- 빠른 배포를 위한 원클릭 클립보드 복사
- 단계별 설치 안내 포함
- Google, Bing, Yandex, Baidu, DuckDuckGo 등 주요 검색엔진의 크롤러와 호환됩니다
사용 방법
- 템플릿 선택: 빠른 템플릿(기본, 제한적, WordPress 블로그, 전자상거래)을 선택해 일반적인 규칙을 미리 채우거나 처음부터 시작하세요.
- 크롤러 규칙 설정: user-agent를 지정하고, 차단할 디렉터리의 Disallow 경로와 예외로 둘 Allow 경로를 추가하세요.
- 전역 옵션 설정: 전역 설정 섹션에서 사이트맵 URL을 입력하고, 필요하면 크롤링 지연도 입력하세요.
- 출력 미리보기: 오른쪽의 실시간 미리보기 패널에서 생성된 robots.txt 파일을 확인하세요.
- 복사 및 배포: 복사 버튼을 클릭해 파일 내용을 복사한 다음, 웹사이트의 루트 디렉터리에 "robots.txt"로 저장하세요.
- 테스트 및 검증: 업로드한 후 Google Search Console(설정)의 robots.txt 보고서에서 Google이 파일을 가져와 파싱했는지 확인하세요.
활용 사례
- 크롤링 예산 최적화: 관리자 패널, 검색 결과, 태그 아카이브처럼 가치가 낮은 페이지를 차단하여 크롤러가 중요한 콘텐츠에 집중하도록 하세요.
- 중복 콘텐츠 방지: 중복 콘텐츠를 만드는 페이지 분할 페이지, 필터링된 보기, 매개변수가 많은 URL에 대한 접근을 Disallow로 막으세요.
- 서버 부하 관리: Bingbot, YandexBot처럼 이를 따르는 봇의 속도를 늦추도록 크롤링 지연을 설정하세요(Googlebot은 Crawl-delay를 무시함).
- 스테이징 사이트 보호: 개발 또는 스테이징 환경에 대한 접근은 인증으로 제한하세요. robots.txt만으로는 해당 URL이 색인되는 것을 막을 수 없습니다.
- WordPress 최적화: wp-admin과 내부 검색 결과는 차단하되, 페이지가 올바르게 렌더링되고 이미지가 색인될 수 있도록 admin-ajax.php, 테마, 업로드 파일은 크롤링 가능하게 두세요.
- 전자상거래 조정: 상품 및 카테고리 페이지는 허용하면서 장바구니, 결제, 계정, API 엔드포인트의 크롤링은 막으세요.
자주 묻는 질문
이 도구는 무료인가요?
예, Robots.txt 생성기는 가입이나 사용 제한 없이 완전히 무료입니다. 필요한 만큼 파일을 생성하고 복사하세요.
내 데이터는 안전한가요?
모든 설정은 브라우저에서 이루어집니다. 어떤 데이터도 서버로 전송되지 않습니다. robots.txt 내용은 전적으로 클라이언트 측에서 생성됩니다.
robots.txt 파일은 어디에 두어야 하나요?
robots.txt 파일은 웹사이트의 루트 디렉터리에 있어야 합니다. 예를 들어 검색엔진이 찾을 수 있도록 https://yourdomain.com/robots.txt 에서 접근할 수 있어야 합니다.
robots.txt로 페이지의 색인을 막을 수 있나요?
차단된 URL도 검색 결과에 나타날 수 있습니다. noindex로 색인을 막으려면 크롤러가 페이지를 가져와 메타 태그나 X-Robots-Tag 응답 헤더를 읽을 수 있게 해야 합니다. 비공개 페이지는 인증으로 보호할 수 있습니다.
CSS와 JavaScript 파일을 차단해야 하나요?
아니요. Google은 페이지를 올바르게 렌더링하기 위해 CSS와 JavaScript 파일에 접근해야 합니다. 이를 차단하면 Google이 페이지 레이아웃과 콘텐츠를 제대로 평가할 수 없어 SEO에 해로울 수 있습니다.
robots.txt는 보안 수단인가요?
아니요. robots.txt 파일은 공개적으로 접근할 수 있으며 규칙을 지키는 크롤러에 대한 권고일 뿐입니다. 민감한 정보를 보호하는 데 의존하지 마세요. 대신 서버 측 인증과 접근 제어를 사용하세요.
팁과 모범 사례
- 항상 사이트맵 포함: Sitemap 지시문을 추가하면 검색엔진이 중요한 모든 페이지를 더 빠르게 발견하는 데 도움이 됩니다.
- 배포 후 테스트: Google Search Console의 robots.txt 보고서와 URL 검사 도구로 중요한 페이지가 실수로 차단되지 않았는지 확인하세요.
- 경로는 구체적으로: 가치 있는 콘텐츠를 실수로 차단하지 않도록 넓은 패턴 대신 정확한 디렉터리 경로를 사용하세요.
- 대상 user-agent 사용: Google과 Bing에 서로 다른 규칙이 필요하면 구체적인 user-agent 이름으로 규칙 블록을 따로 만드세요.
- 정기적으로 검토: 새 섹션을 추가하거나 URL 구조를 변경하거나 웹사이트를 이전할 때마다 robots.txt를 업데이트하세요.
- 와일드카드는 신중하게: * 와일드카드와 $ URL 끝 표시자는 강력하지만 잘못 사용하면 중요한 페이지를 의도치 않게 차단할 수 있습니다.