robots.txt 규칙을 즉시 테스트하세요. 파일을 붙여넣고 크롤러를 선택하면 허용되거나 차단된 URL을 정확히 확인할 수 있습니다.
| Line | Directive | Value | Applies To | Status |
|---|
테스트를 넘어 OneStepToRank는 검색 엔진이 사이트를 크롤링하고 색인하는 방식을 지속적으로 모니터링하며, 전체 서비스 영역에서 순위 변동을 알려줍니다.
시작하기A robots.txt 파일은 웹사이트 루트에 배치되는 간단한 텍스트 문서로, 검색 엔진 봇에게 크롤링 지시를 전달합니다. Googlebot과 같은 크롤러가 사이트를 방문하면 가장 먼저 확인하는 것이 https://yoursite.com/robots.txt입니다. 이 파일은 크롤러에게 접근 가능한 페이지나 디렉터리와 건너뛰어야 할 항목을 알려줍니다. 이 메커니즘은 Robots Exclusion Protocol이라고 하며, 1994년부터 사용된 표준입니다.
robots.txt는 접근 제어를 강제하지 않으며(잘못된 봇은 무시할 수 있음) 주요 검색 엔진과 신뢰받는 AI 크롤러는 이를 준수합니다. 올바른 robots.txt를 설정하는 것은 인덱싱되는 내용 제어, 민감한 디렉터리 보호, 크롤링 예산 관리, 그리고 AI 모델이 귀하의 콘텐츠를 학습하는 것을 방지하는 데 필수적입니다.
이 도구는 Googlebot이 따르는 동일한 규칙에 따라 robots.txt를 파싱하며, 다음과 같은 주요 동작을 포함합니다:
User-agent: * 와일드카드 섹션으로 대체합니다.*)는 모든 문자 시퀀스와 매칭됩니다. 달러 기호($)는 패턴을 URL 끝에 고정합니다. 예를 들어, Disallow: /*.pdf$는 .pdf로 끝나는 모든 URL을 차단합니다.User-agent, Disallow)은 대소문자를 구분하지 않지만, URL 경로는 대소문자를 구분하여 매칭됩니다.대형 언어 모델이 급증함에 따라 많은 사이트 소유자는 콘텐츠가 학습 데이터로 사용되는 것을 방지하고 싶어합니다. 주요 AI 기업들은 차단할 수 있는 특정 user-agent 문자열을 도입했습니다:
검색 엔진 크롤러는 그대로 두고 모든 AI 크롤러를 차단할 수 있습니다. 이 테스터를 사용해 규칙이 의도대로 작동하는지 확인하고, Robots.txt Generator를 이용해 처음부터 올바른 형식의 파일을 생성하세요.
경험 많은 웹마스터도 robots.txt에서 다음과 같은 실수를 저지릅니다:
Disallow: /admin는 /admin와 /admin/page를 차단하지만 /administrator도 차단합니다. 보다 정확히 하려면 /admin/를 사용하세요.이 테스터를 Schema Generator와 SERP Previewer와 함께 사용해 검색 엔진이 콘텐츠에 접근하고 매력적으로 표시하도록 하세요.
robots.txt 파일은 웹사이트 루트(예: example.com/robots.txt)에 배치되는 일반 텍스트 파일로, 검색 엔진 크롤러에게 어떤 페이지에 접근할 수 있고 없는지를 알려줍니다. Robots Exclusion Protocol을 따르며, 크롤러가 사이트를 색인하기 전에 가장 먼저 확인하는 파일입니다.
robots.txt는 두 가지 와일드카드 문자를 지원합니다: 별표(*)는 모든 문자 시퀀스와 매칭되고, 달러 기호($)는 매칭을 URL 끝에 고정합니다. 예를 들어 "Disallow: /*.pdf$"는 .pdf로 끝나는 모든 URL을 차단하고, "Disallow: /private*"는 /private로 시작하는 모든 URL을 차단합니다.
이는 콘텐츠 전략에 따라 다릅니다. AI 크롤러를 차단하면 콘텐츠가 대형 언어 모델 학습에 사용되는 것을 방지할 수 있습니다. 많은 퍼블리셔가 원본 콘텐츠 보호를 위해 차단하지만, 가시성을 높이기 위해 허용하기도 합니다. 검색 엔진 크롤러는 유지하면서 AI 크롤러만 선택적으로 차단할 수 있습니다.
완전히 방지하지는 않습니다. robots.txt는 크롤러가 페이지 내용을 읽는 것을 막지만, 다른 사이트가 링크하면 Google이 URL 자체를 색인할 수 있습니다. 이 경우 스니펫 없이 URL만 표시됩니다. 완전한 차단을 원한다면 "noindex" 메타 태그나 X-Robots-Tag HTTP 헤더를 함께 사용하세요.