robots.txt는 검색로봇에게 이 폴더는 수집해도 좋고 저 폴더는 수집하지 말라고 알려주는 텍스트 파일입니다. 사이트 최상위 주소(예: 내주소/robots.txt)에 두며, 검색로봇은 사이트를 수집하기 전에 이 파일을 먼저 확인합니다. 한 줄 실수로 사이트 전체가 검색에서 빠질 수 있는 파일입니다. 원리를 알고 만지는 것이 중요합니다.
기본 문법 이해하기
User-agent는 규칙을 적용할 로봇(*는 전체), Disallow는 수집 제외 경로, Allow는 예외적으로 허용할 경로입니다. 이 세 지시어가 핵심입니다. 참고로 네이버 검색로봇의 이름은 Yeti, 구글은 Googlebot입니다.
상황별 설정 절차
- 현재 상태 확인: 브라우저에서
내주소/robots.txt를 열어봅니다. 파일이 없으면 전체 수집 허용과 같게 동작하는 것이 일반적입니다. - 전체 허용으로 시작: 일반 홈페이지라면 다음이면 충분합니다.
User-agent: *
Allow: /
Sitemap: https://내주소/sitemap.xml - 숨길 경로가 있다면 추가: 관리자 페이지 등은
Disallow: /admin/처럼 경로 단위로 제외합니다. - 서버에 업로드: 반드시 사이트 최상위에 두어야 하며, 하위 폴더에 두면 인식되지 않습니다.
- 검증: 구글 서치콘솔과 네이버 서치어드바이저의 robots.txt 관련 확인 기능으로 의도대로 동작하는지 점검합니다.
절대 하면 안 되는 실수
- Disallow: / — 슬래시 하나가 사이트 전체 수집 금지라는 뜻입니다. 개발 중 임시로 넣었다가 오픈 후 지우지 않는 사고가 정말 많습니다.
- robots.txt로 비밀 정보를 보호하려는 것 — 이 파일은 누구나 볼 수 있고, 접근 자체를 막는 기능이 아닙니다. 보안은 로그인·권한 설정으로 해야 합니다.
- 검색 결과에서 특정 페이지를 빼고 싶을 때 robots.txt만 쓰는 것 — 이미 색인된 페이지 제거는 메타 robots(noindex)나 각 검색엔진의 제거 도구를 함께 써야 확실합니다.
robots.txt와 SEO의 관계
robots.txt는 순위를 올리는 도구가 아니라 수집 범위를 정리하는 도구입니다. 불필요한 페이지(내부 검색결과, 장바구니 등) 수집을 막아 검색엔진이 중요한 페이지에 집중하게 하는 것이 실질적 효과입니다. Sitemap 줄을 넣어 사이트맵 위치를 알려주는 것도 잊지 마세요.
오픈 전 점검 목록
일반 홈페이지는 전체 허용과 Sitemap 한 줄이면 기본 설정으로 충분합니다. 문제는 Disallow: / 한 줄입니다. 이 한 줄이 사이트 전체를 검색에서 지울 수 있으니 오픈할 때 반드시 점검하세요. 보안 장치가 아니라 수집 정리 용도의 파일이라는 점도 기억해 두시고요. NOAH 패키지는 robots.txt를 포함한 SEO 기본 설정을 갖춘 상태로 사이트를 오픈해 드립니다.