구글 블로그를 처음 시작하는 많은 분들이 robots.txt 설정에 대해 혼란을 겪습니다. 검색엔진 최적화(SEO)와 블로그 노출에 중요한 이 설정은 단순해 보이지만, 실수하면 블로그 전체가 검색되지 않는 치명적인 결과를 낳을 수 있습니다. 이 글에서는 초보 블로거도 쉽게 이해할 수 있도록 robots.txt의 개념부터 기본 설정법, 주의사항까지 꼼꼼히 안내해 드리겠습니다.
robots.txt란 무엇인가요?
robots.txt는 검색엔진 로봇(crawler)에게 웹사이트의 어떤 부분을 크롤링(수집)해도 되는지, 또는 하지 말아야 하는지를 알려주는 텍스트 파일입니다. 구글, 네이버, 빙(Bing) 등 대부분의 검색엔진은 이 파일을 먼저 읽은 뒤 허용된 페이지를 수집합니다. 따라서 robots.txt 설정이 잘못되면 블로그 전체가 검색엔진에 노출되지 않을 수 있습니다.
구글 블로그는 Blogger 플랫폼을 기반으로 하기 때문에 일반적인 웹사이트처럼 서버에 직접 파일을 업로드하는 구조는 아닙니다. 대신 Blogger의 관리자 설정을 통해 간접적으로 robots.txt를 설정할 수 있습니다. 초보자일수록 이 과정을 정확히 이해하고 따라야 하며, ‘Disallow’와 ‘Allow’의 개념을 혼동하면 안 됩니다.
예를 들어, 아래와 같은 간단한 설정은 블로그의 모든 콘텐츠를 검색 허용하는 의미입니다:
User-agent: * Disallow: /search Allow: / Sitemap: https://oooooooo.blogspot.com/sitemap.xml
반대로 Disallow를 “/”로 설정하면 전체 차단입니다. 이처럼 기호 하나 차이로 큰 결과를 초래할 수 있기 때문에 robots.txt는 신중하게 다루어야 합니다. 검색 누락으로 인해 애드센스 수익화가 어려워질 수도 있기 때문입니다.
구글 블로그에서 robots.txt 설정하는 방법
구글 블로그에서 robots.txt를 설정하려면 Blogger 관리자 페이지에 접속해야 합니다. 설정 과정은 다음과 같습니다:
블로그 관리자 페이지 접속
좌측 메뉴에서 “설정” → “크롤러 및 인덱싱” 클릭
사용자 지정 robots.txt 사용 여부를 “예”로 선택
입력창에 robots.txt 내용을 직접 입력
저장
초보자용 추천 기본 설정 예시는 아래와 같습니다:
User-agent: *
Disallow: /search
Allow: / Sitemap: https://블로그주소/sitemap.xml
이 설정은 검색엔진이 /search 경로(태그 검색 결과 등)는 제외하고 나머지는 모두 크롤링할 수 있도록 허용합니다. 특히 Sitemap 항목을 추가하면 구글봇이 블로그 구조를 더 빠르게 이해하고 색인을 생성하는 데 도움이 됩니다.
주의할 점은, robots.txt 파일을 저장한 후 바로 검색 결과에 반영되는 것이 아니라는 점입니다. 보통 크롤러가 재방문할 때까지 몇 시간이 걸릴 수 있으며, 변경 사항을 테스트하려면 구글 서치 콘솔에서 직접 URL 검사를 통해 확인할 수 있습니다.
초보자가 자주 하는 실수와 주의사항
초보 블로거들이 robots.txt 설정에서 자주 저지르는 실수는 다음과 같습니다:
전체 차단 설정
Disallow: /로 설정해 블로그 전체가 검색엔진에 노출되지 않도록 만들어버리는 실수입니다. 수익형 블로그에서는 치명적입니다.검색엔진이 블로그 구조를 이해하는 데 핵심 역할을 하는 sitemap.xml을 robots.txt에 누락하면, 색인 생성 속도가 느려집니다.
태그 검색 결과인
/search경로는 중복 콘텐츠로 간주될 수 있어 SEO 점수를 떨어뜨릴 수 있습니다. 따라서Disallow: /search설정은 필수입니다.
robots.txt를 수정하면 즉시 검색 결과가 바뀔 것이라 기대하는데, 실제로는 크롤링 주기상 시간이 걸립니다. 이를 이유로 잘못된 설정을 반복하면 SEO에 악영향을 미칠 수 있습니다.Sitemap 누락
search 경로 허용 실수
설정 후 바로 검색 누락 우려
이 외에도 설정 후에는 구글 서치 콘솔을 통해 robots.txt 테스트 도구를 활용해 설정이 올바른지 확인하는 습관이 중요합니다. 특히 애드센스 승인 준비 중이라면 robots.txt 설정이 잘못되었을 경우 ‘콘텐츠 노출 부족’ 사유로 거절될 수 있으므로 필히 점검해야 합니다.
결론: robots.txt는 블로그 성공의 기본
robots.txt는 간단하지만 블로그 노출과 수익화에 큰 영향을 미치는 중요한 요소입니다. 초보 블로거라면 기본 개념부터 설정 방법, 자주 하는 실수까지 정확히 파악해야 검색엔진에 블로그가 정상 노출될 수 있습니다. 지금 바로 내 블로그의 robots.txt 설정을 확인하고, 구글 서치 콘솔을 통해 점검해보세요.
검색 최적화는 준비된 블로거에게 먼저 찾아옵니다.
