워드프레스 블로그의 검색 엔진 최적화(SEO)에서 robots.txt 파일은 크롤러 접근을 제어하고, 중요한 페이지 색인을 관리하는 핵심 도구입니다. 이 글에서는 초보자도 쉽게 따라할 수 있도록 워드프레스 robots.txt 수정 방법과 FileZilla 업로드 방법을 2025년 최신 기준으로 단계별 안내합니다.
검색 노출을 방해하는 숨은 원인, robots.txt 오류
워드프레스 robots.txt 수정은 검색 엔진 최적화에서 중요한 과정입니다. 많은 워드프레스 블로거들이 구글 검색 노출이 잘 안 되는 이유를 ‘콘텐츠 부족’으로만 생각합니다.
하지만, 실제로는 robots.txt 설정 오류나 불필요한 페이지 색인으로 인해 **크롤링 예산(Crawl Budget)**이 낭비되는 경우가 많습니다.
예를 들어, /search/, /author/, /feed/ 같은 페이지가 색인되면 중요한 글이 크롤링 대상에서 밀릴 수 있습니다.
또한, robots.txt를 수정하려 해도 워드프레스 관리자에서 직접 수정이 안 되거나 “파일을 쓸 수 없습니다” 같은 오류를 만나 당황하는 경우도 있습니다.
이럴 땐 FTP 프로그램인 FileZilla를 활용하면 해결이 가능합니다.
크롤링 예산 낭비가 SEO에 미치는 악영향
검색 엔진은 하루에 사이트를 크롤링할 수 있는 횟수가 제한적입니다.
이를 크롤링 예산이라고 부르는데,
이 예산이 불필요한 페이지에 쓰이면 다음과 같은 문제가 발생합니다.
- 주요 글이 색인 지연 또는 누락됨
- 구글 검색 순위가 하락
- 중복 콘텐츠 판정으로 SEO 점수 감소
- 사이트맵을 제출해도 색인률이 낮음
특히, robots.txt가 잘못 설정된 경우는 수개월 동안 색인 정체로 이어질 수 있습니다.
따라서 robots.txt를 올바르게 설정하고, 변경 내용을 구글에 즉시 반영하는 것이 매우 중요합니다.
robots.txt 최적화와 FileZilla 활용
1. robots.txt의 역할 이해하기
robots.txt는 사이트 루트 디렉토리에 위치하며, 검색 엔진 크롤러에게 어떤 페이지를 크롤링할지/말지를 지시합니다.
기본 형식은 다음과 같습니다.
makefile복사편집User-agent: *
Disallow: /경로/
Allow: /경로/
Sitemap: https://도메인/sitemap_index.xml
User-agent: *→ 모든 검색 엔진 크롤러에 적용Disallow:→ 크롤링 차단 경로 지정Allow:→ 허용 경로 지정Sitemap:→ 사이트맵 주소 지정
2. 차단이 필요한 대표적인 경로
워드프레스 블로그에서 색인 제외 권장 경로는 다음과 같습니다.
makefile복사편집Disallow: /search/
Disallow: /author/
Disallow: /*sitemap.xml
Disallow: /*/feed/
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
이렇게 하면 검색엔진이 불필요한 내부 검색, 작성자 페이지, RSS 피드, 관리자 영역은 크롤링하지 않고, 중요한 콘텐츠에 집중하게 됩니다.
3. 워드프레스 robots.txt 수정 방법
(1) 플러그인 사용 – Rank Math 또는 Yoast SEO
- Rank Math:
Rank Math > 일반 설정 > 편집기(robots.txt)에서 수정
단, “파일을 쓸 수 없습니다” 메시지가 뜨면 FTP로 직접 업로드 필요 - Yoast SEO:
SEO > 도구 > 파일 편집메뉴에서 robots.txt 편집 가능
(2) 플러그인 없이 직접 업로드
- FTP 또는 호스팅 파일 관리자에서
robots.txt파일을 직접 생성/수정 후 업로드
4. FileZilla로 robots.txt 업로드 방법
(1) FileZilla 설치 & 접속
- FileZilla 공식 홈페이지에서 다운로드 및 설치
- 카페24/가비아 등 호스팅사에서 제공하는 FTP 접속 정보 확인
- 호스트:
도메인또는ftp.도메인 - 사용자명: FTP 아이디
- 비밀번호: FTP 전용 비밀번호
- 포트: 보통 21 (SFTP는 22)
- 호스트:
- FileZilla 상단
호스트 / 사용자명 / 비밀번호 / 포트입력 → 빠른 연결 클릭
(2) robots.txt 생성
- 메모장 또는 Notepad++로 새 파일 생성
- 다음 내용 입력:
makefile복사편집User-agent: *
# Block unnecessary pages from indexing
Disallow: /search/
Disallow: /author/
Disallow: /*sitemap.xml
Disallow: /*/feed/
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
# Allow all other pages
Allow: /
# Sitemap location
Sitemap: https://blosense.com/sitemap_index.xml
- 파일명을 robots.txt로 저장 (UTF-8 인코딩 권장)
- 주석처리를 영어로 변경(한글 업로시 깨짐현상 발생)
(3) FileZilla로 업로드
- FileZilla에서 오른쪽(서버) 창의 public_html 폴더로 이동
- 왼쪽(내 컴퓨터) 창에서 만든
robots.txt선택 → 오른쪽으로 드래그하여 업로드 - 업로드 후 브라우저에서
https://도메인/robots.txt접속해 내용 확인
5. Google Search Console에서 재크롤링 요청
- Search Console 접속 → 설정 → robots.txt 메뉴
- 업로드된 파일이 최신 내용인지 확인
- 재크롤링 요청 클릭
- 24~48시간 후 반영 여부 확인
최적화 효과와 추가 활용 팁
- robots.txt를 정리하면 불필요 색인 소모를 줄이고 중요 페이지 색인 속도를 높일 수 있음
- FileZilla를 익혀두면 robots.txt뿐 아니라 테마 수정, 이미지 일괄 업로드 등 다양한 작업 가능
- Google Search Console과 함께 사용하면 검색 노출 관리가 체계적으로 가능
적용 대상과 점검 주기
- 블로그를 정보형·수익형으로 운영하는 경우, robots.txt는 반드시 커스터마이징 필요
- 특히 정부·지자체 혜택, 건강, 여행 등 글이 많은 블로그는 크롤링 예산 관리가 핵심
- 매달 한 번 robots.txt 내용을 점검하고, 새 경로가 생기면 Disallow 추가
지금 바로 실행하세요
지금 바로 FileZilla를 설치하고, robots.txt 최적화하세요.
- FTP 계정 정보 확인
- 최적화된 robots.txt 파일 생성
- FileZilla로 업로드
- Search Console에서 재크롤링 요청
이 단계를 거치면, 블로그 구글 색인률 향상되고 워드프레스 SEO 최적화로 점수가 상승하는 것을 경험하게 될 것입니다.
