구글 서치 콘솔에서 "크롤링됨 - 현재 색인이 생성되지 않음"이나 "검색된 - 현재 색인이 생성되지 않음" 상태를 마주치면 당황하기 쉽지만, 대부분은 콘텐츠 품질·중복·크롤 예산 중 하나의 문제로 좁혀집니다. 상태별 의미와 실제 서버·코드 레벨에서 확인해야 할 지점을 정리합니다.
색인 생성 안 됨, 정확히 무슨 뜻인가
서치 콘솔의 색인 생성 관련 상태는 크게 두 갈래로 나뉩니다.
- 검색된 - 현재 색인이 생성되지 않음: 구글이 아직 크롤링 자체를 하지 않은 상태. 크롤 예산·우선순위 문제일 가능성이 큽니다.
- 크롤링됨 - 현재 색인이 생성되지 않음: 크롤링은 했지만 색인에 넣을 가치가 없다고 판단한 상태. 콘텐츠 품질·중복 문제일 가능성이 큽니다.
두 상태는 해결 방법이 다르므로, 먼저 어느 쪽인지 정확히 구분하는 것이 첫 단계입니다.
크롤링 자체가 안 되는 경우의 원인
크롤링 예산이 낮게 배정되는 대표 원인은 다음과 같습니다.
- 사이트 전체 응답 속도가 느려 크롤러가 방문 수를 줄임
- 내부 링크 구조상 해당 페이지로 가는 경로가 거의 없음(고립된 페이지)
- 사이트맵에 누락되어 발견 자체가 늦음
- 서버 로그에서 Googlebot 요청이 5xx·타임아웃으로 실패
서버 접속 로그에서 Googlebot User-Agent의 응답 코드를 필터링해 확인하면 실제 크롤 성공률을 가늠할 수 있습니다.
크롤링은 됐지만 색인에서 빠지는 경우
이 경우는 서버 문제가 아니라 콘텐츠 판단의 문제입니다.
- 다른 페이지와 본문이 80% 이상 유사한 중복·상용구 콘텐츠
- 본문이 지나치게 짧거나 목록·이미지만 있고 텍스트가 거의 없음
- canonical 태그가 다른 페이지를 가리키고 있음
- 기존에 색인됐던 페이지인데 최근 업데이트로 품질이 낮아짐
URL 검사 도구로 실제 렌더링된 페이지를 확인해 자바스크립트 오류로 본문이 비어 보이는 것은 아닌지도 함께 확인해야 합니다.
진단 절차: URL 검사 도구 활용법
- 서치 콘솔 상단 검색창에 문제 URL 입력
- 색인 생성 가능 여부와 사용자 게시 URL 테스트 결과 비교
- 렌더링된 HTML에서 본문·canonical·meta robots 값 확인
- 실제로 색인이 필요하면 색인 생성 요청 클릭 후 3~5일 대기
같은 요청을 반복 클릭해도 순서가 앞당겨지지는 않으므로, 원인 제거가 우선입니다.
상태별 원인·해결 매핑표
| 상태 | 흔한 원인 | 해결 방향 |
|---|---|---|
| 검색된-색인 생성 안 됨 | 크롤 예산 부족, 고립된 URL | 내부링크 추가, 사이트맵 갱신 |
| 크롤링됨-색인 생성 안 됨 | 저품질·중복 콘텐츠 | 본문 보강, canonical 정리 |
| 중복 콘텐츠, 사용자 canonical 없음 | canonical 미지정 | 페이지별 canonical 명시 |
| 페이지가 리디렉션임 | 301/302 체인 존재 | 리다이렉트 단축, 최종 URL 확인 |
재발을 막는 사전 점검 습관
신규 페이지를 발행할 때마다 아래를 습관적으로 확인하면 색인 문제 발생률이 크게 줄어듭니다.
- 발행 전: 본문 최소 글자 수, 제목·H1 중복 여부, canonical self-reference
- 발행 직후: 사이트맵 반영 여부, robots.txt 차단 여부
- 발행 1주 후: 서치 콘솔에서 색인 상태 확인
이 루틴은 사이트맵·RSS 제출 점검과 함께 운영하면 효과가 배가됩니다.
기술적으로 막혀 있는 경우 체크리스트
콘텐츠 문제가 아닌데도 색인이 안 된다면 다음을 순서대로 확인합니다.
robots.txt에서 해당 경로가Disallow처리되어 있는지- 페이지
<head>에<meta name="robots" content="noindex">가 남아 있는지 (스테이징 설정이 실서비스에 배포된 경우 흔함) - HTTP 응답 헤더에
X-Robots-Tag: noindex가 포함되어 있는지 - 서버가 Googlebot IP·User-Agent를 WAF 규칙으로 차단하고 있는지
서버 로그로 크롤러 행동 직접 확인하기
서치 콘솔 화면만으로는 크롤러가 실제로 어떻게 움직였는지 다 보이지 않습니다. 액세스 로그를 직접 열어보면 더 정확한 그림이 나옵니다.
grep "Googlebot" access.log | awk '{print $9}' | sort | uniq -c위 명령으로 Googlebot 요청의 응답 코드 분포를 뽑아보면, 200 대비 404·500·타임아웃 비율이 지나치게 높은지 바로 확인할 수 있습니다. 특정 시간대에 5xx가 몰려 있다면 배치 작업이나 백업 스케줄과 크롤링 시간이 겹치는지도 점검 대상입니다.
User-Agent만으로는 가짜 크롤러(스크래퍼)를 걸러내기 어려우므로, 중요한 진단에는 역방향 DNS로 실제 구글 IP인지 함께 확인하는 것이 안전합니다.
실무 정리
색인 문제는 한 번에 완전히 해결되지 않는 경우가 많고, 원인을 좁혀가며 반복 점검하는 과정이 필요합니다. 리뉴얼이나 서버 이전 직후라면 301 리다이렉트 보존 문서도 함께 확인하세요. 구조적인 원인이 반복된다면 무료 견적요청으로 URL 구조와 서버 로그를 함께 검토해 드립니다.
자주 묻는 질문 (FAQ)
색인 생성 요청을 눌러도 반영이 안 되는데 왜 그런가요? +
색인 생성 요청은 우선순위를 높여주는 신호일 뿐, 콘텐츠 품질이나 중복 문제가 해결되지 않으면 재크롤링 후에도 다시 제외될 수 있습니다. 원인 제거가 먼저입니다.
새로 만든 페이지가 몇 주째 크롤링조차 안 됩니다. +
사이트맵에 포함되어 있는지, 다른 페이지에서 내부링크가 연결되어 있는지 확인하세요. 완전히 고립된 페이지는 발견 자체가 늦어집니다.
중복 콘텐츠 판단은 어떻게 확인하나요? +
서치 콘솔 페이지 리포트에서 "중복, Google에서 선택한 표준과 다른 사용자 지정 canonical" 등의 문구를 확인하고, 실제 본문을 다른 페이지와 비교해 유사도를 점검합니다.
모바일에서만 색인이 안 되는 경우도 있나요? +
모바일 우선 색인이 기본이므로, 모바일 렌더링에서 콘텐츠가 잘려 보이거나 자바스크립트 오류로 본문이 비어 보이면 데스크톱과 결과가 달라질 수 있습니다. URL 검사에서 모바일 사용성을 함께 확인하세요.
색인 문제 해결 후 순위가 바로 회복되나요? +
색인이 다시 되는 것과 순위 회복은 별개입니다. 색인 이후에도 콘텐츠 품질·경쟁 강도에 따라 순위 안정화까지 수주가 걸릴 수 있습니다.