크롤링됨 색인 생성 안 됨이 뜰 때 구글 색인 요청 버튼은 답이 아닙니다

글을 발행했는데 Search Console에 "크롤링됨 — 현재 색인이 생성되지 않음"이 떠 있다. 이 상태를 보고 "색인 생성 요청" 버튼을 다시 누르는 사람이 많다. 그게 틀린 행동은 아니지만, 대부분의 경우 그 버튼이 문제가 아니다.

구글이 내 페이지를 검색 결과에 올리려면 세 단계가 필요하다. 발견(Discovery) — Googlebot이 URL을 아는 것, 크롤링(Crawling) — 페이지를 실제로 가져와 읽는 것, 색인(Indexing) — 내용을 파싱해 검색 DB에 등재하는 것. "크롤링됨, 색인 생성 안 됨"은 앞의 두 단계는 통과했다는 뜻이다. 구글이 내 글을 읽었는데도 색인에 안 넣겠다고 판단한 거다. 이건 기술 오류가 아니라 품질 판단 신호다.

구글은 처리 시간을 공식적으로 "보장할 수 없다"고 명시한다. 기존 사이트의 새 글은 1~3일 내외가 일반적이지만, 신규 사이트는 수주가 걸리기도 한다.

색인 신호를 보내는 경로는 크게 세 가지다 — URL 검사 도구, Sitemap 제출, IndexNow 프로토콜. 셋 모두 쓴다고 빨라지는 게 아니라, 지금 막혀 있는 지점이 어디냐에 따라 맞는 도구가 다르다.

---

"크롤링됨, 색인 생성 안 됨"이 뜨면 버튼부터 누르지 말자

이 상태 메시지를 받았을 때 가장 많이 하는 실수가 버튼 재클릭이다. 구글이 이미 내 페이지를 읽었다. 문제는 읽었지만 등재할 가치가 있다고 보지 않았다는 거다.

구글 공식 문서는 이 상태의 원인으로 두 가지를 꼽는다. 하나는 크롤 예산 부족 — 사이트에 불필요한 URL이 많아서 Googlebot이 핵심 페이지에 집중하지 못하는 경우. 다른 하나는 콘텐츠 품질 판단 — 얕은 콘텐츠(thin content), 중복 콘텐츠, 또는 같은 사이트의 유사 페이지가 많을 때.

실제로 콘텐츠 품질이 원인일 때 버튼을 100번 눌러도 결과가 바뀌지 않는다. 구글이 "이미 읽었는데 안 넣을 거야"라고 판단한 상태이기 때문이다. 이 경우 해야 할 일은 순서대로 이렇다.

1. canonical 태그 확인 — URL 검사에서 "URL이 대체 버전임"이 같이 뜨면 canonical이 다른 URL을 가리키고 있다는 뜻이다. 이걸 먼저 수정한다.
2. 중복/유사 페이지 점검 — 같은 사이트 내에 내용이 거의 같은 페이지가 있으면 구글은 하나만 색인에 넣는다. 불필요한 파라미터 URL이나 카테고리 중복 페이지는 noindex로 크롤 예산을 핵심 페이지에 집중시킨다.
3. 콘텐츠 실질 개선 — 분량보다 깊이가 중요하다. 같은 주제를 다루는 다른 색인된 페이지보다 독자에게 더 줄 게 없다면, 버튼 재클릭보다 글 자체를 보강하는 게 먼저다.

버튼 재클릭이 의미 있는 경우는 딱 하나다 — 글을 실질적으로 개선한 뒤, "이 글은 업데이트됐다"는 신호를 다시 보낼 때.

---

URL 검사 도구로 단건 진단과 긴급 요청

Search Console 상단 검색창에 URL을 입력하면 현재 색인 상태와 크롤링 오류를 바로 확인할 수 있다. "색인 생성 요청" 버튼은 Googlebot 우선순위 큐에 해당 URL을 추가한다.

하루에 제출할 수 있는 횟수에 한도가 있어서 대량 URL에는 적합하지 않다. 요청 후 처리까지는 수시간~수일이 걸리고, "접수 중" 상태가 1~2주 지속되는 경우도 실제로 있다. URL 검사는 도구 이름처럼 진단이 주목적이다 — 상태 메시지별 의미를 알아야 다음 행동을 정할 수 있다.

---

Sitemap의 실제 역할과 효과 없는 태그들

Sitemap은 내 사이트의 URL 목록을 구글에 알려주는 가장 기본적인 방법이다. 처음 사이트를 등록하거나 글이 수십 개 이상일 때 특히 효과적이다.

구글 Sitemap 공식 스펙을 요약하면 — 파일 하나에 최대 50,000개 URL, 50MB(비압축) 제한이고 초과 시 여러 파일로 분할 후 sitemap index 파일을 쓴다. 제출은 Search Console Sitemaps 메뉴에서 직접 하거나, robots.txt에 Sitemap: https://example.com/sitemap.xml을 추가해 구글이 자동으로 발견하게 할 수 있다.

여기서 많은 CMS 사용자가 모르는 사실이 하나 있다. WordPress의 Yoast SEO, Rank Math를 포함한 대부분의 SEO 플러그인이 Sitemap에 와 태그를 자동으로 넣는다. 하지만 구글은 이 두 태그를 무시한다고 공식 문서에 명시하고 있다. 구글 Search Central의 설명을 그대로 옮기면 "Google은 일반적으로 이러한 태그를 무시합니다."

Sitemap 태그 중 실제로 구글이 반응하는 것은 하나다. 단 조건이 있다 — 실제 콘텐츠 변경일과 정확히 일치해야 한다. 를 발행일마다 자동으로 현재 날짜로 바꾸도록 설정해둔 사이트는 구글이 이 태그를 신뢰하지 않게 된다. 글을 진짜로 업데이트했을 때만 날짜를 바꾸는 게 원칙이다.

Sitemap 처리 속도는 크롤 예산에 따라 달라진다. 신규 사이트는 수주가 걸릴 수 있고, 권위 있는 오래된 사이트는 하루 이내에 반영되기도 한다.

---

IndexNow가 구글 색인을 앞당긴다는 오해

IndexNow는 Microsoft, Naver, Yandex 등이 공동으로 만든 오픈 프로토콜이다. 핵심은 푸시(push) 방식이다. 검색엔진이 크롤해서 발견하길 기다리는 게 아니라, 내가 직접 "이 URL이 바뀌었다"고 알린다.

이 프로토콜과 관련해 자주 퍼지는 오해가 있다 — "IndexNow를 쓰면 구글 색인이 빨라진다"는 주장이다. 2026년 7월 기준 지원 검색엔진은 Bing, Naver, Yandex, Seznam.cz, Yep, AmazonBot이다. 구글은 IndexNow를 공식 지원하지 않는다. Bing에 알림을 보내면 Bing이 Googlebot에게 전달해준다는 이야기도 돌지만, 구글은 이 경로를 공식적으로 인정하지 않는다.

IndexNow의 실제 가치는 구글 외 검색엔진에 있다. 국내에서는 네이버 트래픽도 무시할 수 없고, Bing은 여전히 글로벌 점유율 2위다. 구글만 챙기는 전략보다 검색 커버리지가 넓어진다는 점이 장점이다.

구현은 어렵지 않다. 8~128자의 alphanumeric 키(영문 대소문자·숫자·대시 허용)를 생성하고, 키 파일을 사이트 루트에 올린 뒤(https://example.com/.txt), API를 호출하면 된다.

GET https://api.indexnow.org/indexnow?url=https://example.com/new-post&key=a1b2c3d4e5f6g7h8

HTTP 200 응답이 오면 접수 완료다. 배치 제출(최대 10,000 URL)은 POST 방식으로 JSON body를 보낸다. HTTP 429(Too Many Requests)가 오면 제출 빈도를 줄여야 한다.

---

내 상황에 맞는 도구 고르기

색인 신호를 보내는 도구가 세 가지라고 해서 셋 다 써야 하는 건 아니다. 막혀 있는 지점이 어딘지에 따라 맞는 도구가 다르다.

신규 사이트, 아직 색인된 페이지가 거의 없다

→ Sitemap 제출이 먼저다. Search Console에 사이트를 등록하고 Sitemap URL을 제출한다. 태그를 실제 발행일로 정확히 채운다. URL 검사 도구로 대표 페이지 몇 개를 수동 요청하면 초기 크롤링을 유도할 수 있다.

운영 중인 사이트, 새 글이 1~3일 안에 안 잡힌다

→ URL 검사 도구로 상태 메시지를 먼저 확인한다. "크롤링됨, 색인 생성 안 됨"이면 버튼보다 콘텐츠를 먼저 점검한다. "등록 안 됨"이면 robots.txt·noindex·canonical 순서로 기술 오류를 체크한다.

구글 색인은 잘 되는데 Bing·Naver 유입도 챙기고 싶다

→ IndexNow API를 발행 자동화에 연결한다. 글 발행 직후 API 호출 한 줄로 Bing·Naver·Yandex에 동시 알림이 간다.

Sitemap을 제출했는데 처리가 느리다

→ Sitemap 파일 안에 불필요한 URL(파라미터·카테고리 중복·태그 페이지 등)이 많은지 확인한다. 구글은 Sitemap의 URL 수가 많아도 크롤 예산을 다 쓰지 않는다. 핵심 콘텐츠 URL만 포함된 Sitemap이 처리 우선순위를 높이는 데 도움이 된다.

---

발행 후 시점별로 확인하고 움직이기

세 방법이 중복돼도 문제없다. 구글은 중복 요청을 무시하고 처리 큐에 한 번만 추가한다. 색인이 빠른 사이트를 보면 기술적 차단이 없고, 내부 링크가 잘 연결돼 있고, 콘텐츠 품질이 어느 수준 이상이다. 색인 요청 방법은 그 위에서 효과를 낸다. 도구를 더 쓴다고 해결되는 문제가 아니라, 구글이 색인에 넣고 싶어지는 콘텐츠를 만드는 게 근본이다.

---

참고자료

• Google Search Central — 크롤링 및 색인 생성 개요
• Google Search Console URL 검사 도구 도움말
• IndexNow 공식 사이트 및 문서