서치콘솔 색인 오류 유형별로 먼저 고칠 것과 그냥 둬도 되는 것

서치콘솔 Coverage 보고서에 '오류 12건'이 뜨면 전부 손을 대야 할 것 같은 기분이 드는데, 유형마다 긴급도가 전혀 다릅니다. 5xx 서버 오류 1건이 '크롤링됨-현재 색인이 생성되지 않음' 50건보다 훨씬 급하고, 반대로 404가 100건이어도 그냥 두는 게 맞는 경우도 있어요.

아래는 Coverage 보고서를 열었을 때 무엇을 먼저 확인하고 어디서 멈추면 되는지 판단 흐름입니다. 워드프레스·티스토리 환경에서 실제로 고칠 수 있는 범위도 함께 짚습니다.

Coverage 보고서에서 첫 번째로 물어야 할 것 📋

숫자가 아니라 구글봇이 어디서 막혔는가가 판단 출발점입니다.

오류든 제외됨이든 세 가지 기준으로 먼저 걸러보세요.

• 구글봇이 내 사이트에 아예 접근하지 못하고 있는가 — 즉각 대응
• 접근은 됐는데 잘못된 신호(robots 차단·noindex 오배치)를 받고 있는가 — 즉각 대응
• 크롤 예산을 조용히 낭비하고 있는가 — 우선순위 높게 처리

이 세 기준 중 하나라도 해당하면 처리 대상입니다. 해당하지 않으면 급하게 건드릴 필요가 없는 경우가 생각보다 많습니다. '제외됨'도 마찬가지입니다. noindex를 의도적으로 설정해둔 카테고리 페이지나 태그 페이지가 제외됨으로 표시되는 건 정상 동작입니다.

5xx가 보이면 다른 건 잠깐 미뤄도 된다

5xx 서버 오류(500 내부 오류·503 서비스 불가·504 게이트웨이 타임아웃)는 Coverage 에러 중 가장 먼저 처리해야 합니다. 구글봇이 접근 자체를 못 한 상태이거든요.

문제는 두 방향으로 번집니다. 하나는, 기존에 잘 색인되던 페이지가 드롭될 수 있다는 것. 구글봇이 계속 접근하지 못하면 색인을 유지하기 어렵습니다. 또 하나는 크롤 예산 소진입니다. 구글봇은 사이트당 크롤 가능한 양이 정해져 있는데, 5xx 재시도에 예산을 써버리면 정작 중요한 페이지로 넘어오지 못합니다.

원인은 대개 서버 과부하, 플러그인 충돌, 호스팅 설정 문제입니다. 워드프레스라면 URL 검사 도구로 해당 URL을 직접 테스트해보고 서버 오류 여부를 확인하세요. 현재 정상이라면 '유효성 검사 요청'을 눌러 구글에 수정됐다고 알리면 됩니다. 티스토리처럼 서버를 직접 제어할 수 없는 플랫폼은 반복 발생 시 플랫폼 공지를 먼저 확인하는 것 외에 선택지가 많지 않습니다.

5xx가 없다면 다음 질문으로 넘어갑니다 → robots.txt·noindex 오배치가 있는가?

robots·noindex가 엉뚱한 데 걸렸을 때

'색인이 생성되었으나 robots.txt에 의해 차단됨' 메시지는 구글이 내용을 한번은 읽었지만 지금은 크롤링을 못 하는 상태입니다. 이 상태가 계속되면 결국 색인에서 내려갑니다.

noindex 오배치는 더 조용하게 퍼집니다. 워드프레스에서 Yoast SEO나 Rank Math 설정을 잘못 건드려 블로그 전체가 noindex로 날아간 경우가 적지 않아요. URL 검사 도구에서 의심되는 URL을 직접 넣어보면 구글이 어떤 신호를 받고 있는지 바로 확인됩니다.

플랫폼별로 할 수 있는 게 다릅니다.

• 워드프레스: SEO 플러그인으로 페이지별 noindex를 제어할 수 있고, robots.txt도 플러그인이나 직접 편집으로 수정 가능합니다.
• 티스토리: robots.txt 파일을 사용자가 직접 수정하는 구조가 아닙니다. 루트 디렉토리에 파일을 올릴 수 없어, robots.txt 관련 이슈가 생기면 플랫폼 차원의 해결을 기다리는 수밖에 없습니다.

robots·noindex 오배치도 없다면 → Soft 404를 확인합니다.

Soft 404는 조용히 크롤 예산을 갉아먹는다

Soft 404는 페이지가 실제로 비어 있거나 의미 없는 내용을 담고 있는데 HTTP 상태 코드를 200(정상)으로 반환하는 상태입니다. 구글이 내용을 보고 "사실상 빈 페이지"라고 판단하면 이 분류로 묶습니다.

자주 발생하는 패턴은 이렇습니다. 상품이 품절됐는데 페이지를 삭제하지 않고 방치하거나, 검색 결과가 0건인 페이지에 "결과가 없습니다"만 남아 있거나, 내용이 너무 짧은 글이 계속 쌓이는 경우입니다. 당장 색인이 날아가지 않아도 크롤봇이 실속 없는 페이지를 계속 순회하다가 중요한 페이지로 올 차례가 밀립니다.

대응 방향은 두 가지입니다. 페이지 자체가 필요 없다면 진짜 404를 반환하거나 301로 적절한 페이지로 연결합니다. 내용이 부족해서 발생한 거라면 콘텐츠를 보강하는 게 근본 해결입니다. 블로그 플랫폼에서는 빈 카테고리 페이지나 태그 페이지가 이 문제를 자주 일으키는데, noindex를 걸어서 구글봇이 아예 방문하지 않도록 처리하는 방법도 많이 씁니다.

Soft 404도 아니라면 → 404가 내부 링크와 연결돼 있는지 확인합니다.

404와 '크롤링됨-미색인', 상황을 보고 결정한다

404 오류를 전부 수정해야 한다는 건 흔한 오해입니다. 존재하지 않는 페이지가 404를 반환하는 건 그 자체로 올바른 동작입니다.

처리가 필요한 경우는 이 두 가지입니다.

• 내 사이트 안의 글이나 사이트맵에서 그 URL로 링크가 연결돼 있을 때 — 크롤봇이 죽은 링크를 타고 들어가 예산을 소비합니다.
• 예전에 색인됐던 중요한 글의 URL이 바뀐 경우 — 301 리다이렉트로 새 주소로 넘겨줘야 기존 색인값을 이어받을 수 있습니다.

글을 삭제한 뒤 어디로도 연결하지 않았는데 Coverage에서 404가 뜬다면 그냥 두는 게 맞습니다. 구글이 알아서 몇 번 더 확인하고 색인에서 내립니다.

크롤링됨-현재 색인이 생성되지 않음은 Coverage에서 가장 많이 쌓이는 상태입니다. 구글봇이 페이지를 방문해 내용까지 읽었는데 색인하지 않기로 결정한 겁니다. 구글이 이유를 명확하게 공개하진 않지만, 글이 너무 짧거나, 다른 페이지와 내용이 겹치거나, 독자에게 줄 정보가 충분하지 않다고 판단될 때 이 상태가 됩니다.

수동 색인 요청으로 억지로 밀어 넣어봤자 금방 다시 미색인으로 돌아오는 경우가 많아요. 그 페이지가 독자에게 실질적인 정보를 주고 있는지를 먼저 점검하는 게 올바른 순서입니다. 워드프레스는 피드 페이지(feed/)나 날짜별 아카이브 페이지들이 이 상태로 대거 쌓이는 일이 있는데, SEO 플러그인으로 noindex 처리해서 구글봇이 처음부터 방문하지 않게 하는 것이 깔끔합니다. 티스토리는 이런 아카이브 URL 자체가 생성되지 않는 구조라 상대적으로 덜합니다.

건드리지 않아도 되는 상태 확인하고 끝내기

Coverage 보고서에는 겉보기엔 오류 같아도 신경 쓰지 않아도 되는 항목들이 있습니다.

'사용자가 선택한 표준 태그가 포함된 대체 페이지'는 canonical 태그를 통해 구글이 대표 URL을 인식한 상태입니다. 내가 의도한 설정이 맞다면 정상입니다. '리디렉션으로 인해 제외됨'도 301이나 302가 의도적으로 걸린 URL이 표시되는 것이고, 'NOINDEX 태그에 의해 제외됨' 역시 내가 심어둔 noindex가 제대로 작동하고 있다는 뜻입니다.

위의 판단 흐름을 따라가면 Coverage 보고서의 숫자에 압도될 일이 없습니다. 5xx → robots·noindex 오배치 → Soft 404 → 내부 링크 연결된 404 → 콘텐츠 얇은 미색인 순서로 확인하고, 해당 없는 항목은 그냥 두면 됩니다. 급하지 않은 걸 급하지 않다고 판단하는 것도 운영에서는 중요한 선택입니다.