오류 페이지로 인한 중복 콘텐츠 경고

Table of Contents

오류 페이지가 검색 결과에서 콘텐츠 제거 "블랙홀" 초래 가능성

구글 검색 시 문제가 생긴 웹사이트의 잘못된 오류 페이지 설정이 콘텐츠를 검색 결과에서 제거하는 "블랙홀"을 만들 수 있다고 경고했다. 이는 정상 페이지와 오류 페이지가 잘못 그룹화되어, 클러스터를 형성함으로써 콘텐츠가 검색 목록에서 제거되는 상황을 의미한다.

이러한 블랙홀에 빠진 페이지는 수정 후에도 복구되기 어려운 경우가 많다. 때문에 웹사이트 소유자들은 오류 페이지 처리를 신중히 해야 한다는 것이 구글의 지적이다.

구글의 클러스터링과 정규화 방식

구글은 동일하거나 유사한 콘텐츠를 가진 페이지를 하나의 그룹(클러스터)으로 묶는 방식을 사용한다. 그런 뒤, 각 클러스터에서 가장 적합한 URL 하나를 선택해 이를 기준으로 사용하는 정규화(canonicalization) 과정을 거친다.

문제는, 오류 페이지가 일반적인 메시지를 포함하고 있거나 HTTP 상태 코드가 올바르게 설정되지 않은 경우, 정상적인 페이지가 오류 페이지와 함께 클러스터링되어 검색 색인에서 배제될 가능성이 크다는 점이다. 이런 상황이 발생하면 정규적인 재크롤링이 이루어지지 않아 SEO 성과에도 악영향을 미친다.

"블랙홀" 방지하기 위한 기술적인 해결책

구글은 이러한 문제를 예방하기 위해 아래와 같은 기술적 조치를 권장하고 있다.

적합한 HTTP 상태 코드 사용: 오류 페이지에 대해 올바른 상태 코드(404, 403, 503 등)를 설정하고 200 OK 상태 코드를 피한다.
특별한 내용 포함한 사용자 정의 오류 페이지 제작: 오류 페이지에 특정 콘텐츠를 포함해 중복으로 여겨지지 않도록 해야 한다. 예를 들어, 오류 코드와 이름을 텍스트에 포함시키는 것이 효과적이다.
Noindex 태그 사용에 주의: 오류 페이지가 검색 결과에서 완전히 제거되어야 하는 경우가 아니라면 noindex 태그 사용을 피해야 한다.