크롤 오류 발생 원인과 해소 방법
웹사이트 크롤링 도중 발생하는 크롤 오류는 검색엔진 크롤러(예: Googlebot)가 웹사이트의 콘텐츠를 접근하고 인덱싱하는 데 문제를 겪을 때 나타납니다. 이는 검색 순위에 부정적인 영향을 미치며 자연 검색 트래픽 감소로 이어질 수 있습니다.
크롤 오류의 유형
1. 사이트 오류
사이트 전체에 영향을 미치는 오류로, 대표적인 사례는 다음과 같습니다:
- 502 Bad Gateway: 업스트림 서버 문제로 인해 사이트 접근이 불가.
- 500 Internal Server Error: 서버 내 결함(예: 문제 있는 플러그인 등)으로 발생.
- 503 Service Unavailable: 서버 과부하거나 유지보수 중일 때 발생.
- 504 Gateway Timeout: 서버 응답이 지연되어 시간 초과 발생.
2. URL 오류
개별 페이지에 한정된 오류로, 아래와 같은 유형이 포함됩니다:
- 404 Not Found: 삭제되었거나 주소가 잘못된 페이지.
- Soft 404: 페이지가 없는 것으로 보이지만 명확한 404 상태를 반환하지 않음.
- Redirect Errors: 잘못된 리다이렉트로 인해 내비게이션 혼란 초래.
- 403 Forbidden: 권한 설정 문제로 접근 거부.
DNS 관련 오류
DNS 오류는 도메인 이름이 제대로 해석되지 않아 웹사이트에 접근할 수 없는 경우에 발생합니다. 자주 발생하는 DNS 오류는 다음과 같습니다:
- DNS Timeout: 서버 응답이 지연될 때 발생.
- DNS Lookup: 도메인 확인 실패, 주로 설정 문제로 이어짐.
Robots.txt 관련 오류
검색엔진 크롤러가 robots.txt 파일에 접근할 수 없을 때 발생하며, 이는 중요한 페이지가 인덱싱되지 못하도록 만들 수 있습니다.
크롤 오류 확인 방법
Google Search Console이나 Semrush Site Audit과 같은 도구를 사용하면 크롤 오류와 인덱싱 문제에 대한 상세 보고서를 확인할 수 있습니다.
크롤 오류 수정하기
크롤 오류를 수정하면 검색엔진이 사이트 콘텐츠를 효과적으로 인덱싱할 수 있으며, 이는 SEO 성능을 유지하는 데 필수적입니다. 서버 오류, DNS 문제, URL 오류를 해결하고 robots.txt를 최적화함으로써 검색 결과에서 웹사이트의 가시성을 높일 수 있습니다.
출처 : 원문 보러가기