CDN, SEO에 미치는 영향과 주의점
Google이 콘텐츠 전달 네트워크(Content Delivery Networks, CDN)의 검색 크롤링 및 SEO 향상에 대한 기여와 함께 발생할 수 있는 문제점을 설명했다.
CDN이란 무엇인가?
CDN은 웹 페이지를 캐시하여 사용자가 요청한 브라우저와 가까운 데이터 센터에서 신속하게 콘텐츠를 제공하는 서비스다. 즉, CDN은 웹 페이지의 사본을 생성하여 방문자에게 더 가까운 서버에서 제공함으로써 인터넷 전송 단계를 줄이고 전달 속도를 높인다.
CDN 사용 시 더 많은 크롤링 가능
CDN을 활용하면 Google은 웹 페이지가 CDN을 통해 제공되는 것을 감지할 때 자동으로 크롤링 속도를 증가시킨다. 이는 Googlebot이 서버의 과부하를 감지할 경우 크롤율을 감소시키는 일반적인 동작과 대조적이다. 따라서 크롤링 속도를 높이고자 하는 SEO 전문가들에게 CDN은 매력적인 선택이 된다.
그러나 처음 URL이 접속될 때는 CDN의 캐시가 '워밍업'되어야 한다. 즉, 웹사이트가 CDN을 사용하는 경우라도 모든 URL은 최초 접속 시 서버에서 직접 제공되어야 하므로 결과적으로 크롤링 예산(crawl budget)에 부담을 줄 수 있다.
크롤링에서의 CDN 문제점
특정 상황에서 CDN이 Googlebot을 차단하여 문제가 발생할 수 있다. 이는 크게 하드 차단과 소프트 차단으로 나뉜다.
하드 차단은 CDN이 500(서버 내부 오류) 또는 502(잘못된 게이트웨이)와 같은 서버 오류를 반환할 때 발생하며, Googlebot의 크롤 속도를 느리게 하거나 특정 URL이 검색 색인에서 제외될 수 있다. 이 경우 503(서비스 사용 불가) 상태 코드가 권장된다.
소프트 차단은 CDN이 Googlebot에 인간 여부를 확인하는 팝업을 표시하는 경우로, Google은 이러한 상황에서 503 상태 코드 사용을 제안하고 있다.
URL 검사 도구로 문제 해결
Google은 Search Console의 URL 검사 도구를 활용해 CDN이 웹 페이지를 어떻게 제공하는지 모니터링하라고 조언한다. CDN의 웹 애플리케이션 방화벽(WAF)이 Googlebot의 IP를 차단하는 경우, 이러한 IP가 Google의 공식 목록과 일치하는지 비교해야 한다.
또한, 중요한 크롤러가 사이트에 접근할 수 있는지 정기적으로 확인하고, 블록 리스트를 검토할 것을 추천한다. 특정 IP가 사용자의 인지 없이 차단될 수 있기 때문이다.
출처 : 원문 보러가기