콘텐츠로 건너뛰기

크롬으로 구글봇처럼 웹사이트 확인하기

Googlebot과 동일한 뷰를 Chrome에서 구현하기

웹사이트가 Googlebot에 의해 제대로 크롤링되고 색인이 생성되는지 확인하는 것은 중요한 SEO 작업입니다. 하지만 특히 JavaScript를 많이 사용하는 사이트에서는 렌더링 문제로 인해 순위가 낮아지거나 콘텐츠가 노출되지 않을 수 있습니다. Chrome 또는 Chrome Canary를 사용해 Googlebot의 작동 방식과 동일하게 사이트를 표시하는 방법은 이러한 문제를 해결할 수 있는 중요한 도구입니다.

Googlebot 관점에서 웹사이트를 확인해야 하는 이유

과거에는 HTML과 CSS를 중심으로 웹사이트를 구성하여 Googlebot이 사이트를 분석하는 과정이 상대적으로 쉬웠습니다. 하지만 오늘날 JavaScript를 기반으로 하는 사이트가 늘어나면서 브라우저에서 클라이언트 측 렌더링이 이루어지는 경우가 많습니다.
Googlebot은 먼저 HTML을 처리하고, JavaScript 콘텐츠를 렌더링하는 데는 며칠에서 몇 주가 걸릴 수 있죠. 사이트가 봇과 사용자에게 각각 다른 버전의 콘텐츠를 제공하는 ‘동적 렌더링’을 사용한다면, bots와 사용자가 보는 내용 간의 차이를 점검하는 것이 필수적입니다. 그렇게 하지 않으면 중요한 네비게이션 요소나 콘텐츠가 검색 순위에 영향을 미칠 가능성이 있습니다.

Googlebot이 보는 것을 완벽히 재현할 수 있을까?

완벽한 재현은 불가능합니다. Googlebot은 Chrome의 헤드리스(headless) 버전을 사용해 웹페이지를 렌더링하는데, JavaScript 처리가 불규칙적일 때가 있습니다. 따라서 이 작업은 모바일 우선 인덱싱(Mobile-first indexing)을 최대한 가까운 수준으로 시뮬레이션하려는 것으로 이해해야 합니다.
이를 위해 Googlebot 전용 브라우저, Screaming Frog SEO Spider, 그리고 Google Search Console의 URL 검사 도구 등을 사용할 수 있습니다.

Googlebot 브라우저를 사용하는 이유

Googlebot 브라우저를 별도로 사용하면 기술 SEO 감사의 정확성이 높아지고 시간이 절약됩니다. 표준 브라우저에서 사용자를 전환하기 위해 에이전트를 변경하거나 확장 프로그램을 사용하면 웹사이트 동작에 의도하지 않은 영향을 미칠 수 있으며, 이로 인해 데이터를 과장되게 해석할 수 있습니다. 또한 일반 브라우저에서 Googlebot 스푸핑을 꺼놓는 것을 잊었다면 액세스 제한 문제가 발생할 가능성도 있습니다.

Googlebot 감사 중 확인할 사항

Googlebot 브라우저를 사용하면 다음과 같은 문제를 간단히 점검할 수 있습니다.

  • 네비게이션 차이: 사용자가 보는 메인 네비게이션과 동일한가?
  • 콘텐츠 가시성: Googlebot이 인덱스해야 할 콘텐츠를 제대로 인식할 수 있는가?
  • JavaScript 인덱싱 지연: 새 콘텐츠가 얼마나 빨리 색인화되는가?
  • 서버 응답 문제: URL의 응답이 올바른가?
  • 페이지 레이아웃 변동: 링크 및 콘텐츠가 올바르게 렌더링되는가?
  • 지리적 리다이렉트: 위치 기반 요청이 어떻게 처리되고 있는가?

Googlebot 브라우저 설정 방법

Googlebot 브라우저를 설정하는 데 약 30분 정도 소요됩니다.

  1. Chrome 또는 Chrome Canary 설치:
    Chrome은 수월한 설정을 제공합니다.

  2. 확장 프로그램 설치:

    • User-Agent Switcher: Googlebot처럼 동작.
    • Web Developer: JavaScript를 간단히 켜고 끌 수 있음.
    • VPN: Googlebot의 주 사용 위치(미국)를 시뮬레이션.
    • Link Redirect Trace: 서버 응답 및 HTTP 헤더 확인.
    • View Rendered Source: 원시 HTML과 렌더링된 HTML 비교.

  3. 브라우저 설정:

  • 개발자 도구에서 캐시 비활성화하기.
  • 서비스 워커 차단으로 캐싱 초과 방지.
  • 모든 쿠키 차단.
  • 위치 및 알림을 비활성화하세요.
  1. 모바일 디바이스 에뮬레이션 활성화:
    Googlebot은 모바일 우선 크롤링을 기본으로 하므로 모바일 환경을 설정해야 합니다.

간단히 정리

Googlebot 브라우저를 설정하면 클라이언트 측 렌더링을 사용하는 웹사이트의 기술 SEO 감사를 간소화할 수 있습니다. 이 작업은 페이지가 Googlebot에서 어떻게 보이는지 정확히 이해하고 문제를 해결하여 검색 순위에 부정적인 영향을 방지하는 데 매우 유용합니다.

출처 : 원문 보러가기