크롬을 사용해 Googlebot처럼 웹사이트 확인하기
검색엔진 최적화(SEO) 과정에서 Googlebot이 웹사이트를 제대로 크롤링하고 인덱싱하는지 걱정하는 경우가 많습니다. 특히 JavaScript 중심의 사이트에서는 렌더링 문제로 검색 순위가 낮아지거나 콘텐츠가 보이지 않는 경우도 발생할 수 있습니다. 이럴 때, Chrome 또는 Chrome Canary를 이용해 Googlebot처럼 웹사이트를 확인하는 방법은 매우 유용합니다. 이를 통해 사용자와 검색 엔진이 보는 내용의 차이를 파악하고, 문제가 되는 부분을 개선할 수 있습니다.
Googlebot처럼 웹사이트를 봐야 하는 이유
과거에는 HTML과 CSS 중심의 구조로 인해 SEO 작업이 비교적 간단했으나, 현재는 JavaScript로 구성된 웹사이트가 늘어나며 작업의 양상이 크게 바뀌었습니다. 서버가 아닌 브라우저 측에서 페이지를 렌더링해야 하다 보니, Googlebot과 같은 검색 엔진 크롤러에서 시간 지연 및 자원 소모가 발생하게 됩니다.
특히 Googlebot은 먼저 HTML을 처리한 후, JavaScript 기반 콘텐츠를 며칠이나 몇 주 뒤에 렌더링할 가능성이 큽니다. Googlebot처럼 웹사이트를 확인하면, 사용자와 검색 엔진이 보는 내용의 차이를 감지할 수 있으며, 이런 차이가 검색 순위와 인덱싱 문제를 야기할 수 있음을 알게 됩니다.
Googlebot의 시점을 완벽히 재현할 수 있을까?
완벽한 재생은 불가능합니다. Googlebot은 무언가 표시를 하지 않는 "헤드리스(headless)" Chrome 버전을 사용하며, 예를 들어 2024년 9월에는 React 기반 웹사이트에서 noindex 메타 데이터 인식을 실패한 사안도 있었습니다. 하지만 Chrome과 같은 도구를 이용하면 모바일 중심 인덱싱인 Googlebot의 동작을 최대한 가깝게 모방할 수 있습니다.
전용 브라우저를 사용하는 이유
Googlebot 전용 브라우저는 기술적 SEO 작업을 단순화하고 결과의 정확도를 높이는 도구입니다. 또한 작업 시간을 절약하면서 사이트 수정 위험을 줄이고, Googlebot 스푸핑(spoofing)으로 차단되는 위험을 방지할 수 있습니다.
Googlebot 브라우저를 통한 주요 감사 항목
Googlebot 브라우저는 클라이언트 측 또는 동적 렌더링 방식으로 작동하는 웹사이트의 감사를 위해 주로 사용됩니다. 이는 검색 엔진이 보는 화면과 일반 사용자가 보는 화면의 차이를 파악하면서, 웹사이트 성능에 영향을 줄 수 있는 문제를 명확히 하는 데 도움을 줍니다. 다음은 주요 감사 항목입니다:
- 내비게이션 차이: 봇과 사용자 간 메인 내비게이션은 동일한가?
- 콘텐츠 가시성: Googlebot이 중요한 콘텐츠를 확인할 수 있는가?
- JavaScript 인덱싱 지연: 새로운 콘텐츠가 빠르게 인덱싱되는가?
- 서버 응답 확인: URL이 올바른 서버 응답을 반환하는가?
- 페이지 레이아웃 문제: 링크가 제대로 표시되고 있는가?
- 위치 기반 리디렉션: 위치 기반 요청이 어떻게 처리되는가?
Googlebot 브라우저 설정하는 법
-
Chrome 또는 Canary 다운로드 및 설치
기본 브라우저가 이미 Chrome이라면 Chrome Canary를 설치하세요. 이는 Chrome의 개발 버전으로 최신 기능을 제공합니다. -
브라우저 확장 프로그램 설치
- User-Agent Switcher: Googlebot의 작업 방식을 모방합니다.
- Web Developer: JavaScript 활성화를 전환해 Googlebot의 페이지 처리 방식을 확인합니다.
- Windscribe: Googlebot의 일반적인 위치를 시뮬레이션합니다.
-
Googlebot 설정 구성
개발자 도구에서 캐시를 비활성화하고, 서비스 워커를 차단합니다.
- 모바일 장치 에뮬레이션
Googlebot이 모바일 중심 크롤링을 활용하기 때문에, 모바일 장치를 에뮬레이션하는 것이 필수적입니다.
Bingbot 시야로 웹사이트를 보는 방법
Microsoft Edge를 사용하여 Bingbot 브라우저를 설정할 수 있습니다. 이때 Bingbot의 user-agent를 설정하면 됩니다.
요약
Googlebot 브라우저를 설정하는 것은 크롤러 시점에서 웹페이지를 확인하는 가장 간단하고 빠른 방법 중 하나입니다. 특히 클라이언트 측 렌더링을 사용하는 웹사이트에서는 기술적 SEO 작업을 단순화하고 효과적으로 문제를 식별할 수 있습니다.
출처 : 원문 보러가기