AI 검색 최적화와 구조화 데이터 접근성 문제
AI 크롤러가 JavaScript로 삽입된 구조화 데이터를 감지하지 못하는 문제가 나타났다. 서버 사이드 렌더링(SSR)이나 정적 HTML을 활용해 가시성을 높이는 것이 필요하다.
AI 크롤러가 구조화 데이터에 접근하지 못하는 이유
최근 조사에 따르면, JavaScript를 통해 삽입된 구조화 데이터가 AI 크롤러에게 잘 감지되지 않는 문제가 발견됐다. JSON-LD 형식으로 작성된 구조화 데이터가 초기 HTML 응답에 포함되지 않으면 AI 크롤러가 이를 제대로 확인하지 못한다. 대표적인 AI 크롤러인 GPTBot, ClaudeBot, PerplexityBot은 JavaScript를 실행하지 못하기 때문에, 이후 삽입된 구조화 데이터를 인식하지 못한다.
Google Tag Manager(GTM)과 같은 도구를 사용해 클라이언트 사이드에서 데이터를 추가하면, 크롤러가 이를 감지하지 못할 가능성이 크다.
연구 결과: JSON-LD와 AI 크롤러 간의 한계
Elie Berreby, SEM King의 설립자는 GTM을 사용해 JSON-LD를 삽입했을 때 어떤 일이 발생하는지 조사했다. 서버 사이드 렌더링(SSR)이 없는 경우 JSON-LD를 AI 크롤러가 감지하지 못하는 이유를 다음과 같이 설명했다.
- 초기 HTML 응답: 크롤러가 웹페이지를 요청하면 서버는 최초 HTML 버전을 반환한다. 이 응답에 JSON-LD가 포함되지 않으면 AI 크롤러는 데이터를 놓친다.
- 클라이언트 사이드 JavaScript 실행: JavaScript는 브라우저에서 실행되고 DOM(Document Object Model)을 변경한다. 이 단계에서 GTM 등을 사용해 JSON-LD를 삽입할 수 있다.
- JavaScript 실행이 불가한 AI 크롤러: AI 크롤러는 JavaScript를 실행하지 못하므로, DOM 변경 내용을 감지할 수 없다. 그 결과 페이지가 로드된 이후 추가된 구조화 데이터를 인식하지 못한다.
결론적으로, 클라이언트 사이드 JavaScript로만 추가된 구조화 데이터는 대부분의 AI 크롤러에게 보이지 않는다.
전통적 검색 엔진과의 차이점
구글봇(Googlebot)과 같은 전통적인 검색 크롤러는 JavaScript를 읽고 웹페이지 로딩 이후의 변화를 처리할 수 있다. Google Tag Manager로 삽입된 JSON-LD 데이터 역시 인식할 수 있다. 그러나 대부분의 AI 크롤러는 JavaScript 대신 서버에서 제공된 원시 HTML 응답만 본다.
구글의 JavaScript 과용 경고
구글은 최근, JavaScript에 지나치게 의존하는 웹사이트 운영 방식에 대해 경고한 바 있다. 구글의 서치 리레이션(Search Relations)팀은 JavaScript가 동적 기능을 제공하지만, 구조화 데이터와 같은 필수 SEO 요소와는 맞지 않다고 설명했다. 구글의 검색 개발자 어드보케이트 마틴 스플릿(Martin Splitt)은 웹사이트 복잡도에 따라 JavaScript 사용을 적절히 조율해야 한다고 조언했다.
해결책: 구조화 데이터를 어떻게 제공해야 하나?
구조화 데이터가 모든 크롤러에게 접근 가능하도록 하기 위해 아래 전략을 추천한다.
- 서버 사이드 렌더링(SSR): 초기 HTML 응답에 구조화 데이터를 포함하도록 서버에서 페이지를 렌더링한다.
- 정적 HTML: JavaScript 사용을 최소화하고 구조화 데이터를 HTML에 직접 삽입한다.
- 프리렌더링(Prerendering): JavaScript를 미리 실행한 상태의 HTML 페이지를 제공해 크롤러가 완전히 렌더링된 콘텐츠를 볼 수 있게 한다.
이 접근법들은 HTML 우선 개발을 강조하는 구글의 조언과도 일맥상통하며, 초기 서버 응답 내에 중요한 콘텐츠를 포함하도록 유도한다.
왜 중요할까?
AI 크롤러는 점점 더 중요한 역할을 하게 될 것이며, 기존 검색 엔진과는 다른 규칙을 따르고 있다. GTM이나 클라이언트 사이드 JavaScript 방식에 의존한 구조화 데이터는 AI 크롤러에 의해 인식되지 않을 가능성이 크다. 서버 사이드 렌더링이나 정적 HTML 방식을 도입함으로써, 미래의 AI 검색 환경에서도 높은 가시성을 유지하는 동시에 기존 검색 엔진에 대해서도 최적의 접근성을 제공할 수 있다.
출처 : 원문 보러가기