Google의 스크래핑 차단, 랭크 추적 도구에 영향
Google이 검색 결과 스크래핑을 차단하면서 여러 유명한 SEO 랭크 추적 도구의 데이터 갱신에 문제가 발생하고 있다. 이들 도구는 Google 검색 결과에서 신선한 데이터를 수집해 사용자들에게 제공하는데, 데이터 업데이트가 지연되거나 중단되는 현상이 보고되고 있다.
Semrush, SE Ranking 등 데이터 갱신 어려움
대표적인 SEO 도구인 Semrush와 SE Ranking은 이번 스크래핑 차단으로 인해 데이터 업데이트에 차질을 겪고 있다. 일부 사용자들은 Semrush의 데이터가 일정 기간 동안 전혀 갱신되지 않는 문제를 지적했으며, SE Ranking 역시 유사한 문제를 겪고 있다고 전했다.
Google의 정책: 자동화된 트래픽은 위반
Google의 정책에 따르면, 머신 생성 트래픽이나 자동화된 쿼리를 사용하는 경우 이는 Google 자원을 소모하고 서비스 제공에 방해가 된다고 판단된다. 따라서 이러한 활동은 Google의 서비스 약관과 스팸 정책을 위반하는 것으로 간주된다.
차단 우회 시도와 Google의 대응
일부 스크래퍼들은 IP 주소 변경이나 사용자 에이전트 수정 등을 통해 Google의 스크래핑 차단을 우회하려 시도했다. 이에 대해 Google은 비슷한 행동 패턴을 학습하고 이를 기준으로 차단을 강화하고 있다. 특히 사용자가 과도한 요청을 보낼 경우 차단될 가능성이 매우 높다.
소셜 미디어에서 논의 활발
Google의 스크래핑 차단 조치 이후, 소셜 미디어에서는 다양한 반응이 나오고 있다. Semrush 및 SE Ranking과 같은 도구가 영향을 받고 있지만, Sistrix와 MonitorRank 등 일부 랭크 추적 도구는 큰 영향을 받지 않은 것으로 나타났다. Google이 스크래핑 활동에 대해 더 정교한 학습을 거쳐 차단 방식을 지속적으로 발전시키고 있다는 의견이 많다.
이번 사태는 SEO 도구 업계와 사용자가 Google의 정책 변화에 따른 대안을 마련하도록 요구하고 있다. 검색 엔진 데이터를 이용한 서비스의 지속 가능성을 보장하기 위해 새로운 해결책이 필요해 보인다.
출처 : 원문 보러가기