은폐된 텍스트로 인한 ChatGPT 검색 결과 왜곡 위험
웹페이지 숨은 텍스트로 AI 검색 조작 가능
연구에 따르면 ChatGPT 검색 기능은 웹페이지의 숨겨진 텍스트에 의해 쉽게 조작될 수 있는 것으로 밝혀졌다. 영국 매체 가디언의 보고서는 가짜 웹사이트에 숨은 텍스트를 삽입해 ChatGPT가 이를 기반으로 응답을 생성하도록 유도하는 과정을 설명했다. 이 숨은 텍스트는 글자 색상이 배경색과 동일하게 설정되어 육안으로는 식별할 수 없었다.
숨은 텍스트가 결과에 미치는 영향
연구진은 ChatGPT에 특정 웹사이트를 방문하고 해당 사이트의 텍스트를 토대로 질문에 응답하도록 요청했다. 그 결과 ChatGPT는 숨겨진 내용을 색출하고 그것을 기반으로 답변을 제공했다. 비교 실험에서는 아무 조작이 없는 가짜 리뷰 웹사이트에서 일반적인 답변이 생성됐지만, 숨겨진 긍정적 리뷰가 포함된 경우 긍정적인 평가로 왜곡된 답변이 출력됐다.
특히, 숨은 텍스트에 긍정적 평가를 제공하라는 지시가 포함되었을 경우, 부정적 리뷰가 있음에도 불구하고 ChatGPT가 꾸준히 긍정적인 응답을 생성하는 경향이 관찰됐다. 이는 숨은 텍스트가 페이지의 실제 내용을 무시하고 응답을 왜곡시킬 수 있음을 보여줬다.
AI 시스템 조작 가능성과 보안 문제
이 실험 결과는 ChatGPT의 훈련 데이터를 은폐된 텍스트로 조작할 가능성을 제기하며, AI 시스템의 보안 취약성 문제를 시사하고 있다. 보도에 따르면 한 보안 전문가는 OpenAI가 이 취약성을 인지하고 해결 방안을 마련할 가능성이 있다고 언급했다.
Bing과의 연관성 및 추가 방법론
ChatGPT 검색은 Bing 기반으로 작동하지만 자체 크롤러를 사용해 실시간 정보를 얻는다. 따라서 Bing의 검색 색인에 포함된 사이트들은 은폐된 텍스트 조작에서 어느 정도 보호받을 가능성이 있는 것으로 추측된다. 하지만 특정 사이트가 검색 봇에만 다르게 콘텐츠를 노출하는 클로킹(cloaking) 기술을 사용하면 이러한 보호 장치도 무력화될 수 있다는 우려가 있다.
더불어 연구자들은 AI 검색 엔진 조작을 위한 전략으로 키워드 최적화와 설득력 있는 글쓰기 스타일의 효과를 강조했다. 이는 과거 전통적 검색 엔진이 초기에 겪었던 조작 전략과 유사한 수준의 위험성을 나타낸다.
출처 : 원문 보러가기