OpenAI, FrontierMath 데이터셋 관련 논란에 휩싸여
OpenAI가 FrontierMath 벤치마킹 데이터셋에 비공개적으로 접근하고 자금을 지원한 것이 드러나면서, 자체 개발한 o3 AI 추론 모델의 높은 점수 신뢰성에 대한 의문이 제기되고 있다. FrontierMath 데이터셋은 AI 모델을 사전 지식 없이 테스트하기 위한 목적으로 설계되었기 때문에, OpenAI가 해당 데이터에 접근한 사실은 예기치 못한 일이었다.
투명성 부족에 대한 비판 확산
Epoch AI는 해당 연구를 Arxiv.org에 최종 논문으로 공개하면서야 OpenAI의 자금 지원 사실을 언급했다. 하지만 초기 논문들에서는 이러한 참여 정보를 명시하지 않아, 투명성 부족 문제가 온라인 커뮤니티를 중심으로 논란이 커지고 있다.
독립적인 데이터셋 통해 모형 성능 평가 예정
Epoch AI는 OpenAI가 FrontierMath 문제와 해답의 대부분을 열람했지만, 완전히 공개되지 않은 별도의 "보류 데이터셋(holdout dataset)"을 통해 모델의 성능을 독립적으로 검증할 예정이라고 밝혔다. 이는 OpenAI가 해당 데이터를 모델 훈련에 활용했는지 여부를 명확히 하기 위함이다.
높은 점수의 신뢰성 검증 진행 중
Epoch AI의 수석 수학자는 o3 모델의 높은 점수 기록이 현재 독립적인 검증 과정을 거치고 있다고 확인했다. 데이터셋이 오직 벤치마킹 목적으로 사용되었는지, 아니면 모델의 훈련에 사용되었는지 조사하는 것이 이번 검증의 핵심이다.
출처 : 원문 보러가기