Bing 검색 성능 향상 위한 새로운 업데이트 발표
마이크로소프트가 Bing 검색 엔진의 성능을 크게 향상시키기 위해 대규모 언어 모델(LLMs), 소규모 언어 모델(SLMs), 및 새로운 최적화 기술을 통합한 업데이트를 발표했다. 이번 업데이트는 검색 결과 전달 속도를 높이고, 비용을 절감하는 것이 핵심 목표다. 회사 측은 LLM과 SLM의 병행 사용이 검색 능력을 한 단계 끌어올리는 중요한 전환점이라고 강조했다.
SLM 도입으로 속도와 비용 문제 해결
대규모 언어 모델(LLMs)을 검색 시스템에 활용하면 속도와 비용에서 문제가 발생할 수 있다. 이를 해결하기 위해 Bing은 SLM을 도입했으며, SLM은 LLM보다 100배 빠르다고 평가된다. 또한 엔비디아의 TensorRT-LLM 기술을 활용하여 SLM의 효율성을 더욱 강화했다. TensorRT-LLM은 NVIDIA GPU 상에서 대규모 모델 실행 시간을 단축하고 비용을 절감하는 도구로 알려져 있다.
검색 속도 대폭 개선 및 비용 절감
이번 최적화로 Bing의 강화된 '딥 서치(Deep Search)' 기능이 업데이트됐다. 이 기능은 SLM을 실시간으로 활용해 더욱 관련성 높은 검색 결과를 제공한다. 최적화 전 Bing의 원래 모델은 배치당(20개의 쿼리) 지연 시간이 4.76초, 인스턴스당 초당 처리량이 4.2개의 쿼리였으나, TensorRT-LLM 도입 후 지연 시간은 3.03초로 줄었고, 처리량은 6.6개로 증가했다. 이는 지연 시간 36% 감소, 운영 비용 57% 절감이라는 성과로 이어졌다.
사용자 중심의 빠르고 정밀한 결과 제공
이번 업데이트로 Bing 사용자들은 더 빠른 검색 결과와 향상된 정확성을 경험할 수 있다. 이러한 비용 효율화는 마이크로소프트가 향후 혁신과 발전에 더 많은 자원을 투자할 수 있는 여건을 마련해준다. 특히 복잡한 질문에 대해 검색엔진이 더 나은 이해와 결과를 제공해야 하는 흐름 속에서, Bing의 LLM/SLM 모델과 최적화 기술 적용은 검색 서비스의 미래에 큰 영향을 미칠 것으로 보인다.
출처 : 원문 보러가기