본 논문에서는 모국어 화자 또는 높은 숙련도를 갖춘 화자가 작성하고 사람이 검증한 13개 언어에 걸친 423개의 수작업 질문으로 구성된 다국어 및 멀티모달 브라우징 벤치마크인 HyperBrowseComp를 소개합니다. 질문들은 극도로 어렵게 설계되었습니다. 각 질문은 모호한 증거 탐색, 다단계 단서 추적, 또는 비디오, 스캔 문서, 이미지, 지도와 같은 이종 출처 조사를 거쳐야만 발견할 수 있는 간결하고 공개적으로 검증 가능한 정답을 목표로 합니다. 파라메트릭 지식(parametric knowledge)만으로 답변될 가능도를 낮추기 위해, 인터넷 접속이 불가능한 모델로 평가하여 더 쉬운 질문들을 걸러냈습니다. 저자들은 공통 에이전트 프로토콜 하에서 제공자 네이티브 검색 및 공유된 외부 검색 하네스를 사용하여 여러 모델을 평가합니다. 모델의 성능과 노력을 맥락화하기 위해 질문 표본에 대한 인간 평가도 수행합니다. HyperBrowseComp는 개방형 웹에서 증거를 발견하고 연결하는 과정에서 발생하는 난이도를 바탕으로, 언어와 증거 양식 전반에 걸친 지속적인 정보 탐색을 위한 도전적인 테스트베드를 제공합니다.
다국어 문서에는 풍부한 지역 문화, 과학적 발견, 역사적 기록이 담겨 있다. 이러한 내용을 구조화된 기계 가독 형식으로 파싱하는 것은 전 세계 지식을 활용하는 데 필수적이다. 그러나 기존 벤치마크는 주로 영어와 중국어 같은 고자원(high-resource) 언어에 집중되어 있어, 다른 언어에서의 모델 성능에 관한 평가 사각지대가 존재한다. 최근 비전-언어 모델(VLM)들이 수백 개의 언어 지원을 표방하고 있지만, 정답 데이터(ground truth)의 부재로 인해 이러한 능력을 실증적으로 검증하는 것이 불가능하다. 이러한 간극을 해소하기 위해, 우리는 다국어 문서 파싱 평가를 위해 설계된 대규모 벤치마크인 MORE를 소개한다. MORE는 세 가지 핵심 차원에서 차별화된다: (1) 전례 없는 규모: 149개 언어를 포괄하여 현재까지 가장 언어적으로 다양한 벤치마크이며, (2) 구조적 복잡성: 기존 연구와 달리 평문(plain text)을 넘어 코드 블록, 표, 목차와 같은 구조적 요소까지 평가 범위를 확장하고, (3) 데이터 진정성: 모든 샘플은 모델 보조 후 인간 검수 방식의 어노테이션 파이프라인을 통해 실제 문서에서 수집된다. 우리는 MORE를 사용하여 최신 모델들을 평가하고, 저빈도(long-tail) 언어에 대한 새로운 성능 기준선을 수립하며, 현실적이고 다양한 시나리오에서 모델 능력을 진단하는 벤치마크의 유효성을 검증한다. MORE 데이터셋은 https://github.com/zimoqingfeng/MORE 에서 공개될 예정이다.
의학 분야의 대규모 언어 모델(LLM)은 주로 객관식 질의응답(MCQA)을 사용하여 평가되는데, 이는 추측 전략과 답변 바이어스로 인해 실제 임상 능력을 과대평가할 수 있습니다. 이러한 한계를 해결하기 위해, 우리는 폴란드 의료 시험을 기반으로 확장되고 더 어려운 벤치마크를 소개합니다. 여기에는 15,000개 이상의 질문, 두 개의 새로운 도메인, 그리고 MCQA 특정 아티팩트를 줄이고 추론 능력을 더 잘 테스트하는 4가지 구조적 수정이 포함됩니다. 우리는 21개의 대규모 언어 모델(LLM)을 평가하여 평가 설계가 결과에 강력한 영향을 미친다는 것을 보여줍니다. 우리의 더 어려운 설정에서, 최고의 모델(Qwen3.5-122B)은 각각 영어 및 폴란드어 시험에서 28.4 및 31pp 하락했습니다. 데이터 오염의 증거가 적음에도 불구하고, 표준 MCQA 점수는 진정한 의학 역량을 신뢰할 수 있게 반영하지 못합니다. 추가 연구를 돕기 위해 벤치마크를 공개합니다.