upstage.ai

이 이메일 도메인이 관측된 논문 2건

arXiv:2606.27595v1cs.CL

Ko-WideSearch: 웹 에이전트를 위한 완전 집합 열거 한국어 넓이 탐색(breadth-search) 벤치마크

Ko-WideSearch: A Korean Breadth-Search Benchmark for Exhaustive Set Enumeration by Web Agents

웹 에이전트의 단일 답 탐색(깊이) 위주 평가를 넘어, 폐쇄 집합 전체를 열거하고 속성 표를 채우는 넓이 탐색 능력을 측정하는 한국어 벤치마크 Ko-WideSearch를 제안한다. 자동 합성-검증 파이프라인으로 구축한 228개 표에서 20개 웹 에이전트를 평가한 결과, 집합 항목 복원(Item-F1 92.8)과 달리 행 단위 완전 정확도(Row-F1 53.7)는 일관되게 낮았으며, 검색량·비용 증가로도 격차가 해소되지 않았다.

arXiv:2606.21959v1cs.CL

OpenBioRQ: 에이전트를 위한 미해결 생의학 연구 질문

OpenBioRQ: Unsolved Biomedical Research Questions for Agents

OpenBioRQ는 12개 도메인 12,553개의 미해결 생의학 연구 질문으로 구성된 검색 그라운딩 에이전트형 벤치마크로, 정답 키 없이 에이전트의 충실성(faithfulness)과 기권(abstention)을 평가한다. 에이전트형 모델은 인용을 거의 조작하지 않지만(99% 이상 해결) 약 15.9%는 주장을 뒷받침하지 않는 잘못된 논문에 연결되며, 가장 어려운 질문에서는 프론티어 에이전트도 29–60%만 해결하고 도구 사용을 중단하는 에이전트형 붕괴(agentic collapse)가 관찰된다.