Ko-WideSearch: 웹 에이전트를 위한 완전 집합 열거 한국어 넓이 탐색(breadth-search) 벤치마크
Ko-WideSearch: A Korean Breadth-Search Benchmark for Exhaustive Set Enumeration by Web Agents
한국어 초록
웹 에이전트 벤치마크는 대부분 깊이(depth)를 측정한다—연쇄적인 제약 뒤에 숨겨진 하나의 낯선 답을 찾는 방식으로—반면 넓이(breadth), 즉 폐쇄 집합을 빠짐없이 열거하고 각 항목의 속성을 채우는 능력은, 특히 영어권 밖에서는 거의 평가되지 않는다. 넓이 탐색 벤치마크를 구축하는 것도 어렵다. 골드 집합이 완전하고 모든 셀이 정확한지 검증하는 것은 단일 답을 확인하는 것보다 훨씬 비용이 크다. 본 논문은 자동 합성-검증(synthesize-and-verify) 파이프라인으로 구축한 한국어 넓이 탐색 벤치마크 Ko-WideSearch를 소개한다. 각 작업은 집합-상위(set-parent) 개체—TV 시즌, 왕조, 리그, 행정 구역, 선거 등—를 지정하고, 전체 구성원과 항목별 속성 표를 요구하며, Item-, Column-, Row-F1로 채점한다. 190개 개체와 16개 카테고리에 걸친 228개 표로 구성되며, 독립적으로 조절하는 두 가지 구조적 요소—표 너비와 2차원 복합 키—에 따라 난이도 3단계로 나뉜다. 이에 따라 교차 곱 구성원률(cross-product membership)은 단계마다 0%에서 100%까지 상승한다. 골드 구축과 채점에 단일 정규화(normalization) 인식 비교기(comparator)를 공유하여, 형식만으로 안정적인 날짜·수량 열이 과도하게 누락되지 않도록 한다. 20개 웹 에이전트에 걸친 결과에서 실패 패턴은 일관적이다. 에이전트는 집합은 복원하지만 행(row)은 복원하지 못한다(예: Item-F1 92.8 대 Row-F1 53.7). 요소가 엄격해질수록 정확도는 꾸준히 하락하며, 검색을 늘리거나 비용을 늘려도 격차를 메우지 못한다. 셀 단위로 분석하면 어려운 부분은 형식이 아니라 올바른 값을 찾는 것이다. 개방형 자유 텍스트 셀이 가장 많이 실패하는 반면, 날짜나 이름처럼 표준 답이 있는 셀은 대개 맞게 나온다.
원문 초록
Web-agent benchmarks overwhelmingly measure depth -- pinning one obscure answer behind a chain of constraints -- while breadth, exhaustively enumerating a closed set and filling each item's attributes, is barely evaluated, especially outside English. Breadth is also hard to build: certifying that a gold set is complete and every cell correct is far costlier than checking a single answer. I introduce \textsc{Ko-WideSearch}, a Korean breadth-search benchmark built by an automated synthesize-and-verify pipeline. Each task names a set-parent entity -- a TV season, a dynasty, a league, an administrative region, an election -- and asks for its full membership plus a per-item attribute table, graded by Item-, Column-, and Row-F1. It spans 228 tables over 190 entities and sixteen categories across three difficulty tiers, set by two structural knobs I dial independently -- table width and a 2-D composite key -- so cross-product membership climbs from 0\% to 100\% across the tiers. A single normalization-aware comparator is shared between gold construction and grading, so stable date and count columns are not over-dropped on formatting alone. Across twenty web agents, the failure is consistent: agents recover the set but not the rows (e.g.\ Item-F1 92.8 against Row-F1 53.7), accuracy falls steadily as the knobs harden, and neither more search nor more spend closes the gap. Broken down by cell, the hard part is finding the right value, not formatting it: open-ended free-text cells fail most, while cells with a standard answer such as a date or a name usually come out right.
요약
웹 에이전트의 단일 답 탐색(깊이) 위주 평가를 넘어, 폐쇄 집합 전체를 열거하고 속성 표를 채우는 넓이 탐색 능력을 측정하는 한국어 벤치마크 Ko-WideSearch를 제안한다. 자동 합성-검증 파이프라인으로 구축한 228개 표에서 20개 웹 에이전트를 평가한 결과, 집합 항목 복원(Item-F1 92.8)과 달리 행 단위 완전 정확도(Row-F1 53.7)는 일관되게 낮았으며, 검색량·비용 증가로도 격차가 해소되지 않았다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.27595v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RATED: 실행 역학을 통한 신뢰성 인식 AI 에이전트 도구 검색
RATED: Reliability-Aware AI Agent Tool Retrieval via Execution Dynamics
AI 에이전트(agent)의 외부 도구 의존도가 높아짐에 따라, 신뢰할 수 있는 동작을 위해서는 정확한 도구 검색이 필수적입니다. 기존 방식들은 의미적 관련성을 최적화하지만 실행 중 도구의 가용성은 대체로 무시합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 강건한 의미적 매칭과 동적 신뢰성 적응을 결합한 검색 프레임워크인 RATED(Reliability-Aware Tool Retrieval via Execution Dynamics)를 제안합니다. RATED는 의미적 매칭을 위해 대조 미세조정(contrastive fine-tuning)이 적용된 고정된(frozen) 듀얼 인코더를 사용하며, 실시간 실행 피드백을 기반으로 후보군을 재순위화하는 경량 맥락적 밴딧(contextual bandit) 모듈을 사용합니다. 이러한 설계를 통해 모델의 값비싼 재학습 없이도 런타임 도구 실패에 신속하게 적응할 수 있습니다. 또한 오프라인 검색 및 동적 신뢰성 평가를 위해 5,172개의 실제 도구와 210,000개 이상의 쿼리-도구 쌍으로 구성된 벤치마크인 EcoAgent를 소개합니다. 실험 결과에 따르면, RATED는 실제 쿼리에서 ToolLLM API 검색기 대비 52.2%의 상대적 MRR 향상을 달성하고, 30%의 실패율을 보이는 심각한 API 장애 시나리오에서 오류 선택률을 86.2%에서 2.9%로 낮추는 동시에 인코딩 전용 추론(inference) 대비 1ms 미만의 미미한 지연 시간 오버헤드만을 발생시킵니다. 코드와 데이터셋은 https://github.com/Elliotes/EcoAgent 에서 확인할 수 있습니다.
언어 모델은 위키피디아 게임을 플레이할 수 있는가?
Can Language Models Play the Wikipedia Game?
언어 모델은 색인하기에 너무 방대한 문서 집합에서 정보 검색을 지원하거나 자동화하는 데 점점 더 많이 활용되고 있습니다. 이 작업은 전문적인 언어학적 또는 과학적 지식을 요구할 때 어려워집니다. 본 연구에서는 유사한 정보 검색 작업에서 언어 모델을 테스트하기 위해 위키피디아 게임(Wikipedia Game)을 활용했습니다. 이 게임에서 플레이어는 오직 문서 내 링크만을 사용하여 목표 문서에 도달해야 합니다. 5개 언어의 위키피디아와 5개의 학술 문헌 데이터셋에 걸쳐 문장 임베딩(embedding) 모델(model)과 대규모 언어 모델(LLM)들을 비교했습니다. OpenAlex를 사용하여 위키피디아 페이지 및 논문 인용으로 이루어진 초대형 로컬 그래프를 구축하고, 이를 생성하고 탐색할 수 있는 코드를 제공합니다. 이를 통해 서드파티 API에 의존하지 않고도 언어 모델의 탐색 능력을 연구할 수 있습니다. 또한 해당 모델들을 인간 및 TF-IDF 벤치마크와 비교했습니다. 위키피디아 게임 형식은 다양한 기법, 언어 및 도메인 전반에 걸쳐 강력한 비교를 가능하게 합니다. 가장 우수한 모델들(GPT-o3 mini, GPT-4o, QwQ:32B, DeepSeek-R1:70B)이 인간에 필적하는 성공률을 달성했으나, 인간을 유의미하게 능가한 모델은 없었습니다. 성능과 순위는 언어와 주제에 따라 다양하게 나타났으며, 이는 이러한 기법을 활용하는 실무자들에게 시사점을 제공합니다.
HyperBrowseComp: 웹 브라우징 에이전트를 위한 다국어 및 멀티모달 스트레스 테스트
HyperBrowseComp: A Multilingual and Multimodal Stress Test for Web-Browsing Agents
본 논문에서는 모국어 화자 또는 높은 숙련도를 갖춘 화자가 작성하고 사람이 검증한 13개 언어에 걸친 423개의 수작업 질문으로 구성된 다국어 및 멀티모달 브라우징 벤치마크인 HyperBrowseComp를 소개합니다. 질문들은 극도로 어렵게 설계되었습니다. 각 질문은 모호한 증거 탐색, 다단계 단서 추적, 또는 비디오, 스캔 문서, 이미지, 지도와 같은 이종 출처 조사를 거쳐야만 발견할 수 있는 간결하고 공개적으로 검증 가능한 정답을 목표로 합니다. 파라메트릭 지식(parametric knowledge)만으로 답변될 가능도를 낮추기 위해, 인터넷 접속이 불가능한 모델로 평가하여 더 쉬운 질문들을 걸러냈습니다. 저자들은 공통 에이전트 프로토콜 하에서 제공자 네이티브 검색 및 공유된 외부 검색 하네스를 사용하여 여러 모델을 평가합니다. 모델의 성능과 노력을 맥락화하기 위해 질문 표본에 대한 인간 평가도 수행합니다. HyperBrowseComp는 개방형 웹에서 증거를 발견하고 연결하는 과정에서 발생하는 난이도를 바탕으로, 언어와 증거 양식 전반에 걸친 지속적인 정보 탐색을 위한 도전적인 테스트베드를 제공합니다.
NegT2IBench: 부정이 그림을 바꿀 때. 텍스트-이미지 모델을 위한 극성 벤치마크
NegT2IBench: When Negation Changes the Picture. A Polarity Benchmark for Text-to-Image Models
텍스트-이미지(T2I) 모델은 주로 요청된 콘텐츠의 생성 여부를 측정하는 벤치마크로 평가되지만, 이러한 벤치마크는 "빨간색이 아닌 컵"을 생성하는 것과 같이 부정 제약 조건을 충족하는 상보적 능력을 대체로 간과합니다. 부정 측정은 긍정 기반 벤치마크에서는 직면하지 않는 과제를 제기하며 신중한 프롬프트(prompt) 및 평가(evaluation) 설계를 필요로 합니다. 본 연구에서는 두 가지 속성 유형과 네 가지 관계 범주를 다루는 4,800개의 프롬프트로 구성된 벤치마크인 NegT2IBench를 소개합니다. 프롬프트는 극성(polarity)에 따라 구성되며, 충족되어야 하는 긍정 진술과 충족되어서는 안 되는 부정 진술의 개수가 각각 0개에서 2개까지 주어집니다. 두 요소를 독립적으로 변화시킴으로써 부정의 효과와 프롬프트 복잡성의 효과를 분리합니다. 본 연구의 검출기 기반 채점은 재현 가능하고 감사 가능하며 어떤 요구 사항이 실패했는지 정확히 짚어냅니다. 3명의 작업자 라벨이 부여된 600개의 이미지에서, 최대 30배 더 큰 비전-언어(vision-language) 평가자만큼이나 인간과 가깝게 일치하면서도 GPU 메모리는 일부만 사용합니다. 11개의 T2I 모델과 211,200개의 이미지 전반에서 9개 모델이 단일 긍정 진술보다 단일 부정 진술에서 더 낮은 점수를 기록했습니다. 진술별 채점 분석 결과 색상에서 성능 손실(loss)이 가장 컸고 근접성에서는 거의 0에 가까웠으며, 실패한 진술의 41.5%는 프롬프트가 금지한 대상을 정확히 렌더링한 것으로 나타났습니다. 프롬프트가 요구하는 것을 렌더링하는 것과 금지하는 것을 배제하는 것은 종합적인 구성 점수로는 구별할 수 없는 별개의 능력입니다. NegT2IBench는 후자를 직접 측정하여 부정 실패를 진단하고 이를 극복하는 방법을 개발하기 위한 통제된 테스트베드를 제공합니다.
TAGGRAPH: 에이전트 지속 이력의 그래프 검색을 위한 태그 증강 그래프
TAGGRAPH: Tag-Augmented Graphs for Graph Retrieval of Agent Persistent Histories
장기 기억은 대규모 언어 모델(LLM) 에이전트(agent)가 과거의 상호작용을 기억하고 세션 전반에서 일관성을 유지할 수 있게 해 주지만, 메모리 시스템은 표현, 인덱싱, 검색, 평가 방식이 서로 달라 비교하기가 어렵습니다. 본 논문에서는 공유된 5W(육하원칙) 스타일의 대화형 메모리를 기반으로 하는 통제된 평가 프레임워크를 제시합니다. 국소적 그래프 구성은 공통의 기본 그래프를 순회하며, AdaptiveGraph는 시간순 엣지와 개인화된 페이지랭크(Personalized PageRank) 확산을 추가합니다. 또한 동일하게 추출된 노트에 대한 BM25와 원시 입력을 사용하는 외부 기준선인 OpenClaw를 평가합니다. 검색 순위는 메모리 설정에 따라 달라집니다. LongMemEval-S에서 AdaptiveGraph는 MRR 0.844로 가장 우수한 그래프 구성을 보였으나, BM25는 0.867, OpenClaw는 0.880에 달했습니다. ATANT Core에서는 국소적 그래프 순회가 확산 및 BM25보다 우수한 성능을 보인 반면, 스트레스 라운드에서는 BM25가 앞섰습니다. 테스트된 범위 내에서 LongMemEval-S의 크기를 줄여도 ATANT 확산 패널티가 재현되지 않았으나, 테스트된 가장 작은 저장소도 ATANT Core보다 여전히 컸기 때문에 저장소 크기 영향을 배제할 수 없습니다. 이 패널티는 관대한 콘텐츠 일치 기준 하에서도 지속되었습니다. 어휘 정규화(normalization)와 추출 품질은 그래프 검색에 실질적인 영향을 미치며, 상위 5위권 실패 사례에서는 추출 태그 누락이 흔하게 나타났습니다. 따라서 검색 전략은 메모리 설정과 함께, 그리고 강력한 어휘 기반 기준선과 대조하여 공동으로 평가되어야 합니다.
마이크로태스크 적격성 격차 측정: 상용 SLM은 언제 에이전트 하네스에 충분한가?
Measuring the Microtask Eligibility Gap: When Is an Off-the-Shelf SLM Enough for an Agent Harness?
에이전트(agent) 하네스는 프론티어 대규모 언어 모델(LLM) 플래너 주변의 마이크로태스크(셸 명령어 자동 승인, 메모리 작성, 도구 선택, 이전 턴 순위화)에 소형 언어 모델(SLM)을 실행하고자 하는 경향이 커지고 있습니다. 본 논문에서는 상용 SLM이 실무자가 정의한 임계값을 충족하는지, 실패한다면 그 이유는 무엇인지, 그리고 양자화(quantization)가 그 결과를 바꾸는지 질문합니다. 이를 위해 고정된 프롬프트(prompt)와 자동 평가 지표를 갖춘 4개의 마이크로태스크로 구성된 벤치마크를 구축했습니다. 각 태스크는 저렴한 비-LLM 기준선(baseline)에 고정된 사전 지정 임계값 $τ$와 신뢰구간(CI) 인식 적격성 규칙(신뢰 한계가 $τ$를 넘어야만 구성이 통과됨)을 가집니다. 최상의 조건(FP16, 그리디, 단일 고정 프롬프트, 튜닝 없음)에서 Qwen3 0.6/1.7/4/8B 모델들을 전수 조사한 결과, 적격성 격차(eligibility gap)를 발견했습니다. 16개 구성(4개 태스크 $\times$ 4개 모델) 중 통과한 구성은 0개였습니다(원시 출력과 파서 동작 검증 완료). 로그 확률(logprob) 결정 임계값 진단(T1/T3/T4; T2는 컨텍스트 길이/캐스케이드 프로브를 통해 수행)을 통해 실패 원인을 역량 부족과 디코딩 임계값 변경으로 해결 가능한 실패(4가지 영역)로 분류했습니다. 4비트 양자화(RTN/GPTQ/AWQ)는 모델 크기에 따라 손상을 입히며 어떤 구성도 적격 상태로 전환하지 못했으므로(재구성 가능한 하드 라벨 태스크 T1/T3에서 검증, T2/T4에서 진단/윈도우 강건성 확인), 격차는 정밀도(precision)보다 모델 크기에 더 크게 좌우됩니다. 이 결과는 Llama-3.x에서도 재현되었으며(12/12 부적격), 앵커 선택($τ$ 탐색) 및 프롬프트 문구(원문 및 셀당 3개의 중립적 패러프레이징에 걸쳐 0/112 적격)에 대해서도 강건했습니다. 실질적인 시사점은 다음과 같습니다. CI 기반 임계값을 충족하는 기준선 뒤에 SLM을 배치하고, 기준선이 임계값을 충족하지 못하는 경우에만 SLM을 사용하는 것입니다. 예를 들어 BM25 후보군에 대한 4B 재순위화 모델은 자체적으로 적격성을 입증하지 못하더라도 BM25보다 우수한 성능을 보였습니다($+0.047$ [0.020, 0.073]).
토론
이 논문과 연결된 포럼 글이 아직 없습니다.