PyTorchKR Papers

최신 논문

총 9편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.06223v2cs.AI

정보 획득 기반 롤아웃 정책 최적화: 다중 턴 검색 에이전트를 위한 적응형 트리 구조 롤아웃 접근법

Information Gain-based Rollout Policy Optimization: An Adaptive Tree-Structured Rollout Approach for Multi-Turn Search Agents

강화학습(RL)은 최종 결과에 도달하기 전 여러 중간 결정이 필요한 장기적(long-horizon) 검색 태스크에서 대규모 언어 모델(LLM) 에이전트의 성능을 향상시킵니다. 그러나 롤아웃 예산은 중간 상태의 유용성을 평가하지 않고 할당되는 경우가 많아, 가망이 없는 분기에서 연산이 낭비될 수 있습니다. 본 논문에서는 중간 상태의 정보성(informativeness)을 중심으로 롤아웃 수집을 구성하는 프레임워크인 정보 획득 기반 롤아웃 정책 최적화(IGRPO)를 제안합니다. 구체적으로, IGRPO는 확장 확률이 노드 수준의 정보성에 의존하는 예산 인식 트리 구조 롤아웃을 수행하여, 고정된 롤아웃 예산 내에서 유익한 분기에는 더 많은 연산을 투입하고 정보성이 낮은 분기는 덜 자주 확장되도록 합니다. 학습 궤적(trajectory)이 생성되는 방식을 직접 조정함으로써, IGRPO는 더 높은 누적 정보성을 선호하는 검색 궤적에 대한 극한 교사 분포(limiting teacher distribution)를 유도합니다. 그 결과로 얻어지는 분포는 명시적인 정책 최적화 목표를 제공하여, 적응형 롤아웃 수집과 원칙에 기반한 정책 학습을 연결합니다. 7개의 검색 증강 질의응답 벤치마크에 대한 실험 결과, IGRPO는 유사한 롤아웃 예산 하에서 3B 및 7B 백본 모두에서 강력한 베이스라인보다 더 높은 평균 정확도를 달성하여, 검색 에이전트 학습을 위한 정보성 기반 궤적 생성의 유효성을 뒷받침합니다. 코드는 https://github.com/e3trange/IGRPO 에서 확인할 수 있습니다.

arXiv:2609.25192v1cs.CL

FinFIRST: 금융 정보 검색, 출처 확인 및 추적 가능성을 위한 검색 에이전트 벤치마크

FinFIRST: Benchmarking Search Agents for Financial Information Retrieval, Sourcing and Traceability

금융 검색은 LLM 에이전트에게 매우 까다로운 작업으로, 올바른 최종 답변뿐만 아니라 시점상 유효한 정보 검색, 신뢰할 수 있는 출처 선택, 개체 및 기간 정렬, 단위 및 정의의 일관성, 그리고 모든 결론에 대한 검증 가능한 근거를 요구합니다. 기존 벤치마크는 대부분 최종 답변만을 평가하므로, 오류의 위치를 파악하거나 답변이 충분한 근거를 갖추었는지 평가하기 어렵습니다. 이러한 격차를 해소하기 위해, 우리는 원자적 루브릭(atomic rubric)을 통해 답변과 이를 뒷받침하는 근거를 함께 평가하는 최초의 금융 벤치마크인 FinFIRST(Financial Information Retrieval, Sourcing and Traceability)를 소개합니다. FinFIRST는 단계적 난이도 범위에 걸친 123개의 전문가 작성 태스크로 구성되며, 이 태스크들은 실제 금융 시나리오의 집계된 패턴을 바탕으로 18개 필드 분류 체계, 6개 축의 커버리지 청사진, 138개 금융 출처 레지스트리, 50명이 넘는 금융 전문가의 기여, 그리고 6단계 품질 관리 파이프라인을 통해 구축되었습니다. 각 태스크에는 근거 기반의 참조 패키지가 함께 제공되며, 이는 원시 정보 획득, 출처 검증, 그리고 계산 및 답변 도출이라는 세 가지 차원의 원자적 기준으로 분해되어 있습니다. 우리는 통합된 도구 설정 하에서 15개 모델 구성을 평가했습니다. Claude-Opus-5는 87.59%로 가장 높은 원자적 점수(atomic score)를 달성했으며, GPT-5.6-Sol은 71.54%로 가장 높은 엄격 통과율(strict pass rate)을 기록했습니다. 계산 및 답변 도출은 모든 시스템에서 일관되게 원시 정보 획득보다 뒤처졌습니다. FinFIRST는 최종 답변의 정확성을 핵심 목표로 유지하면서, 이를 뒷받침하는 조사 과정을 측정 가능하고, 검증 가능하며, 진단 가능하게 만듭니다.

arXiv:2510.24668v2cs.CL

InteractComp: 모호한 질의를 통한 검색 에이전트 평가

InteractComp: Evaluating Search Agents With Ambiguous Queries

언어 에이전트는 웹 검색 및 정보 검색에서 뛰어난 잠재력을 보여주었다. 그러나 많은 검색 에이전트 벤치마크는 사용자 질의가 완전하고 모호하지 않다고 가정한다. 이 가정으로 인해 실용적인 실패 모드가 충분히 검증되지 않는다. 즉, 에이전트는 명확화 없이는 의도된 대상을 식별할 수 없는 모호한 요청에 직면할 수 있다. 그럼에도 대부분의 에이전트는 검색 과정 중 상호작용 메커니즘이 부족하며, 기존 벤치마크는 이러한 능력을 평가할 수 없다. 이 공백을 해소하기 위해, 우리는 검색 에이전트가 질의의 모호성을 인식하고 검색 중 이를 해소하기 위해 능동적으로 상호작용할 수 있는지 평가하도록 설계된 벤치마크인 InteractComp를 제안한다. '검증은 쉽게, 모호성 해소는 상호작용으로'라는 원칙에 따라, 우리는 상호작용을 통해서만 해결 가능한 통제된 모호성을 만드는 target-distractor 방법론을 통해 9개 도메인에 걸쳐 전문가가 큐레이션한 210개의 질문을 구성했다. 17개 모델 평가 결과 놀라운 실패가 드러났다. 최고 성능 모델도 완전한 컨텍스트에서는 71.50%인데 반해 정확도는 13.73%에 불과하며, 이는 추론 능력의 결함이라기보다 체계적인 과신을 드러낸다. 강제 상호작용은 극적인 성능 향상을 가져오며, 현재 전략이 활용하지 못하는 잠재적 능력이 있음을 보여준다. 종단 분석에 따르면, 검색 성능은 7배 향상된 반면 상호작용 능력은 15개월 동안 정체되었으며, 이는 중요한 사각지대를 드러낸다. 검색 작업에 내재된 즉각적 피드백과 결합된 이러한 정체 현상은 InteractComp를 검색 에이전트의 상호작용 능력을 평가하고 학습하는 데 모두 유용한 자원으로 만든다. 코드는 https://github.com/FoundationAgents/InteractComp 에서 확인할 수 있다.

arXiv:2607.11172v1cs.AI

STAMP: 심층 탐색 에이전트를 위한 출처 기반 크레딧 할당

STAMP: Provenance-Guided Credit Assignment for Deep Search Agents

심층 탐색 에이전트를 위한 강화학습은 주로 궤적 수준의 점수화, 즉 결과 정확성, 인용 인식 보상, 증거 커버리지에 초점을 맞춰 왔다. 그러나 지지 문서를 노출시키는 행동에는 어떠한 표적 크레딧도 부여되지 않으며, 우리는 이 간극을 보상-크레딧 불일치(reward-credit mismatch)라고 부른다. 우리는 STAMP를 제안하는데, 여기서 참조 기반 검증기는 각 인용 문서가 학습 시 증거 그래프의 엔티티 또는 관계를 지지하는지 판단하고, 최초 노출 귀인(first-exposure attribution)은 지지된 각 인용을 처음 발견한 행동으로 역추적한다. 이 단계 크레딧은 부호 보존 어드밴티지 변조(sign-preserving advantage modulation)를 통해 주입되며, 이는 궤적 수준의 보상이나 각 그룹 내 궤적의 상대적 순위를 변경하지 않고 단계 전반에 걸쳐 어드밴티지를 재분배한다. BrowseComp, BrowseComp-ZH, xbench-DS에서 STAMP는 동일한 SFT 초기화, 학습 데이터, 검색 도구 조건 하에 GRPO 기준선을 +2.0/+5.5/+3.0점 향상시키며, 결과 전용 및 인용 루브릭 기본 보상 모두와 결합된다. 구성 요소 절제 실험을 통해 출처 기반 크레딧 신호와 부호 보존 어드밴티지 변조가 각각 성능 향상에 기여함을 확인한다.

arXiv:2606.27669v2cs.CL

검색 에이전트가 질문해야 할 때: 명확화 인식 심층 검색을 위한 DiscoBench

When Search Agents Should Ask: DiscoBench for Clarification-Aware Deep Search

실제 검색 요청이 모호하거나 불완전한 경우 다단계 추론 과정에서 오류가 전파될 수 있다는 문제를 해결하기 위해, 11개 도메인 211개 샘플과 4가지 모호성 유형을 포함한 명확화 인식 심층 검색 벤치마크 DiscoBench를 제안한다. 실험 결과, 모호성 탐지와 효과적인 명확화는 별개의 역량이며 명확화 요청 없이 반복 검색하는 방식이 직접 추측보다 오히려 성능이 낮아, 현재 검색 에이전트의 검색 능력과 대화형 문제 해결 간 중요한 간극이 드러났다.

arXiv:2606.12837v2cs.CL

LoHoSearch: 인간 난이도 상한을 넘어선 장기 수행 검색 에이전트 벤치마킹

LoHoSearch: Benchmarking Long-Horizon Search Agents Beyond the Human Difficulty Ceiling

기존 검색 에이전트(search agent) 벤치마크의 난이도 한계를 극복하기 위해 700만 개 이상의 위키백과 엔티티를 포함한 지식 그래프(knowledge graph)를 기반으로 구축된 LoHoSearch를 소개한다. 이 벤치마크에서 최상위 모델은 34.74%의 정확도를 기록하여 장기적 추론(long-horizon reasoning) 및 컨텍스트 관리 능력을 평가하기 위한 더 엄격한 기준을 제시한다.

arXiv:2606.13120v1cs.CL

EvoBrowseComp: 진화하는 지식에서의 검색 에이전트 벤치마킹

EvoBrowseComp: Benchmarking Search Agents on Evolving Knowledge

정적 지식에 의존하는 기존 벤치마크의 한계를 극복하기 위해, 실시간 웹 탐색과 세 가지 에이전트 협업 프레임워크를 통해 자동 생성되는 진화하는 벤치마크인 EvoBrowseComp를 소개한다. 이 벤치마크는 데이터 오염을 방지하고 시간적 최신성을 유지하며, 광범위한 수평적 검색이 필요한 높은 난이도의 평가 환경을 제공한다.

arXiv:2606.12871v1cs.AI

DailyReport: 일상적 검색 태스크에서 검색 에이전트를 평가하는 개방형 벤치마크

DailyReport: An Open-ended Benchmark for Evaluating Search Agents on Daily Search Tasks

기존 검색 에이전트 평가의 한계를 극복하기 위해 실제 사용자의 일상적인 검색 요구를 반영한 개방형 벤치마크인 DailyReport를 제안한다. 17개 에이전트 시스템에 대한 평가 결과, 현재 시스템들은 여전히 사용자의 기대 수준에 미치지 못함을 확인했다.

arXiv:2606.12087v1cs.CL

FORT-Searcher: 심층 검색 에이전트 학습을 위한 지름길 저항성 검색 작업 합성

FORT-Searcher: Synthesizing Shortcut-Resistant Search Tasks for Training Deep Search Agents

심층 검색 에이전트 학습에는 검색을 통해 충분한 증거가 확보될 때까지 답변을 알 수 없는 검증 가능한 질문이 필요합니다. 기존 합성 방법들은 그래프 구조를 풍부하게 하여 겉보기 난이도를 높이는 경우가 많지만, 구조적 복잡성만으로는 실제 검색 난이도가 보장되지 않습니다. 의도한 검색 과정이 더 저렴한 식별 경로를 통해 붕괴될 수 있기 때문입니다. 우리는 지름길 인식 난이도 프레임워크(shortcut-aware difficulty framework)를 통해 이러한 격차를 형식화하고, 증거 공동 커버리지(evidence co-coverage), 단일 단서 선택성(single-clue selectivity), 노출된 상수(exposed constants), 사전 지식 결합(prior-knowledge binding)이라는 네 가지 조작 가능한 지름길 위험 요소를 식별했습니다. 실제 효과를 진단하기 위해 해결 비용(solving cost), 답변 도달 시간(answer hit time), 사전 지름길 비율(prior-shortcut rate)을 포함하는 궤적 서명(trajectory signatures)을 사용합니다. 이 프레임워크의 지도를 받아, 지름길 저항성 학습 데이터 합성 프레임워크인 FORT를 소개합니다. FORT는 엔티티 선택, 증거 그래프 구축, 질문 공식화, 적대적 정제(adversarial refinement) 전반에 걸쳐 지름길 위험을 통제하여 지름길 저항성 학습 데이터를 구성합니다. 실험 결과 FORT는 기존 오픈 소스 심층 검색 데이터셋보다 더 긴 답변 전 검색과 더 적은 지름길 패턴을 유도함을 보여줍니다. 결과적으로 생성된 궤적을 사용하여 지도 미세조정(SFT)만으로 FORT-Searcher를 학습시켰으며, 이 모델은 도전적인 심층 검색 벤치마크에서 유사한 규모의 오픈 소스 검색 에이전트 중 최고의 전반적인 성능을 달성했습니다. 관련 리소스는 https://github.com/RUCAIBox/FORT-Searcher에서 제공될 예정입니다.