arXiv:2603.00656v2 cs.AI

InfoPO: 사용자 중심 에이전트를 위한 정보 기반 정책 최적화

InfoPO: Information-Driven Policy Optimization for User-Centric Agents

Fanqi Kong, Jiayi Zhang, Mingyi Deng, Chenglin Wu, Yuyu Luo, Bang Liu

제출 2026-02-28

한국어 초록

실제 환경에서 LLM 에이전트에 대한 사용자 요청은 종종 불충분하게 명세된다. 에이전트는 누락된 정보를 획득하고 올바른 후속 결정을 내리기 위해 상호작용해야 한다. 그러나 현재의 다중 턴 GRPO 기반 방법들은 트레젝토리 수준의 보상 계산에 의존하는 경우가 많아, 크레딧 할당 문제와 롤아웃 그룹 내 불충분한 어드밴티지 신호를 초래한다. 실행 가능한 접근법은 더 세밀한 수준에서 가치 있는 상호작용 턴을 식별하여 보다 목표 지향적인 학습을 유도하는 것이다. 이를 해결하기 위해 우리는 InfoPO(Information-Driven Policy Optimization)를 제안한다. InfoPO는 다중 턴 상호작용을 능동적 불확실성 감소 과정으로 정의하고, 마스킹된 피드백 반사실과 비교하여 에이전트의 후속 행동 분포를 측정 가능하게 변화시키는 턴에 크레딧을 부여하는 정보 이득 보상을 계산한다. 이후 적응형 분산 게이팅 융합(adaptive variance-gated fusion)을 통해 이 신호를 태스크 결과와 결합함으로써 정보 중요도를 식별하는 동시에 태스크 지향적 목표 방향을 유지한다. 의도 명료화, 협업 코딩, 도구 증강 의사결정을 포함한 다양한 태스크에서 InfoPO는 프롬프팅 및 다중 턴 강화학습(RL) 기반 방법들을 지속적으로 능가한다. 또한 사용자 시뮬레이터 변화에 대한 강건성을 보이며 환경 상호작용 태스크에도 효과적으로 일반화된다. 전반적으로 InfoPO는 복잡한 에이전트-사용자 협업을 최적화하기 위한 원칙적이고 확장 가능한 메커니즘을 제공한다. 코드는 https://github.com/kfq20/InfoPO 에서 확인할 수 있다.

원문 초록

Real-world user requests to LLM agents are often underspecified. Agents must interact to acquire missing information and make correct downstream decisions. However, current multi-turn GRPO-based methods often rely on trajectory-level reward computation, which leads to credit assignment problems and insufficient advantage signals within rollout groups. A feasible approach is to identify valuable interaction turns at a fine granularity to drive more targeted learning. To address this, we introduce InfoPO (Information-Driven Policy Optimization), which frames multi-turn interaction as a process of active uncertainty reduction and computes an information-gain reward that credits turns whose feedback measurably changes the agent's subsequent action distribution compared to a masked-feedback counterfactual. It then combines this signal with task outcomes via an adaptive variance-gated fusion to identify information importance while maintaining task-oriented goal direction. Across diverse tasks, including intent clarification, collaborative coding, and tool-augmented decision making, InfoPO consistently outperforms prompting and multi-turn RL baselines. It also demonstrates robustness under user simulator shifts and generalizes effectively to environment-interactive tasks. Overall, InfoPO provides a principled and scalable mechanism for optimizing complex agent-user collaboration. Code is available at https://github.com/kfq20/InfoPO.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2603.00656v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13755v1cs.LG공통 태그 Sequential Decision Making, Large Language Model, policy optimization

LLM 에이전트 학습을 위한 맥락 일치 그룹 정책 최적화

Matched-Context Group Policy Optimization for LLM Agent Training

장기적인(long-horizon) 언어 모델 에이전트를 학습시키려면 희소한 최종 피드백으로부터 중간 결정들에 대한 신용 할당(credit assignment)을 수행해야 합니다. 유한한 형제 롤아웃(sibling rollout) 그룹 내에서 유용한 행동 비교는 해당 행동의 맥락, 두 대안에 대한 증거, 그리고 그 증거가 학습에 어떻게 반영되는지에 따라 달라집니다. 본 연구에서는 이미 수집된 궤적(trajectory)으로부터 가중 행동 선호도를 구축하는 절차인 맥락 일치 그룹 정책 최적화(Matched-Context Group Policy Optimization, MCGPO)를 제안합니다. MCGPO는 행동 전 상태 요약 및 관찰된 루브릭 진행 상황으로 비교 맥락을 정의하며, 이는 작업 규칙에 의해 주석 처리됩니다. 두 행동 지지(two-action support)는 순서화된 정확 및 대략적 매칭 규칙 중에서 선택합니다. 고정 폴드(fixed fold)는 후보 결정들을 선호도 방향을 설정하는 데 사용되는 최종 결과로부터 분리하며, 지지 의존적 증거 가중치는 공유된 GraphGPO 작업 학습과 함께 보조 쌍별(pairwise) 목적 함수를 스케일링합니다. MCGPO는 롤아웃 데이터와 각 응답의 원래 이력을 재사용하여 비평자 없는(critic-free) 학습을 유지합니다. 각각 세 가지 학습 시드를 사용한 6개의 환경-백본 설정 전반에서, MCGPO는 일치된 GraphGPO 대비 평균 성공률을 향상시켰습니다. Qwen2.5-1.5B 및 7B를 사용한 ALFWorld와 WebShop에서 0.47~1.46%포인트 향상되었으며, Qwen3-4B 및 8B를 사용한 WebShop에서는 3.96 및 5.16포인트 향상되었습니다. ALFWorld의 성능 향상은 여유 공간이 제한적인 92% 이상의 기준선 성공률을 기반으로 이루어졌습니다. 통합 성공률은 4개의 Qwen2.5 설정 중 3개에서 향상되었습니다. 3개 시드 요인 제어(factorial controls)는 반대 폴드 증거 및 증거 가중치를 뒷받침하며, 결합 상태-루브릭 매칭은 4개의 표현-제어 설정 모두에서 가장 높은 평균을 달성했습니다.

arXiv:2610.02330v1cs.AI공통 태그 Reinforcement Learning, Sequential Decision Making, Large Language Model

행동하기 전의 선택: 장기적 도구 사용 에이전트를 위한 비교 가치 추정

Choosing Before Acting: Comparative Value Estimation for Long-Horizon Tool-Use Agents

대규모 언어 모델(LLM)은 복잡한 작업을 수행하기 위해 장기적인(long-horizon) 도구 호출 시퀀스에 의존하며, 여기서 각 호출은 작업 상태를 변경하고 이후 결정의 조건이 됩니다. 장기적 도구 사용에서는 긴 상호작용 궤적 전반에 걸쳐 최종 결과 기반의 보상만으로는 취약한 신용 할당(credit assignment)을 제공할 수밖에 없습니다. 단계별(step-level) 보상은 더 구체적인 피드백을 제공할 수 있으나, 신뢰할 수 있는 단계별 지도(supervision)를 얻으려면 종종 사람이나 LLM의 판단, 또는 중간 결정의 후속 영향을 추정하기 위한 추가적인 롤아웃(rollout)이 필요합니다. 본 논문에서는 효과적인 도구 사용 에이전트(agent)가 가능한 다음 도구 호출을 실행하기 전에 그 장기적 가치를 추정해야 한다고 주장합니다. 이러한 목표를 달성하려면 동일한 문맥에서 대안적인 도구 호출들에 대한 비교 지도(comparative supervision)가 필요하지만, 기록된 궤적(logged trajectory)에는 실제로 수행된 호출만 포함되어 있습니다. 이에 따라 우리는 도구 사용 에이전트를 위한 비교 추론(Comparative Inference for Tool-use Agents, CITA)을 제안합니다. CITA는 관측된 도구 동작, 베이즈 도구 그래프 시뮬레이터로부터 얻은 확장 가능한 지도, 그리고 LLM 기반 비교를 통한 의미적 판단을 결합한 쌍(paired) 신호로부터 비교 추론 모델(Comparative Inference Model, CIM)을 학습합니다. 그 결과 CIM은 현재 문맥에서 가능한 다음 도구 호출이 최종 작업 성공에 기여할 가능성을 추정하도록 학습합니다. 세 가지 도구 사용 벤치마크와 다양한 백본 LLM 전반에서, CITA는 도구 F1 점수와 작업 성공률을 일관되게 향상시킵니다. 추가 분석을 통해 CIM이 비교 도구 선택에 대한 정확한 단계별 가치 추정치를 학습함을 보입니다.

arXiv:2610.10942v2cs.AI공통 태그 Sequential Decision Making, Large Language Model

StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경

StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents

강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.

arXiv:2610.02181v3cs.CV공통 태그 Reinforcement Learning, Large Language Model

OmniSeek: 다중 턴 시청각 추론을 위한 네이티브 도구 통합

OmniSeek: Native Tool Integration for Multi-turn Audio-Visual Reasoning

본 논문에서는 옴니 대규모 언어 모델(Omni-LLM)을 네이티브 도구 사용 능력을 갖춘 능동적인 다중 턴(multi-turn) 추론 에이전트로 변환하는 에이전트 프레임워크인 OmniSeek을 제시합니다. 전체 시청각 시퀀스를 단일 순전파(forward pass)로 수동 처리하는 대신, OmniSeek은 증거 획득을 추론 과정의 일부로 만듭니다. 즉, 긴 컨텍스트 내에서 서로 다른 모달리티 전반의 희소하지만 결정적인 증거를 검색하기 위해 보거나 들을지 여부와 그 시간 윈도우를 동적으로 결정합니다. 반복적인 다중 턴 프로토콜을 통해 검색된 원시 오디오 또는 시각 세그먼트는 후속 추론을 지원하기 위해 컨텍스트에 다시 추가됩니다. 이러한 능력을 콜드 스타트하기 위해, 오디오 및 시각 증거가 인터리빙된 다중 홉 사고의 연쇄(Chain-of-Thought) 궤적 말뭉치인 OmniTraj-170K를 합성하는 데이터 엔진을 구축합니다. 먼저 이러한 궤적을 기반으로 모델을 지도 학습하여 다중 턴 도구 사용 행동을 주입한 다음, 검증 가능한 보상을 활용한 2단계 강화학습을 통해 정책을 추가로 최적화합니다. 또한, 두 모달리티 모두에 의존하는 성공적인 추론 궤적에 명시적으로 보상을 제공하여 단일 모달리티 지름길을 억제하는 시청각 필수성(Audio-Visual Necessity) 목표를 도입합니다. 광범위한 벤치마크에 걸친 광범위한 실험을 통해 OmniSeek이 적응형 교차 모달 증거 탐색을 학습하고 시청각 추론 성능을 일관되게 향상시킴을 입증합니다.

arXiv:2610.15738v1cs.AI공통 태그 Sequential Decision Making, Large Language Model

보이지만 피하지 못함: 카탈로그 기반 LLM 최적화 루프에서 거부된 후보의 상태 의존적 재제안

Visible but Not Avoided: State-Dependent Re-Proposal of Rejected Candidates in Catalog-Based LLM Optimization Loops

LLM 최적화 루프는 흔히 프로포저(proposer)에게 이미 시도하고 거부한 후보들을 보여주지만, 이를 피하는 것은 프로포저 자신에게 맡긴다. 우리는 정적 프로브(probe)에서 측정된 회피가 옵티마이저(optimizer) 자신의 궤적이 만들어내는 상태에서의 회피를 예측하는지를 묻는다. 세 개의 오픈 LLM이 40개의 편집(edit) 중 하나를 지정하여 GUI 에이전트를 개선하는 카탈로그 기반 루프에서, 재제안(re-proposal)은 편집의 이름으로 정확하게 식별된다. 깨끗한 기본 상태 프로브는 프로포저 자신의 루프에서 나타나는 재제안을 과소 예측하며(매크로 평균 루프-마이너스-프로브 비율 0.32 [0.27, 0.37]), 이미 평가된 하네스(harness)-편집 쌍의 제안은 유효한 프로포저 반복(iteration)의 28~63%를 차지한다. 두 설정은 서로 다른 편집을 거부한다. 프로브에서 거부된 편집은 대부분 프로포저가 선택하지 않은 것들인 반면, 루프에서 거부된 편집은 프로포저 자신이 이전에 선택한 것들로서 이력(history)이 제거되어도 계속 선호된다. 일반적인 이력은 두 프로포저에서는 재제안을 낮추지만 세 번째 프로포저에서는 오히려 높이며, 실패 증거(failure evidence)의 효과는 모델에 따라 다르다. 거부 상태를 한 문장으로 명시하는 것은 모든 모델에서 재제안을 낮춘다(동일한 ID들의 중립적 목록 대비 -0.16 [-0.22, -0.09]). 정확한 편집 식별자를 가진 카탈로그 기반 루프의 경우, 거부 회피는 루프가 생성하는 거부 집합(rejected set)을 기준으로 측정되어야 한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.