PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2603.00656v2cs.AI

InfoPO: 사용자 중심 에이전트를 위한 정보 기반 정책 최적화

InfoPO: Information-Driven Policy Optimization for User-Centric Agents

실제 환경에서 LLM 에이전트에 대한 사용자 요청은 종종 불충분하게 명세된다. 에이전트는 누락된 정보를 획득하고 올바른 후속 결정을 내리기 위해 상호작용해야 한다. 그러나 현재의 다중 턴 GRPO 기반 방법들은 트레젝토리 수준의 보상 계산에 의존하는 경우가 많아, 크레딧 할당 문제와 롤아웃 그룹 내 불충분한 어드밴티지 신호를 초래한다. 실행 가능한 접근법은 더 세밀한 수준에서 가치 있는 상호작용 턴을 식별하여 보다 목표 지향적인 학습을 유도하는 것이다. 이를 해결하기 위해 우리는 InfoPO(Information-Driven Policy Optimization)를 제안한다. InfoPO는 다중 턴 상호작용을 능동적 불확실성 감소 과정으로 정의하고, 마스킹된 피드백 반사실과 비교하여 에이전트의 후속 행동 분포를 측정 가능하게 변화시키는 턴에 크레딧을 부여하는 정보 이득 보상을 계산한다. 이후 적응형 분산 게이팅 융합(adaptive variance-gated fusion)을 통해 이 신호를 태스크 결과와 결합함으로써 정보 중요도를 식별하는 동시에 태스크 지향적 목표 방향을 유지한다. 의도 명료화, 협업 코딩, 도구 증강 의사결정을 포함한 다양한 태스크에서 InfoPO는 프롬프팅 및 다중 턴 강화학습(RL) 기반 방법들을 지속적으로 능가한다. 또한 사용자 시뮬레이터 변화에 대한 강건성을 보이며 환경 상호작용 태스크에도 효과적으로 일반화된다. 전반적으로 InfoPO는 복잡한 에이전트-사용자 협업을 최적화하기 위한 원칙적이고 확장 가능한 메커니즘을 제공한다. 코드는 https://github.com/kfq20/InfoPO 에서 확인할 수 있다.