arXiv:2610.08402v1 cs.LG

VETTA: 멀티턴 LLM 에이전트를 위한 턴 수준 및 토큰 수준 크레딧 할당의 조율

VETTA: Coordinating Turn- and Token-Level Credit Assignment for Multi-Turn LLM Agents

Jiaju Chen, Min Yang, Jinghua Piao, Xiaochong Lan, Xu Xia, Xiangnan He, Yong Li

제출 2026-10-06

저자 비고

arXiv Comments

16 pages, 6 figures

한국어 초록

멀티턴 LLM 에이전트는 여러 차례의 상호작용에 걸쳐 희소한(sparse) 작업 피드백을 받는 경우가 많은 반면, 각 응답은 토큰 단위로 생성된다. 이로 인해 서로 연관된 두 가지 크레딧 할당(credit assignment) 문제가 발생한다: 어떤 응답이 결과 달성에 기여했는가, 그리고 각 응답 내에서 어떤 생성 결정이 중요했는가? 기존 방법들은 대체로 한 가지 수준에만 초점을 맞춘다. 턴 수준(turn-level) 방법은 완전한 응답을 평가하지만 그 안의 개별 결정들을 구분하지 못하며, 토큰 수준(token-level) 방법은 턴 간에 피드백을 전파할 수 있지만 각 응답에 대한 크레딧을 명시적으로 모델링하지 않는다. 이러한 상호 보완적인 한계는 두 수준 모두에서 크레딧을 학습하고 이를 단일 정책 업데이트에서 조율할 필요성을 제기한다. 본 논문에서는 공유된 경량 크리틱(critic) 위에 별도의 헤드(head)를 두어 턴 수준과 토큰 수준의 가치(value)를 동시에 학습하는 크레딧 할당 방법인 VETTA를 소개한다. VETTA는 두 시간적 시퀀스 모두에 걸쳐 어드밴티지(advantage)를 계산하고, PPO 업데이트를 위해 각 턴의 어드밴티지를 응답 내부 중심의 토큰 잔차(residual)와 결합한다. 또한 가치 학습 비용을 줄이기 위해, 크리틱은 액터(actor) 초기화에 사용된 사전학습된 체크포인트의 초반 트랜스포머 블록만을 유지한다. 두 가지 도전적인 에이전트 벤치마크인 ALFWorld와 WebShop에서, VETTA는 Qwen2.5-1.5B-Instruct를 사용했을 때 PPO 대비 성공률을 각각 37.5%와 22.3% 향상시켰으며, Qwen2.5-7B-Instruct를 사용했을 때 각각 95.5%와 76.0%의 성공률을 달성했다. 크리틱 깊이(depth) 비교 결과는 크리틱 측 연산량을 크게 낮추면서도 강력한 작업 성능을 보여준다. 이러한 결과는 소형의 공유 크리틱이 턴 수준과 토큰 수준의 크레딧을 조율하여 가치 추정의 효율성을 유지하면서도 에이전트 성능을 향상시킬 수 있음을 시사한다. 코드는 https://github.com/Jiaju-Chen/VETTA-official 에서 확인할 수 있다.

원문 초록

Multi-turn LLM agents often receive sparse task feedback across several interactions, while generating each response token by token. This creates two related credit-assignment questions: which responses helped achieve the outcome, and which generation decisions mattered within each response? Existing methods typically focus on only one level: turn-level methods evaluate complete responses but do not distinguish the decisions within them; token-level methods can propagate feedback across turns but do not explicitly model credit for each response. These complementary limitations motivate learning credit at both levels and coordinating it in a single policy update. We introduce VETTA, a credit assignment method that jointly learns turn- and token-level values through separate heads on a shared lightweight critic. VETTA computes advantages along both temporal sequences and combines each turn advantage with a within-response-centered token residual for PPO updates. Furthermore, to reduce value-learning cost, the critic retains only early Transformer blocks from the pretrained checkpoint used to initialize the actor. On two challenging agent benchmarks, ALFWorld and WebShop, VETTA improves success rates over PPO by 37.5% and 22.3%, respectively, with Qwen2.5-1.5B-Instruct and achieves success rates of 95.5% and 76.0%, respectively, with Qwen2.5-7B-Instruct. Critic-depth comparisons further show strong task performance with substantially lower critic-side computation. These results suggest that a compact shared critic can coordinate turn- and token-level credit to improve agent performance while keeping value estimation efficient. Code is available at https://github.com/Jiaju-Chen/VETTA-official.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.08402v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.