추적이 곧 상태다: 대규모 언어 모델 에이전트 팀을 위한 정확한 기여도 할당
The Trace Is the State: Exact Credit Assignment for LLM Agent Teams
한국어 초록
대규모 언어 모델(LLM) 에이전트 팀에서 각 메시지의 가치를 산정하는 기여도 할당(credit assignment)은 주로 예측 문제로 다루어져 왔습니다. 즉, 실제로 실행되기 어려운 기여도의 정의인 반사실적(counterfactual) 가치를 학습된 크리틱(critic), 궤적 수준의 점수, 또는 에이전트 제거(ablation) 등으로 대체해 온 것입니다. 공유 컨텍스트를 통해 소통하는 팀은 이와 다릅니다. 후속 에이전트가 읽는 모든 내용이 추적(trace)에 기록될 때 추적이 곧 상태가 되며, 이러한 반사실적 실행이 실제로 가능해집니다. 이를 통해 기여도 신호는 편향(bias), 분산(variance), 그리고 독립적인 기준과의 일치도 등 여느 추정량과 동일한 기준으로 평가될 수 있습니다. 반사실적 지속을 통한 기여도 할당 기법인 C3(credit assignment by counterfactual continuation)는 결정 시점에서 하나의 메시지를 대체한 뒤 최종 보상(reward)에 도달할 때까지 실행을 이어가므로, 몬테카를로 오차 범위 내에서 편향이 없고 정확합니다. 샘플링된 대안들이 주어졌을 때, 해당 오차의 분산은 에이전트 수에 대한 항이 포함되지 않은 유도 법칙을 따르며, 관측된 노이즈는 2~10개의 결정 시점을 가진 6개 워크플로에서 이 법칙을 따르는 것으로 나타났습니다. 2개 에이전트 체인에서 4회의 지속 실행을 수행한 C3는 16회 지속 실행을 거친 기준 대비 0.69의 순위 상관계수로 대안들의 순위를 매겼으며, 이는 두 기준 간의 일치도인 0.73에 근접한 수치입니다. 반면 동일한 롤아웃으로 학습(training)된 크리틱은 0.29에 그쳤습니다. 2개 에이전트 팀 학습에서 어드밴티지(advantage)로 사용되었을 때, C3는 비교군 중 더 강력한 기준선(baseline)이었던 MAGRPO를 능가했으며, 결정 시점 이후의 후속 메시지만 재생성하므로 MAPPO 대비 학습 토큰을 37% 적게 소모했습니다. 추적이 곧 상태일 때, 기여도는 예측할 필요 없이 정확하게 계산될 수 있습니다.
원문 초록
Credit assignment for a team of LLM agents, what each message was worth, has mostly been treated as prediction: a learned critic, a trajectory-level score, or an agent ablation stands in for the counterfactual that defines credit, which is rarely run. Teams that communicate through a shared context are different: when everything a downstream agent reads is written into the trace, the trace is the state, and that counterfactual can be executed. A credit signal can then be judged as any estimator is: by bias, variance, and agreement with an independent reference. C3, credit assignment by counterfactual continuation, substitutes one message at a decision point and continues the run to the terminal reward, so its credit is unbiased, exact up to Monte Carlo error. Given the sampled alternatives, that error's variance follows a derived law with no term for the number of agents, and the observed noise follows the law on 6 workflows of 2 to 10 decision points. On the 2-agent chain, from 4 continuations, C3 ranks alternatives at 0.69 rank correlation against a 16-continuation reference, near the 0.73 at which 2 such references agree; a critic trained on the same rollouts reaches 0.29. Used as the advantage in training a 2-agent team, C3 beats MAGRPO, the stronger baseline in our comparison, and spends 37% fewer training tokens than MAPPO, since only the messages downstream of a decision point are regenerated. When the trace is the state, credit need not be predicted; it can be exact.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
하나의 해답을 향한 세 가지 경로: 응용 연구자를 위한 AIPW, TMLE 및 이중 머신러닝의 일치화
Three Routes to One Answer: Reconciling AIPW, TMLE, and Double Machine Learning for Applied Researchers
전역 일관성: 모든 에이전트가 옳아도 팀 전체는 틀릴 때 - 멀티 에이전트 협업을 위한 국소-전역 의미론적 기반
Global Coherence: When Every Agent Is Right and the Team Is Still Wrong - A Local-to-Global Semantic Foundation for Multi-Agent Collaboration
Optimal Expert Annotation for Evaluating Sequential Decision Policies from Text Records
인과적 세계 모델은 모듈형 LLM 에이전트에 언제 도움이 되는가
When Do Causal World Models Help Modular LLM Agents
그래프 신경망을 활용한 상각 반사실적 예측
Amortized Counterfactual Prediction with Graph Neural Networks
반사실적 추론(counterfactual inference)은 환자가 다른 치료를 받았을 때 회복했을지와 같이, 다른 상황에서 관찰된 결과가 어떻게 달라졌을지를 묻습니다. 이러한 질문은 관찰되지 않은 대안의 결과에 의사결정이 좌우될 때마다 발생합니다. 반사실적 질의에 답하려면 일반적으로 기저 인과 구조에 대한 지식이 필요하지만, 이는 실제 환경에서는 얻기 어려운 경우가 많습니다. 따라서 일반적인 접근 방식은 관찰 데이터로부터 인과 그래프를 먼저 추정한 다음 반사실적 추론을 수행하는 것입니다. 그러나 추정된 인과 그래프의 오류는 다운스트림 반사실적 예측으로 전파될 수 있습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 인과 그래프를 먼저 추정하지 않고 관찰 데이터로부터 직접 반사실적 질의에 답하는 엔드투엔드 접근법인 Counterfactual Graph Neural Process(CFGNP)를 소개합니다. CFGNP는 그래프 신경망(GNN)을 활용하여 교차 세계 메시지 전달(cross-world message passing)을 대응하는 사실-반사실 변수로 제한함으로써 이중 그래프 구조를 활용합니다. 합성 데이터 및 이미지 기반 벤치마크 전반에서 CFGNP는 기존 접근 방식보다 더 강력한 예측 성능을 달성하며, German Loan 벤치마크에서는 MSE를 $4.51 \times 10^{-2}$에서 $0.19 \times 10^{-2}$로 감소시킵니다. 또한 합성 인과 그래프에서 10개 노드 그래프로만 학습된 모델은 재학습 없이도 최대 30개 노드를 가진 그래프에서 강력한 예측 성능을 유지합니다.
SafeDiSTL: 안전한 다중 에이전트 강화학습을 위한 공동 제약조건 분해
SafeDiSTL: Decomposing Joint Constraints for Safe Multi-Agent Reinforcement Learning
협력적 다중 에이전트 태스크는 종종 공유 목표나 집합적 안전성(collective safety)에 대한 제약조건을 부과합니다. 팀 수준의 위반 비용 함수는 이러한 제약조건 결과를 측정할 수 있지만, 어떤 에이전트의 행동이 해당 위반에 가장 큰 영향을 미치는지 구분하지 못합니다. 본 논문에서는 결합 제약조건 측정 하에서도 신용 할당(credit assignment)이 가능한 제약 다중 에이전트 강화학습(MARL) 프레임워크인 SafeDiSTL을 제안합니다. 우리는 신호 시간 논리(Signal Temporal Logic, STL) 강건성을 활용하여 실행 최댓값(running-maximum) 비용 증분을 통해 에피소드 수준의 위반을 측정합니다. 매끄러운 전체 에피소드 강건성과 미분 가능한 동역학은 행동 민감도(action sensitivity)를 제공하며, 이는 동일한 결정 시점에 각 비용 증분을 에이전트 전반에 걸쳐 분배합니다. 이러한 민감도는 각 비용 증분에서 에이전트의 기여도를 가중할 때 지연된 영향을 고려합니다. 우리는 협력적 화물 운송, 연결 항법, 네트워크 트래픽 제어 태스크에서 본 프레임워크를 연구합니다. 제약 baselines과 비교했을 때, SafeDiSTL은 운송 태스크에서 안전 성공률을 1.6~5.1배 달성하고, 항법 안전 성공률을 11.1% 향상시키며, 트래픽 태스크에서 50~68% 더 높은 처리량을 보입니다. 실험 결과는 학습된 정책이 제약 없는 정책의 성능을 유지하면서도 공유 제약조건을 다루는 데 있어 크게 향상되었음을 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
v3: substantially revised, new title. 30 pages, 3 figures