점수 브로드캐스트 및 비상관화: 브로드캐스트 기반 기여도 할당을 위한 일반적 프레임워크
Score Broadcast and Decorrelation: A General Framework for Broadcast-Based Credit Assignment
한국어 초록
본 논문에서는 미분 가능한 일반 손실군(families of differentiable losses)을 대상으로 브로드캐스트 기반 기여도 할당(credit assignment)을 수행하는 원리적 프레임워크인 점수 브로드캐스트 및 비상관화(Score Broadcast and Decorrelation, SBD)를 소개합니다. 오차 브로드캐스트(error broadcast)는 가중치 수송(weight transport) 없이 출력 정보를 은닉층(hidden layers)으로 전달하여 역전파(backpropagation)를 대체할 수 있는 생물학적으로 타당한 대안입니다. 평균 제곱 오차(MSE) 환경에 대해 최근 도입된 오차 브로드캐스트 및 비상관화(EBD) 프레임워크는 최적 잔차(optimal residual)가 입력 함수와 직교한다는 최적 추정량의 확률적 직교성에 이 메커니즘의 기반을 두었습니다. 본 연구는 최적 점수의 조건부 평균이 0일 때마다 성립하는 출력 점수(최종 층 출력에 대한 손실의 그래디언트)와 은닉층 활성화 간의 직교성 원리를 도입하여 이러한 토대를 일반화합니다. 이 단일 원리는 교차 엔트로피(cross-entropy), 브레그만 발산(Bregman divergences), 적절한 점수 매김 규칙(proper scoring rules), 지수족 음의 로그 우도(negative log-likelihoods)를 포함한 표준 미분 가능 손실군 전반에서 브로드캐스트 기반 기여도 할당을 통합합니다. 이 프레임워크는 브로드캐스트 손실 점수로부터 신경조절 인자(neuromodulatory factor)가 유도되는 일반 손실 하의 3요소 학습 규칙(three-factor learning rule)에 대한 이론적 토대를 제공합니다. 본 논문에서는 교차 엔트로피 사례를 명시적으로 유도하고 허용 가능한 손실군을 특성화하며, 직교성 프레임워크를 유지하면서 브로드캐스트 신호를 풍부하게 만드는 점수 벡터 확장(score vector expansion) 기법을 소개합니다. CIFAR-10 및 Tiny ImageNet에 대한 실험 결과, SBD가 기존 브로드캐스트 접근법 대비 크게 개선되었으며 점수 벡터 확장을 통해 추가적인 성능 향상을 달성함을 보여줍니다. 종합적으로 본 연구는 손실 점수를 브로드캐스트할 신호로 규명하고, 뇌신경과학의 3요소 학습 규칙에 대한 직교성 이론 및 이론적 근거를 제공하며, 점수 벡터 확장이 결과 목적함수의 비상관화 방향을 어떻게 풍부하게 하는지 보여줍니다.
원문 초록
We introduce Score Broadcast and Decorrelation (SBD), a principled framework for broadcast-based credit assignment for general families of differentiable losses. Error broadcast is a biologically plausible alternative to backpropagation that sends output information to hidden layers without weight transport. The Error Broadcast and Decorrelation (EBD) framework, recently introduced for the mean-squared-error (MSE) setting, grounded this mechanism in the stochastic orthogonality of optimal estimators, under which the optimal residual is orthogonal to functions of the input. We generalize that foundation by introducing an orthogonality principle between the output score (the gradient of loss with respect to the final-layer output) and hidden-layer activations, which holds whenever the optimal score has conditional mean zero. This single principle unifies broadcast-based credit assignment across the standard differentiable-loss families, including cross-entropy, Bregman divergences, proper scoring rules, and exponential-family negative log-likelihoods. The framework supplies a theoretical grounding for the three-factor learning rule under general losses, with the neuromodulatory factor derived as the broadcast loss score. We derive the cross-entropy case explicitly, characterize the admissible loss class, and introduce a score vector expansion technique that enriches the broadcast signal while preserving the orthogonality framework. Experiments on CIFAR-10 and Tiny ImageNet show that SBD substantially improves over existing broadcast approaches, with score vector expansion delivering further gains. Overall, this work identifies the loss score as the signal to broadcast, supplies the orthogonality theory and theoretical grounding for the three-factor learning rule from neuroscience, and shows how score vector expansion enriches the decorrelation directions of the resulting objective.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MJ: 분해된 크레딧 할당을 통한 다중 턴 LLM 탈옥
MJ: Multi-turn LLM Jailbreaking via Decomposed Credit Assignment
에이전틱 강화학습에서의 신용 할당을 위한 LLM 가치 함수
LLM Value Functions for Credit Assignment in Agentic RL
대규모 언어 모델(LLM) 에이전트를 위한 강화학습(RL)은 개별 행동에 신용을 할당하기 어려운 희소한 결과 보상 기반의 긴 호흡(long-horizon) 태스크에서 여전히 어려운 과제로 남아 있습니다. GRPO와 같은 방식은 모든 행동에 동일한 궤적 수준(trajectory-level)의 어드밴티지를 부여하는 반면, 크리틱(critic) 기반 방식은 비용이 많이 들고 불안정할 수 있는 별도의 가치 함수(value function) 학습을 필요로 합니다. 본 연구에서는 별도의 크리틱을 파인튜닝(fine-tuning)하지 않고 LLM의 사전학습된 지식과 문맥 내 학습(ICL) 능력을 활용하여 정책 인지적(policy-aware) 상태 가치를 추정하는 LLM 가치 함수 강화학습(LVRL)을 소개합니다. LVRL은 가치 모델을 그룹 컨텍스트에 조건화하고 초기 및 최종 상태의 기지 가치를 사용하여 예측을 캘리브레이션함으로써, 추정된 가치 차이로부터 스텝 수준(step-level)의 신용 할당을 가능하게 합니다. 나아가 이 아이디어를 온-정책(on-policy) 증류(OPD)를 통한 전문가 정책 학습으로 확장하여, 추정 가치의 감소와 관련된 행동에 교사(teacher)의 감독을 집중시키는 LLM 가치 함수 OPD(LVOPD)를 제안합니다. 우리는 AppWorld, BabyAI, SWE-bench Verified 등 다양한 에이전틱 벤치마크 전반에서 접근 방식을 평가합니다. 정책 규모(4B~32B) 전반에 걸쳐 LVRL은 GRPO와 PPO 모두를 일관되고 상당한 차이로 능가합니다. AppWorld 및 SWE-bench Verified에서 LVRL은 GRPO 대비 각각 최대 13.6 및 8.6퍼센트포인트의 절대적인 성능 향상을 달성합니다. 특히 BabyAI와 같이 확장된 탐험(exploration)이 필요한 태스크에서 LVRL은 완전한 실패에서 75.0% 성공으로 격차를 좁힙니다. 또한 LVOPD는 AppWorld에서 표준 증류 베이스라인 대비 일관된 개선을 보입니다. 마지막으로 몬테카를로 분석을 통해 우리의 고정된 크리틱이 시맨틱한 함정과 회복을 정확하게 식별함을 확인하여, LVRL이 희소한 최종 결과로부터 견고하고 정책 인지적인 스텝 수준 신용을 추출함을 입증합니다.
시간적 근접성을 넘어서: 강화학습에서의 신용 할당을 위한 설명적 월드 모델
Beyond Temporal Proximity: Explanatory World Models for Credit Assignment in Reinforcement Learning
생성형 추천 시스템(Generative Recommenders)은 결정 이후 수백 또는 수천 번의 상호작용이 지난 뒤에야 나타나는 결과를 최적화하기 위해 점점 더 강화학습(Reinforcement Learning, RL)을 활용하고 있다. 표준 강화학습은 명시적인 관련성이 아니라 시간적 근접성에 따라 보상을 전파하며, 이로 인해 멀리 떨어져 있지만 중요한 행동에 할당되는 신호가 약화되고 샘플 비효율성의 원인이 된다. 우리는 설명(explanation)을 사용하여 실현된 결과에 그럴듯하게 기여했을 이전 사건들을 식별하는 귀속(attribution) 프레임워크인 설명적 월드 모델(Explanatory World Models, EWM)을 소개한다. 우리는 프론티어 언어 모델을 사용하여 EWM을 구체화하고, 할인되지 않은 에피소드 리턴(undiscounted episode return)을 보존하면서 보상을 재귀적으로 재분배하는 보수적인 계층적 연산자(hierarchical operator)를 통해 그 설명을 학습 신호로 사용한다. 무엇이 유용한 설명을 구성하는지를 조사하기 위해, 우리는 Halpern의 실제 인과관계(actual causation), Lombrozo의 설명적 단순성(explanatory simplicity), Deutsch의 변형하기 어려운 설명(hard-to-vary explanations)에서 영감을 받은 세 가지 상호 보완적인 변형을 구체화한다. 우리는 두 가지 통제된 장기 호라이즌(long-horizon) 강화학습 벤치마크, 공개된 순차적 추천(sequential-recommendation) 벤치마크, 그리고 산업 규모의 생성형 추천 시스템에서 EWM을 평가한다. Crafter와 WordCraft에서 EWM은 PPO와 LaRe를 크게 상회하며, 보상이 가장 지연될 때 가장 큰 성능 향상을 보인다. KuaiRand에서 EWM은 오프라인에서 SFT와 LaRe를, 온라인에서 A2C를 상회한다. 마지막으로, 산업용 생성형 추천 시스템에 대한 오프라인 평가에서 EWM은 재현율(Recall)을 상당히 개선하고 행동 대리 지표(behavioral proxies)를 증가시킨다. 이러한 결과는 설명이 지연된 결과로부터 학습하기 위한 구조화되고 재사용 가능한 신용(credit)을 제공할 수 있음을 시사한다.
SafeDiSTL: 안전한 다중 에이전트 강화학습을 위한 공동 제약조건 분해
SafeDiSTL: Decomposing Joint Constraints for Safe Multi-Agent Reinforcement Learning
협력적 다중 에이전트 태스크는 종종 공유 목표나 집합적 안전성(collective safety)에 대한 제약조건을 부과합니다. 팀 수준의 위반 비용 함수는 이러한 제약조건 결과를 측정할 수 있지만, 어떤 에이전트의 행동이 해당 위반에 가장 큰 영향을 미치는지 구분하지 못합니다. 본 논문에서는 결합 제약조건 측정 하에서도 신용 할당(credit assignment)이 가능한 제약 다중 에이전트 강화학습(MARL) 프레임워크인 SafeDiSTL을 제안합니다. 우리는 신호 시간 논리(Signal Temporal Logic, STL) 강건성을 활용하여 실행 최댓값(running-maximum) 비용 증분을 통해 에피소드 수준의 위반을 측정합니다. 매끄러운 전체 에피소드 강건성과 미분 가능한 동역학은 행동 민감도(action sensitivity)를 제공하며, 이는 동일한 결정 시점에 각 비용 증분을 에이전트 전반에 걸쳐 분배합니다. 이러한 민감도는 각 비용 증분에서 에이전트의 기여도를 가중할 때 지연된 영향을 고려합니다. 우리는 협력적 화물 운송, 연결 항법, 네트워크 트래픽 제어 태스크에서 본 프레임워크를 연구합니다. 제약 baselines과 비교했을 때, SafeDiSTL은 운송 태스크에서 안전 성공률을 1.6~5.1배 달성하고, 항법 안전 성공률을 11.1% 향상시키며, 트래픽 태스크에서 50~68% 더 높은 처리량을 보입니다. 실험 결과는 학습된 정책이 제약 없는 정책의 성능을 유지하면서도 공유 제약조건을 다루는 데 있어 크게 향상되었음을 입증합니다.
LLM 에이전트 학습을 위한 맥락 일치 그룹 정책 최적화
Matched-Context Group Policy Optimization for LLM Agent Training
장기적인(long-horizon) 언어 모델 에이전트를 학습시키려면 희소한 최종 피드백으로부터 중간 결정들에 대한 신용 할당(credit assignment)을 수행해야 합니다. 유한한 형제 롤아웃(sibling rollout) 그룹 내에서 유용한 행동 비교는 해당 행동의 맥락, 두 대안에 대한 증거, 그리고 그 증거가 학습에 어떻게 반영되는지에 따라 달라집니다. 본 연구에서는 이미 수집된 궤적(trajectory)으로부터 가중 행동 선호도를 구축하는 절차인 맥락 일치 그룹 정책 최적화(Matched-Context Group Policy Optimization, MCGPO)를 제안합니다. MCGPO는 행동 전 상태 요약 및 관찰된 루브릭 진행 상황으로 비교 맥락을 정의하며, 이는 작업 규칙에 의해 주석 처리됩니다. 두 행동 지지(two-action support)는 순서화된 정확 및 대략적 매칭 규칙 중에서 선택합니다. 고정 폴드(fixed fold)는 후보 결정들을 선호도 방향을 설정하는 데 사용되는 최종 결과로부터 분리하며, 지지 의존적 증거 가중치는 공유된 GraphGPO 작업 학습과 함께 보조 쌍별(pairwise) 목적 함수를 스케일링합니다. MCGPO는 롤아웃 데이터와 각 응답의 원래 이력을 재사용하여 비평자 없는(critic-free) 학습을 유지합니다. 각각 세 가지 학습 시드를 사용한 6개의 환경-백본 설정 전반에서, MCGPO는 일치된 GraphGPO 대비 평균 성공률을 향상시켰습니다. Qwen2.5-1.5B 및 7B를 사용한 ALFWorld와 WebShop에서 0.47~1.46%포인트 향상되었으며, Qwen3-4B 및 8B를 사용한 WebShop에서는 3.96 및 5.16포인트 향상되었습니다. ALFWorld의 성능 향상은 여유 공간이 제한적인 92% 이상의 기준선 성공률을 기반으로 이루어졌습니다. 통합 성공률은 4개의 Qwen2.5 설정 중 3개에서 향상되었습니다. 3개 시드 요인 제어(factorial controls)는 반대 폴드 증거 및 증거 가중치를 뒷받침하며, 결합 상태-루브릭 매칭은 4개의 표현-제어 설정 모두에서 가장 높은 평균을 달성했습니다.
자체 솔루션으로부터의 학습: 검증 가능한 보상을 통한 강화학습을 위한 자기 조건화 크레딧 할당
Learning from Own Solutions: Self-Conditioned Credit Assignment for Reinforcement Learning with Verifiable Rewards
검증 가능한 보상을 통한 강화학습(RLVR)은 추론 작업을 위한 대규모 언어 모델(LLM) 학습에서 상당한 진전을 이끌었지만, GRPO와 같은 대표적인 방법들은 모든 토큰에 걸쳐 균일한 크레딧을 할당하여 일상적인 토큰에 그래디언트를 낭비하는 반면 결정적인 추론 단계에는 크레딧을 부족하게 부여합니다. 기존의 토큰 수준 크레딧 할당 방법들은 모델 자체의 롤아웃을 넘어서는 자원을 필요로 합니다. GRPO 변형들은 프로세스 보상 모델이나 정답(ground-truth)에 의존합니다. 지식 증류는 토큰별 발산을 통해 크레딧을 할당하지만, 외부 교사(온-정책 증류)나 특권 정보(온-정책 자기 증류)를 필요로 합니다. 그러나 이러한 의존성은 순수 RLVR 설정에서의 적용 가능성을 제한합니다. 본 연구에서는 모델을 자체적으로 검증된 궤적으로 조건화하면 원래 분포와 조건화된 분포 사이에 측정 가능한 토큰별 KL 발산이 유도됨을 관찰하고, 검증된 궤적으로 구성된 자기 교사로부터 증류하는 것은 여러 검증된 궤적이 존재할 때 실현 불가능한 가중 평균 솔루션으로 이어진다는 점을 증명합니다. 이에 따라 앞서 언급한 KL 발산을 GRPO 그래디언트의 곱셈 가중치로 사용하는 SC-GRPO(Self-Conditioned GRPO)를 제안합니다. 수학, 코드 및 에이전트 작업에 걸친 5개의 벤치마크에서 SC-GRPO는 더 강력한 OOD 성능과 함께 GRPO 대비 8.1%, DAPO 대비 5.9% 일관되게 우수한 성능을 보였습니다. 나아가 SC-GRPO는 OPD보다도 높은 성능을 달성합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.