엔트로피를 넘어서: 비디오 추론을 위한 자가 진단 다중 역할 토큰 최적화
Beyond Entropy: Self-Diagnostic Multi-Role Token Optimization for Video Reasoning
한국어 초록
검증 가능한 보상을 활용한 강화학습은 멀티모달 추론을 크게 발전시켰으나, 모호한 토큰(token) 수준의 기여도 할당(credit assignment) 문제로 인해 여전히 근본적인 한계를 지닙니다. 높은 엔트로피를 지닌 토큰 휴리스틱은 가능성 탐험(exploration)을 촉진하지만, 이를 비디오 추론으로 단순 확장할 경우 모델이 고엔트로피 시각적 활성화에 지나치게 의존하게 되어 추론 과정이 불필요하게 길어지는 경향이 있습니다. 기여도 할당을 위해 반사실적(counterfactual) 기반 시각 토큰 위치 파악에 의존하는 대안적 접근법 역시 정답 도출을 위한 결정적인 추론 단서를 희생하면서 시각적 탐험을 과도하게 우선시하는 경향이 있어, 무의미한 시각적 뉘앙스로 인한 간섭을 심화시킵니다. 나아가 이러한 방법들은 학습(training) 중에 정책(policy)과 함께 동반 진화(co-evolve)하지 못하는 정적 반사실적 전략을 사용합니다. 본 논문에서는 신뢰할 수 있는 토큰 선택과 적응형 반사실적 개입을 공동 최적화하는 동반 진화 프레임워크인 DyCPO를 소개합니다. DyCPO는 다중 역할 의존성 지표를 구축하여 토큰 단위 대조 학습(contrastive learning)에서 시각적 탐험과 정답 관련성 발굴 간의 균형을 맞추는 동시에, 탐험 전용 필러(filler) 토큰과 거짓 시각적 노이즈를 억제합니다. DyCPO는 정적인 반사실적 사전 정보에 의존하는 대신, 모델의 성공 및 실패 롤아웃(rollout)으로부터 반사실적 신호를 동적으로 도출하여 자가 진단 분석과 정책에 맞춘 최적화 목표의 동반 진화를 가능하게 합니다. 복잡한 비디오 추론 및 일반적인 비디오 이해 벤치마크에 대한 광범위한 실험을 통해 일관된 성능 향상을 입증함으로써, DyCPO가 멀티모달 강화학습을 위한 견고한 토큰 수준 기여도 할당 패러다임임을 보여줍니다.
원문 초록
Reinforcement learning with verifiable rewards has substantially advanced multimodal reasoning, yet it remains fundamentally limited by ambiguous token-level credit assignment. While high-entropy token heuristics encourage possibility exploration, naively extending them to video reasoning tends to induce lengthy reasoning, as the model becomes overly reliant on high-entropy visual activations. Alternative approaches that rely on counterfactual-based visual token localization for credit assignment also tend to over-prioritize visual exploration at the expense of decisive reasoning cues for answer derivation, thereby exacerbating the interference from spurious visual nuances. Moreover, these methods employ static counterfactual strategies that fail to co-evolve with the policy during training. In this paper, we introduce DyCPO, a co-evolutionary framework that jointly optimizes reliable token selection and adaptive counterfactual intervention. It constructs a multi-role dependence metric to balance visual exploration and answer-relevance mining in token-wise contrastive learning, while suppressing exploration-only filler tokens and spurious visual noise. Rather than relying on static counterfactual priors, DyCPO dynamically derives counterfactual signals from the model's own successful and failed rollouts, enabling self-diagnostic analysis and co-evolution of the optimization objective with the policy. Extensive experiments on complex video reasoning and general video understanding benchmarks demonstrate consistent performance improvements, establishing DyCPO as a robust token-level credit assignment paradigm for multimodal reinforcement learning.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
비디오 MLLM 사후 학습을 위한 행동 팩 최적화
Behavior Pack Optimization for Video MLLM Post-Training
비디오 다중모달 대규모 언어 모델(video multimodal large language model, Video MLLM)은 비디오 질의응답 벤치마크에서 지속적으로 성능을 높이고 있지만, 프레임을 섞거나 정답을 뒷받침하는 구간을 마스킹하거나 대상 객체를 가려도 예측 결과는 거의 변하지 않습니다. 이러한 정확도는 질문이 요구하는 시간적 증거가 아닌 외형 및 언어 사전확률(prior)에 의존하고 있습니다. 저자들은 이 원인이 사후 학습(post-training) 단위에 있음을 밝혀냈습니다. 즉, 보상(reward)이 원본 클립에 대한 단일 응답에 대해서만 계산되므로, 모델이 다양한 관점(view)에 걸쳐 일관되게 행동하도록 요구받지 않는다는 점입니다. 이에 저자들은 단일 응답 대신 질문 유형에 따라 선택된 반사실적 관점들에 걸친 출력들의 행동 팩(behavior pack)으로 대체하고 이를 공동으로 평가하는 행동 팩 최적화(Behavior Pack Optimization, BPO)를 제안합니다. 팩 보상은 개입이 무관할 때는 안정성을, 핵심 증거가 제거되었을 때는 민감성을, 증거가 전혀 남아있지 않을 때는 기권(abstention)을 요구합니다. 작은 팩 크기에서도 이 목적 함수를 안정적으로 유지하기 위해, BPO는 앵커 상대적 이점(anchor-relative advantage)을 사용합니다. 즉, 혼합된 관점들의 그룹 평균 대신 원본 관점의 응답이 프롬프트별 참조 역할을 수행합니다. TempCompass, MVBench, NExT-QA에서 BPO는 동일한 SFT 체크포인트 기반의 예산 매칭된 바닐라 GRPO 기준선(baseline) 대비 Qwen2.5-VL-7B-Instruct의 매크로 정확도를 4.7%p, 시간적으로 까다로운(temporal-hard) 하위 집합을 7.8%p, 기권 F1을 20.0%p 향상시킵니다. 이러한 이득은 Video-MME, LongVideoBench 및 LLaVA-Video-7B로도 전이되며, 소거 연구(ablation)를 통해 이러한 성과가 롤아웃(rollout) 횟수가 아닌 관점 세트에 기인함을 확인했습니다. 연구진은 증거에 기반한(evidence-grounded) 비디오 추론으로 나아가는 과정에서, 이러한 팩 수준의 관점이 비디오 MLLM 및 다중모달 사후 학습 커뮤니티에 유용한 출발점을 제공하기를 기대합니다.
MetaRubric: 루브릭 기반 강화학습을 위한 보상 학습
MetaRubric: Learning to Reward for Rubric-Based Reinforcement Learning
루브릭 기반 강화학습(RL)은 개별 응답 요구사항에 부분 점수를 부여함으로써 개방형 과제로 보상 기반 최적화를 확장합니다. 그러나 루브릭 판정 모델은 요구되는 정보나 행동이 응답에 없음에도 불구하고 높은 기준 점수를 부여할 수 있으며, 본 논문에서는 이러한 실패 모드를 '공허한 점수 부여(Vacuous Credit)'라고 명명합니다. 이러한 점수 부여는 필수 정보가 제거된 후에도 지속되며, 응답의 GRPO 어드밴티지 부호를 역전시킬 수 있습니다. 이 문제를 해결하기 위해, 우리는 증거 인식 정책 최적화와 응답 유도 루브릭 적응을 번갈아 수행하는 MetaRubric을 제안합니다. 우리는 각 프롬프트에서 과제와 관련된 하나의 사실을 변경하여 반사실적(counterfactual) 대응물을 구성합니다. 정책 최적화 과정에서는 응답이 요구되는 루브릭 기준을 충족하기에 충분한 증거를 포함할 때만 점수가 부여됩니다. 각 정책 최적화 단계 이후에는 현재 정책의 응답을 바탕으로 원래 기준과 반사실적 기준을 수정하며, 이때 각 프롬프트의 사실에 따라 해석되는 원래 프롬프트의 초기 루브릭 의미는 보존합니다. 또한 관찰된 정책 오류를 더 잘 해결하기 위해 단계 경계에서 기준 가중치를 조정합니다. 다양한 백본에 걸쳐 MetaRubric은 정적 판정 모델 기반 GRPO 대비 PubMedQA 정확도를 6.00~20.40% 포인트 향상시켰으며, HealthBench-Hard 및 두 개의 멀티모달 의료 벤치마크에서도 추가적인 성능 향상을 달성했습니다.
핵심에 대한 보상: 터미널 에이전트를 위한 의존성 인식 정책 최적화
Credit Where It Matters: Dependency-Aware Policy Optimization for Terminal Agents
터미널을 사용하는 에이전트(agent)는 코딩, 디버깅 및 기타 다단계 터미널 작업에서 강화학습(RL)의 이점을 얻습니다. 이러한 작업에서는 후속 명령어가 이전 명령어에 의해 생성된 정보나 중간 결과에 의존하는 경우가 많습니다. 그러나 기존의 궤적 수준(trajectory-level) 및 단계 수준(step-level) 신용 할당(credit assignment) 방법은 명령어가 최종 결과에 영향을 미치는 읽기-쓰기 의존성을 명시적으로 추적하지 않습니다. 결과적으로 무관한 연산에도 학습(training) 신호가 할당되어 유의미한 단계로부터의 학습을 약화시킬 수 있습니다. 본 논문에서는 명령어 간의 실행 의존성을 활용하여 터미널 에이전트의 신용 할당을 안내하는 의존성 인식 그룹 정책 최적화(Dependency-Aware Group Policy Optimization, DepGPO)를 제안합니다. 구체적으로, 실행 추적(execution trace)으로부터 명령어 의존성 그래프를 구축하고 작업 검증기(task verifier)가 검사한 리소스에서부터 역방향으로 추적합니다. 그런 다음 이러한 경로를 따라 관련 쓰기 작업 및 이를 뒷받침하는 읽기 작업에 신용을 할당하고, 이를 활용해 단계별로 궤적 이점(trajectory advantage)을 재분배합니다. 광범위한 비교 실험과 절제 연구(ablation study)를 통해 DepGPO가 복잡한 터미널 작업에서 작업 성능과 학습 안정성을 향상시킴을 입증합니다.
LPA-CWM: 반사실적 월드 모델을 활용한 모션 추론을 위한 학습된 물리 판정기
LPA-CWM: A Learned Physical Adjudicator for Motion Reasoning with Counterfactual World Models
반사실적 월드 모델(CWM)은 실제 예측과 개입된 예측을 비교하여 사전학습된 비디오 예측기에서 모션을 추출하지만, 균일 집계(uniform aggregation)는 물리적 사전지식(physical priors)을 명시적으로 통합하지 않고 응답에 동일한 가중치를 부여합니다. 본 연구의 핵심 통찰은 물리적 사전지식을 후보 신뢰도 학습에 통합하는 것으로, 가벼운 학습된 물리 판정기(LPA)를 갖춘 LPA-CWM을 제안하게 된 배경이 되었습니다. 조밀한 MOVi-F 궤적에서 학습된 3.0M 매개변수의 LPA는 순서가 없는 후보 집합 전체에서 시각적 문맥과 응답 구조를 비교하여 상대적 가중치를 예측하며, CWM을 고정한 상태에서 윈도우 기반 위치 파악 및 1회의 쌍별 재평가를 통해 모션을 복원합니다. 기존의 비디오 수준 벤치마크는 낮은 위치 파악 오차가 누락된 궤적 구간을 감출 수 있는 모션 대응을 직접적으로 평가하지 못합니다. 이에 따라 위치 파악, 완전성, 가시성 및 연속성을 함께 측정하고 가시적인 동적 지점에서 누락된 예측을 실패로 간주하는 정답 기반 프로토콜인 완전성 인식 모션 대응(CMC)을 도입합니다. DAVIS, Kinetics 및 RoboTAP 전반에 걸쳐 LPA-CWM은 Uniform CWM 대비 모든 주요 CMC 지표를 개선하여 평균 동적 대응 정확도($\mathrm{DCA}_{\mathrm{avg}}$)에서 18.1%--60.0%의 상대적 향상을 달성하고, TAP-Vid First 추적 정확도를 향상시킵니다(개요: https://LPA-CWM.github.io).
FlowHMR: 비디오로부터 물리적으로 타당한 모션 캡처
FlowHMR: Physically Plausible Motion Capture from Video
본 논문에서는 단안 비디오로부터 물리적으로 타당한 글로벌 3D 인간 모션을 복원하는 프레임워크인 FlowHMR을 제시합니다. 기존의 학습 기반 방법들은 일반적으로 비디오에서 직접 인간 모션을 회귀하고 기하학적 지도 학습(geometric supervision)을 통해 네트워크를 학습시킵니다. 그러나 단안 비디오에서 인간 모션을 복원하는 것은 깊이(depth) 측면에서 본질적으로 모호하며, 직접 회귀 방식은 평균화된 해(averaged solution)로 수렴하는 경향이 있습니다. 또한 복원된 모션이 물리적으로 타당하다고 보장되지 않아, 물리 기반 추적이 실패하는 경우가 빈번합니다. 이러한 문제를 해결하기 위해, 우리는 비디오 모션 캡처를 비디오 조건부 모션 생성 문제로 공식화하고 먼저 이 작업을 위한 플로우 매칭(flow matching) 모델을 사전학습(pre-training)합니다. 입력 비디오가 주어지면 사전학습된 모델이 다양한 모션 후보들을 생성하지만, 이들 모두가 비디오에 충실하거나 물리적으로 추적 가능한 것은 아닙니다. 따라서 우리는 두 가지 보상(reward)을 사용하는 그룹 상대 정책 최적화(GRPO)를 통해 모델을 사후학습(post-training)합니다. 충실도 보상(fidelity reward)은 입력 비디오와의 일관성을 장려합니다. 추적 보상(tracking reward)은 물리 기반 컨트롤러가 성공적으로 추적할 수 있는 모션을 선호하도록 합니다. 이 두 보상이 결합되어 모델의 출력 선호도를 전환함으로써, 사후학습된 모델은 입력 비디오에 충실하면서도 더욱 물리적으로 타당한 모션을 생성합니다. 나아가 야생 환경(in the wild)에서의 인간 모션 복원을 평가하기 위해 약 4천 개의 인터넷 비디오로 구성된 대규모의 다양한 데이터셋인 Wild-4K를 소개합니다. Wild-4K에 대한 정성적 및 정량적 실험 결과, 제안하는 방법이 전반적인 모션 충실도에서 최첨단 방법들을 능가하며, 가장 강력한 기준선인 GVHMR의 62.82%에 비해 82.47%의 물리적 추적 성공률을 달성함을 보여줍니다.
크리틱을 더 신뢰하기
Trust the Critic More
표준 언어 모델(LM) 강화학습(RL) 알고리즘은 긴 롤아웃(rollout)의 모든 토큰에 최종 보상으로 결정되는 동일한 어드밴티지(advantage)를 부여합니다. 액터-크리틱(Actor-critic) 방식은 더 세분화된 신용 할당(credit assignment)을 제공할 수 있지만, 학습된 크리틱은 LLM을 RL로 학습시킬 때 신뢰하기에는 일반적으로 너무 부정확하다고 여겨집니다. 최근 연구들에서는 크리틱이 존재하더라도 기준선(baseline) 추정에만 사용되므로, 모든 궤적(trajectory)을 최종 보상에 도달할 때까지 끝까지 롤아웃해야 합니다. 본 연구에서는 모든 궤적을 완료될 때까지 롤아웃할 필요를 없애는 액션 청킹 기반 액터-크리틱(AC2, Actor-Critic with Action Chunking)을 소개합니다. AC2는 대신 과거 궤적 접두사(prefix)의 짧은 연속 구간인 액션 청크(action chunk)에 신용을 할당합니다. 학습된 크리틱은 각 액션 청크의 끝에서 도달한 상태를 평가하여, 정책(policy)이 최종 보상을 관찰하지 않고도 업데이트될 수 있도록 합니다. 우리는 세 가지 설계 선택을 통해 크리틱 기반 신용 할당의 신뢰성을 확보합니다. 첫째, 특정 문제에서 크리틱이 충분히 정확할 때에만 해당 문제에 크리틱 기반 업데이트를 사용하는 국소 준비도(local readiness)를 도입합니다. 둘째, 가능한 경우 이전의 성공적인 롤아웃에서 얻은 참조 솔루션을 크리틱에 제공합니다. 셋째, 개별 토큰 대신 1만 개 토큰 크기의 액션 청크 단위로 신용을 할당하여 크리틱이 평가할 궤적의 더 유의미한 부분을 제공합니다. 우리는 AC2를 사용하여 FineProofs-RL에서 Qwen3-4B를 학습(training)하고 IMO-ProofBench에서 평가합니다. AC2는 2.5배 적은 디코딩 FLOPs를 사용하면서도 GRPO의 최고 검증(validation) 점수인 18.5%를 능가합니다. 이러한 이득은 두 가지 요인에서 비롯됩니다. (1) AC2는 이 점수에 도달하는 데 25% 적은 학습 스텝을 필요로 하며, (2) 정책이 모든 궤적을 완료될 때까지 지속할 필요가 없으므로 각 스텝마다 더 적은 수의 토큰을 생성합니다. 개념적으로 본 연구는 모든 궤적을 완료될 때까지 롤아웃할 필요성을 제거할 수 있음을 입증하며, LLM RL 알고리즘을 위해 기존에 탐색되지 않았던 광범위한 설계 공간을 새롭게 열어줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
19 pages, 6 figures, under review