arXiv:2610.13470v1 cs.CV

GraftOOD: 비디오 보상 최적화를 위한 이점 가중 정류에 분포 외 예시 접목

GraftOOD: Grafting Out-of-Distribution Exemplars into Advantage-Weighted Rectification for Video Reward Optimization

Zheming Fu, Ruizhe He, Wenbin Ning, Xiaoxiao Ma, Xuan Yang, Lianrui Mu, Haoyang Huang, Chang Liu, Lei Wang, Siming Fu

제출 2026-10-09

한국어 초록

비디오 보상(reward) 최적화는 대리 보상을 증가시키는 동시에 비디오의 역동성을 감소시킬 수 있으며, 본 논문에서는 비디오 수준의 모션 품질 보상 하에서도 발생하는 이러한 불일치를 모션 붕괴(motion collapse)로 규명합니다. 이에 따라 선택된 프롬프트(prompt) 그룹에서 온라인 롤아웃의 일부를 분포 외(out-of-distribution) 비디오 예시로 대체하는 GraftOOD를 제안합니다. 공유 속도 회귀 목적함수는 그룹 상대적 보상 정류와 시퀀스 수준 예시 감독을 결합하여, 예시 생성 궤적이나 추가적인 지도 손실(loss) 계수를 필요로 하지 않습니다. 또한 점별 최적 필드를 두 개의 소스별 타깃 필드가 소스 사후 확률로 가중 결합된 형태로 특성화합니다. 외부 감독을 제공하기 위해 2,397개 프롬프트에 대해 형식이 일치하는 9,588개의 예시를 포함하는 GraftSet-Video를 구축했습니다. Wan2.1-1.3B에서 GraftOOD는 보상 전용 FlowAWR 대비 Dynamic Degree를 4.86에서 44.41로 끌어올렸으며, HPSv3는 8.10에서 7.32로 감소했고 VisionReward는 유사한 수준을 유지했습니다. 주요 설정에서 GraftOOD는 세 가지 예시 증강 방법 중 10개 지표 중 9개에서 우위를 보였습니다. 예시 빈도 및 그룹 내 개수에 대한 소거 연구를 통해, 예시 사용량 증가에 따른 일률적 이득보다는 역동성과 보상 간의 트레이드오프가 존재함을 확인했습니다. 이러한 결과는 측정된 더 높은 역동성이 생성된 비디오의 일관되고 시각적으로 타당한 모션과 동일시되지 않는다는 점을 유의하면서도, 외부 예시 감독이 스칼라 보상 피드백을 보완하는 역할을 뒷받침합니다. 코드는 https://github.com/Fuzm7/FlowAWR 에서 확인할 수 있습니다.

원문 초록

Video reward optimization can increase proxy rewards while reducing video dynamics, a mismatch we identify as \emph{motion collapse}, including under a video-level motion-quality reward. We propose \textbf{GraftOOD}, which replaces part of the online rollouts in selected prompt groups with out-of-distribution video exemplars. A shared velocity-regression objective combines group-relative reward rectification with sequence-level exemplar supervision, requiring neither exemplar generation trajectories nor an additional supervised-loss coefficient. We characterize its pointwise optimal field as a source-posterior-weighted combination of the two source-specific target fields. We construct \textbf{GraftSet-Video}, containing 9,588 format-matched exemplars for 2,397 prompts, to supply external supervision. On Wan2.1-1.3B, GraftOOD raises Dynamic Degree from 4.86 to 44.41 relative to reward-only FlowAWR, while HPSv3 decreases from 8.10 to 7.32 and VisionReward remains close. At the main setting, GraftOOD leads nine of ten metrics among three exemplar-augmented methods. Ablations of exemplar frequency and within-group count reveal dynamics--reward trade-offs rather than uniform gains from increasing exemplar usage. These results support external exemplar supervision as a complement to scalar reward feedback, without equating higher measured dynamics with coherent, visually plausible motion in the generated videos. Code is available at \href{https://github.com/Fuzm7/FlowAWR}{GraftOOD}.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.13470v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15778v1cs.LG공통 태그 Reinforcement Learning (RL), reward hacking

판사 해킹의 속도는 무엇이 결정하는가? 판사 능력 대 정책-판사 간 격차

Who Sets the Pace of Judge Hacking? Judge Capability versus the Policy-Judge Gap

동결된 무참조(reference-free) LLM 판사(judge)를 대상으로 GRPO를 통해 정책(policy)을 학습시킬 때 판사는 더 많은 답변을 수용하지만, 사후 분석 결과 홀드아웃 탐욕적 정확도(held-out greedy accuracy)에서는 아무런 이득도 감지되지 않았습니다. 총 12개의 (정책, 판사) 조합 전체에서 시드 평균 이득은 결코 0.04를 넘지 않았습니다. 동일한 방식으로 정답 보상(gold-reward)을 적용한 대조군에서는 1.5B 정책의 탐욕적 정확도가 +0.054 [0.013, 0.096] 상승했으므로, 이 정책에서 나타난 평탄한 정확도는 판사 보상에 특화된 현상입니다. 반면 0.5B 정책의 경우 정답 보상에서도 감지 가능한 이득이 없었습니다. 확인된 상승세를 보인 네 개 조합에서 학습-롤아웃(training-rollout) 정확도의 초기 상승은 정답 보상 조건에서와 마찬가지로 대부분 샘플링 첨예화(sampling sharpening)에 기인했습니다. 이어서 강화학습(RL)이 판사의 위양성(false positive)을 악용하는 범위와 속도를 결정하는 것이 정책-판사 간 격차인지, 아니면 판사 자체인지를 질문합니다. 0.5B 및 1.5B Qwen2.5 정책을 크기가 최소 동등 이상인 네 가지 판사(Qwen2.5-1.5B/3B/7B, Llama-3.2-3B)에 대해 학습시키고, 1.5B 정책은 더 작은 하나의 판사(Qwen3-0.6B)에 대해서도 학습시켰습니다. 판사 해킹의 깊이(정체기, plateau)는 판사를 따랐습니다. 이는 판사 AUC와 상관관계(12개 조합에서 스피어만 상관계수 -0.69 [-0.94, -0.14])를 보였으며, 동일 계열 내에서는 더 큰 판사가 덜 심하게 속았습니다. 속도(시작 시점, onset)의 경우, 사전에 지정된 두 쌍이 격차 기반 설명과 상충했습니다(사전 지정된 임계값에서 격차가 더 큰 조합이 3.5배 더 일찍 속았습니다). 12개 조합으로는 어느 평가 지표에서도 판사 AUC와 격차를 공식적으로 분리해낼 수 없습니다. 더 작은 판사는 계열과 템플릿에서도 차이가 나긴 하지만, 정책만큼 큰 판사보다 더 일찍 속아 넘어가지 않았습니다. 홀드아웃된 세 판사에 대한 블라인드 테스트에서 해시 잠금된 스텝-0 예측기는 스텝-0 AUC를 능가하지 못했으나, 세 개 조합으로는 둘을 분리해 비교할 수 없습니다. 7-8B 규모에서 세 개 계열의 판사들은 0.37, 0.67, 0.85에서 정체기에 도달했습니다.

arXiv:2610.13781v1cs.CV공통 태그 Reinforcement Learning (RL), Video Generation

SimVTA: 주행 월드 액션 모델을 위한 시뮬레이션 기반 비디오-경로 정렬

SimVTA: Simulation-Grounded Video-Trajectory Alignment for Driving World Action Models

주행 월드 액션 모델(WAM)은 짝지어진 경로와 미래 관측값으로부터 학습(training)합니다. 강화학습(reinforcement learning)을 통한 사후 학습(post-training)을 활용하면 정책이 대안 경로를 탐색하고 주행 보상(reward)을 사용하여 플래닝을 개선할 수 있습니다. 그러나 주행 로그에는 기록된 경로에 대한 미래 비디오만 포함되어 있어, 이러한 대안 경로에는 상응하는 시각적 감독이 결여됩니다. 이에 따라 본 논문에서는 경로 최적화와 비디오 감독을 결합한 시뮬레이션 기반 사후 학습 프레임워크인 SimVTA를 제안합니다. 먼저, 각 관측값에 대해 후보 경로를 샘플링하고 실제 세계 시뮬레이터(예: World Engine)를 사용하여 3D 가우시안 스플래팅(3DGS)으로 재구성된 실제 환경에서 높은 보상을 얻은 후보의 미래 비디오를 렌더링합니다. 이는 모델(model) 자체의 예측과 독립적인 경로 맞춤형 감독을 제공합니다. 제한된 렌더링 예산 하에서, 렌더링된 후보 중 오차가 더 큰 미래에 대해 비디오 감독의 우선순위를 부여합니다. 마지막으로, GRPO(Group Relative Policy Optimization)를 통해 경로 플래닝을 최적화하고 일치된 비디오에 대한 플로우 매칭(flow-matching) 손실(loss)을 적용하여 공유 표현을 업데이트합니다. 추론(inference) 시점에 모델은 시뮬레이터 호출 없이 직접 경로를 예측합니다. NAVSIM v1에서 WAM 초기화(initialization)에 SimVTA를 적용했을 때 PDMS가 86.2에서 91.3으로 향상되었습니다(+5.1). 또한 NAVSIM v2에서 88.2 EPDMS를 달성하고 HUGSIM의 폐루프(closed-loop) 평가에서 평균 38.8의 HD-Score를 기록했습니다. 절제 연구(ablation study)에 따르면 비디오 감독으로 공유 표현을 업데이트하는 것이 플래닝 성능을 향상시키며, 높은 보상을 받는 경로 중 오차가 큰 미래를 우선시함으로써 성능이 더욱 향상됨을 보여줍니다.

arXiv:2610.10947v1cs.LG공통 태그 Reinforcement Learning (RL), reward hacking

RH-Detect: 보상 해킹 탐지를 위한 통합 벤치마크

RH-Detect: A Unified Benchmark for Reward Hacking Detection

의도된 작업을 완수하지 않은 채 평가 신호를 악용하는 현상인 보상 해킹(reward hacking)은 배포된 언어 모델 시스템의 신뢰성을 위협합니다. 기존 데이터셋들은 서로 다른 라벨, 응답 형식, 메타데이터 규약을 사용하여 탐지기(detector)의 결과를 비교하기 어렵게 만듭니다. 본 논문에서는 11개의 공개 데이터셋에서 보상 해킹과 관련된 하위 집합들을 결합하여 92,761개 행과 6가지 행동 범주를 공통 스키마로 구성한 벤치마크인 RH-Detect를 제시합니다. 다중 턴(multi-turn) 도구 사용 궤적을 포함하여 작업 프롬프트와 자유 형식 모델 생성문으로 각각 구성된 5,021개의 개방형 평가 단위에서, 추가 학습 없이 5개 계열의 기성 언어 모델 6개를 보상 해킹 탐지기로서 평가합니다. 최고 성능의 모델은 풀링된(pooled) AUROC 0.962와 93% 이상의 정확도를 달성합니다. 그러나 가장 강력한 4개 모델의 경우, 공통 결정 임계값에서 두 다중 턴 도구 사용 데이터셋인 MALT와 TRACE에 대한 정확도가 다른 데이터 소스에 비해 10.7~15.9%p 낮게 나타나, 배포 시점 모니터링에서의 주요 격차를 부각합니다. 또한 입력 형식에 따라 모델별로 서로 다른 영향이 나타남을 발견했습니다. 생각 과정(thinking)을 제거하면 Qwen3.5-4B의 AUROC는 0.779에서 0.849로 증가하지만, Qwen Flash는 0.977에서 0.950으로 감소합니다. 아울러 본 벤치마크를 탐지기 학습 데이터셋으로도 평가합니다. 각 소스를 차례로 배제(hold out)하며 평가했을 때, 단일 토큰 지도 미세조정(single-token SFT)은 6개 제외 소스 중 5개에서 평균 AUROC를 향상시켰습니다. 해당 실패 사례에 대해 GRPO를 후속 적용한 결과 탐지 성능이 소폭 향상되었습니다. 본 연구 결과는 단일 풀링 점수가 데이터 소스, 탐지기 입력, 학습 절차 전반에 걸친 편차를 가릴 수 있음을 보여줍니다.

arXiv:2609.27901v2cs.CV공통 태그 Video Generation

모든 모달리티는 동등하지만, 비디오는 더 동등하다: 공동 비디오 생성에서 크로스-어텐션 격차 줄이기

All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation

비디오는 외형, 기하학, 모션, 시간적 변화를 포착하여 물리적 사건을 풍부하게 표현합니다. 3D 신체 모션이나 오디오와 같은 다른 모달리티(modality)는 동일한 사건의 더 좁은 측면만을 인코딩합니다. 본 연구에서는 공동 멀티모달 확산 트랜스포머(joint multimodal diffusion transformer)가 교차 모달 대응(cross-modal correspondence)에서 그에 상응하는 비대칭성을 보임을 발견했습니다. 즉, 동반 모달리티는 비디오에 대해 강한 대응성을 형성하지만, 이들이 비디오를 제약하는 상호 대응성(reciprocal correspondence)은 실질적으로 훨씬 약하게 유지됩니다. 저자들은 두 방향을 비디오 토큰(token)에 대한 비교 가능한 대응 분포로 표현하고, 이들의 불일치를 상호 대응 격차(reciprocal correspondence gap)로 정의합니다. 또한 상호 교차 모달 어텐션 정규화(Reciprocal Cross-modal Attention Regularization)를 뜻하는 RecCAR를 제안합니다. 이는 이미 잘 확립된 비디오-모달리티 간 대응을 고정된 참조 기준으로 삼고, 더 취약한 모달리티-비디오 간 대응을 이에 맞춰 정렬하는 KL 정규화(regularizer) 기법입니다. 공동 비디오-모션 및 비디오-오디오 생성 전반에 걸쳐, RecCAR는 전반적인 생성을 개선하면서도 Human Anatomy 점수를 0.69에서 0.75로 향상시키고 오디오-비디오 비동기화(desynchronization)를 0.804에서 0.752로 감소시킵니다

arXiv:2610.03391v2cs.CV공통 태그 Video Generation

월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습

Native Action-Prior Learning from Videos for World Action Models

월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.