더 많음에서 더 적음을: 밀집 참조로 희소 비디오 추론 강화하기
Less from More: Reinforcing Sparse Video Reasoning from Dense References
한국어 초록
비디오-언어 모델은 일반적으로 더 많은 시간적 관찰(temporal observation)이 더 신뢰할 수 있는 추론으로 이어진다고 가정한다. 본 연구는 이러한 가정에 의문을 제기하며, 핵심 과제는 단순히 더 많은 비디오 프레임을 효율적으로 처리하는 것이 아니라, 제한된 시간적 증거(temporal evidence) 하에서도 신뢰할 수 있게 추론하는 법을 학습하는 것이라고 주장한다. 우리는 밀집 비디오 뷰(dense video view)를 희소 프레임 추론(sparse-frame inference)을 위한 학습 시점 참조로 사용하는 dense-to-sparse 사후 학습 프레임워크인 SAVER를 제안한다. 강화학습 기반 사후 학습 과정에서, 쌍을 이루는 밀집 뷰와 희소 뷰는 그라운딩 보상(grounding reward)과 신뢰도 게이팅된 참조 보상(reliability-gated reference reward)으로 최적화되며, 이를 통해 희소 뷰 예측이 과제와 관련된 시간적 증거를 보존하도록 유도한다. 특히 SAVER는 비디오 질의응답(video question answering) 주석을 전혀 사용하지 않고, 무작위로 샘플링된 1,250개의 시간적 그라운딩(temporal grounding) 예제만으로 학습된다. 세 가지 시간적 그라운딩 벤치마크와 여섯 가지 비디오 질의응답 벤치마크에서, SAVER는 프레임 예산(frame budget)에 관계없이 일관되게 성능을 향상시킨다. 특히 SAVER는 훨씬 적은 프레임을 사용하면서도 밀집 프레임(dense-frame) Qwen3.5 베이스라인과 동등하거나 이를 상회하는 성능을 보인다. 이러한 결과는 시간적 그라운딩이 더 넓은 비디오 이해(video understanding) 과제로 전이되는 희소 비디오 추론을 학습하기 위한 효과적인 증거 위치 파악(evidence-localization) 프록시로 활용될 수 있음을 보여준다.
원문 초록
Video-language models commonly assume that more temporal observations lead to more reliable reasoning. We question this assumption and argue that the key challenge is not merely processing more video frames efficiently, but learning to reason reliably under limited temporal evidence. We propose SAVER, a dense-to-sparse post-training framework that uses dense video views as training-time references for sparse-frame inference. During reinforcement post-training, paired dense and sparse views are optimized with grounding rewards and a reliability-gated reference reward, encouraging sparse view predictions to preserve task-relevant temporal evidence. Notably, SAVER is trained only on 1,250 randomly sampled temporal grounding examples, without using any video question answering annotations. Across three temporal grounding benchmarks and six video question-answering benchmarks, SAVER consistently improves performance across frame budgets. In particular, SAVER can match or surpass dense-frame Qwen3.5 baselines while using substantially fewer frames. These results show that temporal grounding can serve as an effective evidence-localization proxy for learning sparse video reasoning that transfers to broader video understanding tasks.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
VICO: 비전-언어 모델 추론을 위해 함께 진화하는 시각적 환경
VICO: Visual Environments Co-Evolving for Vision-Language Model Reasoning
검증 가능한 보상을 활용한 강화학습(RLVR)은 비전-언어 모델(VLM)의 사후 학습을 위한 표준적인 방법론이 되었으나, 일반적으로 정적인 학습 환경을 가정합니다. 액터(actor)의 성능이 향상됨에 따라 고정된 태스크는 점차 학습 영역(learning frontier)을 벗어나게 됩니다. 즉, 상당수는 사소해지고 다른 태스크는 여전히 해결 불가능한 상태로 남아 학습 신호가 소실됩니다. 본 논문에서는 VLM 사후 학습이 액터 자체뿐만 아니라 액터와 함께 시각적 환경도 진화시켜야 한다고 주장합니다. 이를 위해 액터와 리라이터 형태의 환경(EnvRewriter)을 공동 학습하는 공진화(co-evolutionary) 프레임워크인 VICO를 제안합니다. EnvRewriter는 씬 그래프(scene graph), 차트 테이블, 보호 영역 마스크와 같이 검증 가능한 이미지 측 구조를 편집하고 이를 다시 렌더링하여 정답 레이블이 유효한 학습 샘플을 생성하며, 통과율 기반 보상을 통해 샘플의 난이도를 액터의 현재 능력에 맞게 보정합니다. 이러한 루프는 추가적인 사람의 주석 작업 없이 태스크 난이도와 액터의 역량을 지속적으로 재조정합니다. 수학적 추론 및 시각적 그라운딩(visually grounded) 이해를 포괄하는 9개 멀티모달 벤치마크 전반에서, VICO-8B는 도메인 외(out-of-domain) 태스크에서 기본 모델 대비 최대 +5.0% 향상되었으며, 가장 강력한 자기 진화(self-evolution) 및 텍스트 편집 공진화 베이스라인을 각각 +4.3%, +8.4% 능가하였고, 16~160배 적은 레이블 샘플을 사용하면서도 차트 특화 RLVR 방식과 대등한 성능을 유지했습니다. VICO는 사람이 레이블링한 지도 학습에서 이미지 편집 공진화로 전환함으로써, 시각적 추론을 위한 정적 말뭉치 기반 RLVR을 넘어설 수 있는 확장 가능한 경로를 제공합니다.
SPLIT-RL: 주장 수준 이점을 활용한 단계별 지각-언어 추론 학습
SPLIT-RL: Staged Perception-Language Reasoning Training with Claim-Level Advantages
비전-언어(Vision-Language, VL) 추론은 모델이 이미지로부터 관련성 있고 정확한 정보를 추출하는 과정(시각적 추론, VR)과, 이로부터 답을 추론하는 과정(언어적 추론, LR)을 모두 수행해야 합니다. 검증 가능한 보상을 사용하는 강화학습은 일반적으로 최종 답변 보상을 포함하는 단일 사고의 연쇄(Chain-of-Thought, CoT)를 통해 두 과정을 함께 학습합니다. 이는 모든 CoT 토큰에 동일한 시퀀스 수준 이점을 부여하므로 능력별 오류를 구분하지 못합니다. 본 논문에서는 VR과 LR을 서로 분리된 단계에서 학습하는 단계별 사후 학습 접근법인 SPLIT-RL을 제안합니다. 한 그룹의 롤아웃이 한 번에 하나의 능력에 대해서만 달라지기 때문에, 그룹 상대적 이점은 해당 능력을 분리해 내며 각 단계는 단계별 보상을 통해 최적화됩니다. 나아가 VR 단계의 롤아웃을 원자적 시각 주장으로 분해하고 시각적 유형 그룹 형성을 기반으로 주장 수준에서 세분화된 이점을 제공하는 주장 수준 이점(CLA-GRPO)을 도입합니다. 비록 두 단계로 학습되지만, 학습된 정책은 추론 시점에 단일 CoT 호출을 사용하는 GRPO 모델처럼 평가됩니다. 이러한 프로토콜 하에서 SPLIT-RL은 2B부터 30B-A3B에 이르는 Qwen3-VL 모델들과 InternVL3.5-8B 전반에서 GRPO 대비 평균 정확도를 1.4-6.1점 향상시킵니다. 오라클 기반 진단을 사용하여 각 능력을 평가한 결과, 답변 전용 GRPO는 지각 능력을 변화시키지 않는 반면, SPLIT-RL은 VR과 LR을 모두 향상시키는 것으로 나타났습니다.
ReToken: 시각 검색 토큰을 활용한 긴 문맥 VLM 성능 향상
ReToken: Improving Long-Context VLMs with Visual Retrieval Token
긴 시각적 문맥(long visual context)은 비전-언어 모델(VLM)에 큰 도전 과제가 됩니다. 방해 요소(distractor)의 수가 증가함에 따라 성능이 저하되고, 모든 토큰을 한 번에 처리하면 GPU 메모리 한계를 초과할 수 있기 때문입니다. 본 논문에서는 사전 채워진(pre-filled) KV 캐시에서 질의 관련 시각 토큰을 선택하기 위해 VLM의 내부 표현에서 검색 신호를 추출하는 단일 학습 가능 임베딩인 RETOKEN을 제시합니다. 이를 통해 별도의 검색기(retriever)나 재인코딩 없이도 답변을 생성하는 VLM 내부에서 검색이 가능해집니다. 소규모 이미지-QA 데이터셋만을 기반으로 학습되었음에도 불구하고, RETOKEN은 이미지 및 비디오 벤치마크 전반에 걸쳐 뛰어난 일반화 성능을 보입니다. Visual Haystacks에서 Qwen3VL-8B의 성능을 13.4점, InternVL3.5의 성능을 12.4점(상대적 20% 이상) 향상시켰습니다. LVBench에서는 긴 비디오에 제로샷(zero-shot)으로 전이되어 Qwen3VL-8B의 성능을 8.0점 향상시켰습니다. 경량화된 설계 덕분에 학습과 긴 비디오 추론이 모두 단일 H100에서 수행 가능합니다. 코드는 https://github.com/avaxiao/ReToken 에서 이용할 수 있습니다.
WeaveAgent: 초고해상도 원격 탐사 영상을 위한 2단계 도구 라우팅 에이전트
WeaveAgent: A Two-Stage Tool-Routing Agent for Ultra-High-Resolution Remote Sensing Imagery
문제. 모호한 사용자 의도를 가진 초고해상도(UHR) 원격 탐사에는 두 가지 병목 현상이 있습니다. 시각적 토큰(token) 비용이 크며, 도구 호출이 형식 측면에서 신뢰할 수 있어야 한다는 점입니다(사전학습된 모델은 제로샷(zero-shot) 환경에서 도구 호출을 전혀 생성하지 못함). 방법. 2단계 도구 라우팅 에이전트(agent)인 WeaveAgent는 라우팅과 시각적 인식을 분리합니다. 1단계(Stage A)는 라우팅 우선 방식으로, 호출 생성은 유도되는 것이 아니라 학습(training)됩니다. 2단계(Stage B)는 조건부로 실행됩니다. 내부적(intrinsic) 질의는 시각적 답변 단계로 들어가며(전체 장면 썸네일 사용, 선택적 고정 예산이자 약 5k 토큰 압축 인터페이스로서 WeaveEarth 스타일의 증거 보드 활용), 외부적(extrinsic) 질의는 원본 전체 해상도 영상에서 도구 호출을 실행하고 관찰 마스킹된 두 번째 턴에서 도구 관찰 결과를 바탕으로 답변합니다. 학습: 정렬 SFT 후 보상(reward) R_WA2 하에서 GRPO를 적용합니다. 결과. 정렬 SFT는 외부적 라우팅을 0%에서 80.75%(323/400)로 끌어올리며, GRPO는 도구 선택을 유지하면서 9건의 내부적 오호출 생성을 억제합니다. 학습된 2B 시스템은 전반적으로 제로샷 8B 기준선(baseline)을 능가하지 못하지만(0.263 대 0.250), 이는 진단적 기여에 해당합니다. 오라클 귀인 분석은 두 가지 복구 요소를 구분합니다. 관찰 결과를 컨텍스트에 로드하면 마커가 없는 교차 모드 반환에서 외부적 답변 정확도가 0.025에서 0.425로 향상되며, 2턴 SFT 단계는 약간의 라우팅 비용을 대가로 0.518까지 9.3포인트를 추가로 향상시킵니다. +/- 이미지 절제 연구(ablation)는 호출 생성 억제가 시각적으로 그라운딩(grounding)되어 있음을 보여주며, 질의 레지스터 매트릭스는 LLM으로 재작성된 질의가 학습된 체크포인트의 성능을 2~11포인트 떨어뜨림을 나타냅니다. 범위. 모든 학습 및 평가는 5,000 / 3,273 / 1,000개 레코드로 구성된 VagueUHR 말뭉치를 사용합니다(내부적 600개 + 도구 요구 400개; 기본 데이터는 합성을 시딩하며 최적화에는 사용되지 않음). 단일 패스 증거 구성은 RTX 4090에서 이미지당 7.31초로 실행됩니다. 코드, 데이터 및 평가 프로토콜이 공개될 예정입니다.
Peak-End-Net: 피크-엔드 규칙(peak-end rule)에서 영감을 받은 일반화 가능한 비디오 미적 평가 프레임워크
Peak-End-Net: A Peak-End Rule Inspired Framework for Generalizable Video Aesthetic Assessment
비디오 미적 평가(VAA)는 비디오가 미적으로 얼마나 만족스러운지 예측하는 것을 목표로 하지만, 다른 시각 평가 작업에 비해 훨씬 덜 탐구되어 왔다. 그 발전은 대규모 벤치마크(benchmark)의 부족뿐 아니라, 인간 지각에 의해 형성되는 미적 판단의 내재적 주관성에 의해서도 저해된다. 본 논문에서는 심리학적 관점에서 VAA를 재검토하고, 사람들이 시간적 경험을 주로 두드러진 순간(salient moments)과 끝(end)에 따라 판단하는 경향이 있다고 제안하는 피크-엔드 규칙에서 영감을 받은 경량이며 해석 가능한 프레임워크인 Peak-End-Net을 제안한다. 이 직관에 기반하여, 먼저 사전학습된 IAA 헤드를 도입하여 프레임별 미적 사전 신호(aesthetic priors)를 생성함으로써 이미지 미적 평가(IAA)에서 VAA로 지식을 전이한다. 이는 미적으로 두드러진 순간을 식별하고 피크-엔드 규칙 기반 시간적 집계(temporal aggregation)를 안내하는 대리 신호(surrogate signals) 역할을 한다. 또한 비디오가 시간에 따라 미적으로 어떻게 변화하는지 더 포착하기 위해, 고립된 순간을 넘어 시간적 진행(temporal progression)을 모델링하는 미적 리듬 인코더(aesthetic rhythm encoder)를 설계한다. 또한 분포 이동(distribution shift) 하에서의 견고성(robustness)을 향상시키기 위해 동적 게이트 융합(dynamic gated fusion) 메커니즘을 통해 전체 평가를 정제한다. 우리 방법은 고정된 비전 트랜스포머(ViT) 위에 구축되며, 학습 가능한 매개변수가 소량만 필요하여 확장 가능하고 매개변수 효율적(parameter-efficient)이다. VADB에서의 도메인 내(in-domain) 평가와 DIVIDE-3K에서의 교차 도메인(cross-domain) 테스트를 포함한 두 기존 VAA 벤치마크에 대한 광범위한 실험은, 우리 접근법이 최신(state-of-the-art) 성능을 달성함을 보여주며, VAA를 위한 심리학적 기반(psychologically grounded) 모델링의 가치를 확인한다. 코드와 모델은 https://github.com/AMAP-ML/Peak-End-Net 에서 이용할 수 있다.
DispatchRAG: 교통사고 영상으로부터 실세계 프로토콜에 기반한 긴급 출동 결정의 그라운딩
DispatchRAG: Grounding Emergency Dispatch Decisions in Real-World Protocols from Traffic Accident Video
토론
이 논문과 연결된 포럼 글이 아직 없습니다.