비디오 증거 인덱싱(Video Evidence Indexing): 토큰 예산 제약 장시간 비디오 질의응답을 위해 비디오 프리뷰로부터 어디를 볼지 학습하기
Video Evidence Indexing: Learning Where to Look from Video Previews for Token-Budgeted Long-Video Question Answering
한국어 초록
장시간 비디오 질의응답(long-video question answering)은 비주얼 토큰의 높은 비용과 현재 VLM(비전-언어 모델)의 고정된 컨텍스트 폭(context width)으로 인해 제약을 받는다. 장시간 비디오에 대한 질문은 넓은 시간적 범위(temporal coverage)를 요구할 수 있지만, 정답은 흔히 소수의 압축된 순간들(moments)에 의해서만 뒷받침된다. 이러한 순간들을 효율적으로 찾아내기 위해, 우리는 토큰 예산이 제한된 비디오 증거 인덱싱(token-budgeted Video Evidence Indexing, VEI)을 제안한다: 조밀한 저해상도 비디오 프리뷰(Video Preview)가 주어지면, 모델은 최종 추론을 위한 압축된 고해상도 증거 집합(Evidence Set)을 구성한다. 우리는 VEI를 질문과 관련된 순간을 찾는 증거 위치 추정(evidence localization)과, 제한된 고해상도 프레임 예산을 어디에 사용할지 결정하는 예산 계획(budget planning)을 함께 해결해야 하는 정책(policy)으로 다룬다. 우리는 이 아이디어를 하나의 추론 파이프라인으로 구현한다: 비디오 프리뷰는 저비용의 전역적 커버리지를 제공하고, 비디오 증거 인덱싱은 증거 집합을 구성하며, 답변 생성(Answer Generation)은 최종 VQA를 위해 두 입력을 결합한다. 프레임 수준의 감독(supervision)이 부재한 문제를 해결하기 위해, 우리는 특권적 자기 증류(privileged self-distillation)를 채택하는데, 여기서는 정답을 아는 교사(answer-aware teacher)가 학생이 생성한 인덱싱 흔적(indexing trace)에 대해 일반적인 테스트 시점(test-time) 정책을 지도한다. 우리는 프레임당 1, 6, 12, 24개의 비주얼 토큰을 가진 프리뷰를 탐구하며, 이 네 가지 해상도를 모두 지원하는 단일 정책을 학습시킨다. 실험 결과, 비디오 증거 인덱싱은 제한된 비주얼 예산 하에서 정확도를 향상시키며, 자기 증류는 QA 정확도와 시간적 증거 위치 추정(temporal evidence localization) 모두를 추가로 향상시킨다.
원문 초록
Long-video question answering is limited by the high cost of visual tokens and by the fixed context width of current VLMs. A long-video question may require broad temporal coverage, but the answer is often supported by only a compact set of moments. To locate these moments efficiently, we propose token-budgeted Video Evidence Indexing (VEI): given a dense low-resolution Video Preview, the model constructs a compact high-resolution Evidence Set for final reasoning. We treat VEI as a policy that must jointly solve \textit{evidence localization}, which finds question-relevant moments, and \textit{budget planning}, which decides where to spend the limited high-resolution frame budget. We implement this idea with an inference pipeline: the Video Preview provides cheap global coverage, Video Evidence Indexing constructs the Evidence Set, and Answer Generation combines both inputs for final VQA. To address missing frame-level supervision, we adopt privileged self-distillation, where an answer-aware teacher guides the normal test-time policy on student-generated indexing traces. We explore previews at 1, 6, 12, and 24 visual tokens per frame, training a single policy that supports all four resolutions. Experiments show that Video Evidence Indexing improves accuracy under limited visual budgets, and self-distillation further improves both QA accuracy and temporal evidence localization.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Spatial-Interactor: 관찰 가능한 물리적 세계와의 상호작용을 통한 공간적 추론 학습
Spatial-Interactor: Learning Spatial Reasoning through Interaction with the Observable Physical World
공간적 추론은 비전-언어 모델(VLM)이 물리적 세계를 이해하고 행동하는 데 필수적입니다. 동적 환경에서의 추론은 VLM이 물체의 움직임과 시점 변화로 인해 발생하는 국소적 상태 전이(state transition)를 인지하고, 이를 긴 궤적에 걸쳐 통합하여 최신 공간 상태를 유지할 것을 요구하지만, 기존 VLM은 두 가지 역량 모두에서 여전히 한계를 보입니다. 현재의 공간 학습은 주로 물체 속성과 공간 관계에 대한 정적인 질문에 초점을 맞추고 있어 상태 전이에 대한 직접적인 감독을 제한적으로 제공합니다. 반면, 상호작용 궤적은 선행 관찰, 행동, 후속 관찰을 자연스럽게 연결하여 국소적 상태 전이에 대한 직접적인 감독을 제공하며, 완전한 궤적은 연속적인 전이 간의 의존성을 드러냅니다. 이에 따라 본 논문에서는 상호작용을 통해 VLM이 물리적 세계의 상태 전이를 모델링하도록 학습시키는 프레임워크인 Spatial-Interactor를 소개하며, 이 학습 과정을 L1 수동적 세계-상태 전이, L2 능동적 자아-상태 전이, L3 장기적(long-horizon) 상호작용 궤적을 아우르는 3단계 커리큘럼으로 구성합니다. 이에 맞춰 시뮬레이션 및 실제 상호작용 궤적으로부터 각 단계의 목표에 맞춘 태스크를 포함하는 Learning from Spatial Interaction 데이터셋(LSI-108K)을 구축합니다. 제안하는 2단계 학습 전략은 국소적 전이 모델링을 위해 L1 및 L2에 지도 미세조정(SFT)을 적용한 뒤, 온-정책 증류(OPD)를 통해 특권적 자기 증류(privileged self-distillation)를 사용합니다. 즉, 구간 수준의 전이 설명이 주어지는 교사 브랜치가 학생의 온-정책 사고의 연쇄(CoT)를 감독하여, 학생이 L3 긴 궤적에 걸쳐 연속적인 전이를 통합하는 방법을 학습하도록 돕습니다. 여러 VLM 및 공간 벤치마크에 걸친 실험을 통해 국소적 전이 모델링과 장기적 통합 전반에서 일관된 성능 향상을 입증합니다.
비디오 MLLM 사후 학습을 위한 행동 팩 최적화
Behavior Pack Optimization for Video MLLM Post-Training
비디오 다중모달 대규모 언어 모델(video multimodal large language model, Video MLLM)은 비디오 질의응답 벤치마크에서 지속적으로 성능을 높이고 있지만, 프레임을 섞거나 정답을 뒷받침하는 구간을 마스킹하거나 대상 객체를 가려도 예측 결과는 거의 변하지 않습니다. 이러한 정확도는 질문이 요구하는 시간적 증거가 아닌 외형 및 언어 사전확률(prior)에 의존하고 있습니다. 저자들은 이 원인이 사후 학습(post-training) 단위에 있음을 밝혀냈습니다. 즉, 보상(reward)이 원본 클립에 대한 단일 응답에 대해서만 계산되므로, 모델이 다양한 관점(view)에 걸쳐 일관되게 행동하도록 요구받지 않는다는 점입니다. 이에 저자들은 단일 응답 대신 질문 유형에 따라 선택된 반사실적 관점들에 걸친 출력들의 행동 팩(behavior pack)으로 대체하고 이를 공동으로 평가하는 행동 팩 최적화(Behavior Pack Optimization, BPO)를 제안합니다. 팩 보상은 개입이 무관할 때는 안정성을, 핵심 증거가 제거되었을 때는 민감성을, 증거가 전혀 남아있지 않을 때는 기권(abstention)을 요구합니다. 작은 팩 크기에서도 이 목적 함수를 안정적으로 유지하기 위해, BPO는 앵커 상대적 이점(anchor-relative advantage)을 사용합니다. 즉, 혼합된 관점들의 그룹 평균 대신 원본 관점의 응답이 프롬프트별 참조 역할을 수행합니다. TempCompass, MVBench, NExT-QA에서 BPO는 동일한 SFT 체크포인트 기반의 예산 매칭된 바닐라 GRPO 기준선(baseline) 대비 Qwen2.5-VL-7B-Instruct의 매크로 정확도를 4.7%p, 시간적으로 까다로운(temporal-hard) 하위 집합을 7.8%p, 기권 F1을 20.0%p 향상시킵니다. 이러한 이득은 Video-MME, LongVideoBench 및 LLaVA-Video-7B로도 전이되며, 소거 연구(ablation)를 통해 이러한 성과가 롤아웃(rollout) 횟수가 아닌 관점 세트에 기인함을 확인했습니다. 연구진은 증거에 기반한(evidence-grounded) 비디오 추론으로 나아가는 과정에서, 이러한 팩 수준의 관점이 비디오 MLLM 및 다중모달 사후 학습 커뮤니티에 유용한 출발점을 제공하기를 기대합니다.
Video-Index: 비디오 이해를 위한 큐레이션된 메타 벤치마크
Video-Index: A Curated Meta-Benchmark for Video Understanding
비디오 벤치마크는 측정하고자 하는 역량에 보상을 부여해야 하지만, 모델은 정답 선택지, 질문 텍스트, 또는 일부 시각적 증거만을 악용할 수 있습니다. 본 연구에서는 각 항목에 대한 접근 수준이 점진적으로 증가하는 5단계의 지름길 공격(shortcut attack)인 공격 피라미드(attack pyramid)를 도입하고, 이를 통해 115개의 비디오 벤치마크를 감사합니다. 35개 벤치마크에서는 프레임을 전혀 보지 않는 공격자도 전체 비디오를 본 정확도에 근접했습니다. 시간에 따른 탐침(temporal probe)이 있는 51개 벤치마크의 경우, 프레임 순서를 섞어도 전체 비디오 정확도의 중앙값 96%를 유지했습니다. 또한 63개 벤치마크에서는 거의 중복된 질문이 전체 항목의 최소 절반을 차지했습니다. 저자들은 이 중 112개 벤치마크에서 505,518개의 질문-답변 쌍을 선별하여 검증된 풀을 구축했습니다. 에이전트가 평가 요청을 명세로 변환하고, 레드팀 게이트(red-team gate)가 포함된 결정론적 선택기가 재현 가능한 벤치마크를 구성합니다. 우리는 이러한 공격 하에서 4개의 역량 그룹별로 가장 어려운 검증된 210개 항목, 즉 76개 출처에서 총 840개 항목으로 구성된 Video-Index를 공개합니다. 동일하게 고정된 입력을 사용할 때 Claude Opus 5는 모든 오픈소스 모델보다 37%p 이상 높은 점수를 기록했으며 에이전트 도구를 통해 약 20%p가 추가되었으나, 모든 시스템은 여전히 효율성과 정확도를 개선할 여지를 남겨두고 있습니다. 블로그: https://www.enxinsong.com/blog/video-index/ GitHub: https://github.com/Espere-1119-Song/Video-Index Hugging Face: https://huggingface.co/datasets/Video-Index/Video-Index
DeltaS: 스트리밍 비디오에서 KV 캐시 제거를 위한 게이트 선형 어텐션 상태 활용
DeltaS: Reading the Gated Linear Attention State for KV Cache Eviction in Streaming Video
최근 비전-언어 모델은 효율적인 장문맥 처리를 위해 선형 어텐션과 전체(full) 어텐션 레이어를 교차 배치하는 하이브리드 아키텍처를 점점 더 많이 채택한다. 선형 어텐션의 순환 상태(recurrent state) 크기는 고정된 반면, 전체 어텐션의 KV 캐시는 비디오 스트림에 따라 계속 커지므로, 제한된 메모리 예산 하에서는 제거(eviction)가 필요하다. 스트리밍에서 핵심 과제는 질문이 도착하기 전에 제거가 이루어져야 하므로, 무엇을 유지할지를 질문 없이 결정해야 한다는 점이다. 기존 제거 방법은 위치, 어텐션, 또는 키-값 표현을 사용해 KV 캐시 자체에서 토큰 점수를 도출하며, 어텐션 기반 점수는 추가로 프록시 쿼리나 추가 연산이 필요하다. 하이브리드 백본은 또 다른 신호 원천을 제공한다. 게이트-델타(gated-delta) 선형 어텐션에서는 순환 상태가 각 입력과 상태에서 이미 검색 가능한 것 사이의 잔차(residual)로 갱신되므로, 프레임 청크에 걸친 상태 변화는 해당 청크가 얼마나 많은 새 정보를 가져오는지를 반영한다. 우리는 쿼리에 무관하고 학습이 필요 없는 방법인 DeltaS를 제안하며, 정규화된 상태 변화, 즉 상태 표류(state drift)가 더 큰 비디오 청크를 유지한다. 예산과 유지 정책을 고정한 통제 비교에서 상태 표류는 위치-, 어텐션-, 키-값 기반 신호보다 우수하다. 순전파의 1.9%에 해당하는 비용의 신호만으로 DeltaS는 여섯 개의 장영상 벤치마크에서 평균 2.1점, 가장 긴 벤치마크에서는 5.6점만큼 최강의 쿼리-무관 제한 메모리 기준선을 능가한다. 이 결과는 하이브리드 아키텍처의 두 기억이 협력적으로 작동할 수 있음을 시사한다. 코드는 https://github.com/MaumAI-Company/DeltaS 에서 이용할 수 있다.
ReDraft, 단순 증류가 아닌 참조 기반 수정: 지속적 VLLM 사후 학습
ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training
대규모 멀티모달 모델의 지속적 사후 학습은 새로운 능력을 추가하면서 사전학습에서 얻은 능력을 보존해야 하며, 두 목표는 서로 반대 방향으로 당긴다. SFT는 거의 0에 가까운 정확도에서 과제를 학습하는 명시적 타깃 지도를 제공하지만, 오프-정책 타깃이 모델을 충분히 멀리 이동시켜 망각을 유발한다. RLVR 및 자기 증류(self-distillation) 같은 온-정책 방법은 정책 근접성을 유지하지만, 정책이 아직 과제를 풀 수 없을 때는 신호를 거의 제공하지 않는다. 우리는 ReDraft(Reference-Driven Revision and Fine-Tuning, 참조 기반 수정 및 미세조정)를 제안한다. 이 방법은 모델 자신의 실패로부터 두 목표를 모두 달성한다. 전문가 응답은 참조로만 사용하고, 모델이 자신의 잘못된 롤아웃을 수정하게 한 뒤, 검증기(verifier)가 수용한 수정만 유지하고, 남은 것에 대해 미세조정한다. 따라서 유지된 각 타깃은 명시적이면서도 현재 정책에 가깝다. Counting, Clock Reading, Jigsaw에서 Qwen2.5-VL-3B/7B로 평가했으며, 이 중 두 과제는 거의 0에 가까운 정확도였다. ReDraft는 타깃 과제에서 SFT의 52.9점 대비 56.9점을 얻었고, 이전 과제 손실을 16.6점에서 1.5점으로 줄였다(망각 11.3배 감소). OPSD 대비 두 축 모두에서 개선되었다(19.3점 향상, 6.2점 손실). 데이터 및 매개변수 공간 분석은 설계와 일치한다. 수정된 타깃은 베이스 모델 하에서 더 높은 확률을 갖고, 이들이 유도하는 업데이트는 compact하며 OPSD보다 SFT 방향을 더 가깝게 따른다. 전문가 출력으로 대체하는 대신 모델 자신의 출력을 수리하는 것이 하나의 목표로 두 가지를 모두 가능하게 한다.
중요한 곳을 보라: 세밀한 비전-언어 추론을 위한 무료의 레이블 없는 시각적 증거 신호
Look Where It Counts: A Free, Label-Free Visual Evidence Signal for Fine-Grained Vision-Language Reasoning
멀티모달 대규모 언어 모델(MLLM)은 추론을 하지 못해서가 아니라 애초에 증거를 보지 못하기 때문에 세밀한 시각적 질문에서 실패한다: 고해상도 이미지는 인코딩되기 전에 다운샘플링되므로, 모델은 언어적 사전(linguistic prior)에 기반해 답한다. 표준적인 해결책들은 비용이 크다: 주석된 정답(SFT), 수작업으로 설계된 검증기(RLVR), 또는 대규모 외부 교사 모델을 이용한 온-정책 증류(on-policy distillation)가 필요하다. 우리는 시각적 증거 자체가 무료로 이러한 신호를 제공할 수 있는지 묻는다. 우리는 대조적 증거 격차(contrastive evidence gap), 즉 질문과 관련된 영역을 조건으로 했을 때와 관련 없는 영역을 조건으로 했을 때 모델이 자신의 출력에 부여하는 토큰별 로그-가능도 비율을 정식화하고, 이를 V*Bench 상에서 Qwen2.5-VL-7B, Qwen3-VL-8B, Qwen3-VL-30B-A3B 전반에 걸쳐 연구한다. 우리의 주요 긍정적 결과는 학습이 필요 없다는 것이다: 모델의 답변 분포가 가장 뾰족해지는 후보 크롭(crop)을 선택하는 단일 뷰(single-view)의 레이블 없는 기준만으로, 바운딩 박스나 학습, 레이블 없이도 정답을 포함하는 영역을 찾아낼 수 있다. 이는 우연에 비해 목표 영역을 4.4배에서 5.1배 더 정확하게 지역화하며, 추론 시 세밀한 정확도를 70%에서 85%로 끌어올린다. 우리는 또한 이 격차가 모델 자신의 확신도(confidence)와 상호 보완적임을 보인다. 둘을 결합하면 각각을 단독으로 사용할 때보다 정답 여부를 더 잘 예측하며, AUC는 최대 0.99에 이르고, 고확신 하위집합 내에서 자신 있게 틀린 답변을 AUC 0.97~1.00으로 표시해낸다. 이러한 효과는 모두 지각 병목(perception-bottleneck) 질문에 집중되며, 전역 맥락(global-context) 대조군에서는 사라진다. 마지막으로 우리는 정직한 부정적 결과를 보고한다: 동일한 신호를 학습 방법으로 전환한 게이트형 자기 증류(gated self-distillation, SEG-Distill)는 파일럿 규모에서 세 가지 게이트 설계 전반에 걸쳐 기본 모델을 능가하지 못했으며, 더 공격적인 게이팅은 오히려 정확도를 저하시켰다. 이 신호는 실재하지만, 이를 학습 성능 향상으로 전환하는 것은 여전히 열린 문제로 남아 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.