어디를 보느냐가 중요하다: 긴 비디오 이해를 위한 온-정책 자기 증류
Where to Look Matters: On-Policy Self-Distillation for Long-Video Understanding
한국어 초록
비전-언어 모델(VLM)은 긴 비디오 이해에서 상당한 진전을 이루었으며, 표준 백본 모델은 일반적으로 전체 비디오에서 샘플링된 프레임으로부터 질문에 답합니다. 그러나 비디오가 길어질수록 전체 비디오 문맥에는 필연적으로 질문과 무관한 시간적 내용이 더 많이 포함되며, 이는 특정 질문에 답하는 데 필요한 증거로부터 모델의 주의를 분산시킬 수 있습니다. 본 연구에서는 질문 관련 증거를 담고 있는 짧은 주석 달린 단서 구간(clue interval)에 시각적 입력을 집중시키는 것이, 해당 전체 비디오를 사용하는 것과 비교해 더 적은 입력 프레임을 요구하면서도 모델 규모 전반에 걸쳐 예측 정확도를 일관되게 향상시킨다는 점을 실증적으로 발견했습니다. 이러한 발견을 바탕으로, 긴 비디오 이해를 위한 단서 특권 기반 온-정책 자기 증류 프레임워크인 Clue-OPSD를 제안합니다. 학습(training) 중에는 전체 비디오를 입력받는 학생 모델이 학생이 생성한 궤적을 따라 다음 토큰(token) 분포를 정렬함으로써, 해당 단서 구간에 조건화된 자기 교사 모델로부터 배웁니다. 따라서 Clue-OPSD는 정답 라벨에 의존하지 않고 단서 구간을 특권적 감독 신호로 활용하는 한편, 추론(inference) 시점에는 단서 주석이나 추가 모듈을 전혀 필요로 하지 않습니다. 여러 긴 비디오 이해 벤치마크 및 Qwen3.5 모델 규모에 걸친 광범위한 실험을 통해, 해당 백본 모델 대비 일관된 성능 향상과 지도 사후 학습(post-training) 베이스라인 대비 강력한 성능을 입증합니다.
원문 초록
Vision-language models (VLMs) have made substantial progress in long-video understanding, with standard backbone models typically answering questions from frames sampled across the full video. However, as videos become longer, the full-video context inevitably contains more question-irrelevant temporal content, which can distract the model from the evidence needed to answer a specific question. We empirically find that focusing the visual input on short annotated clue intervals containing question-relevant evidence consistently improves prediction accuracy across model scales compared with using the corresponding full videos, while requiring fewer input frames. Based on this finding, we introduce Clue-OPSD, a clue-privileged on-policy self-distillation framework for long-video understanding. During training, a full-video student learns from a self-teacher conditioned on the corresponding clue interval by aligning their next-token distributions along student-generated trajectories. Clue-OPSD thus uses clue intervals as privileged supervision without relying on ground-truth answer labels, while requiring no clue annotations or additional modules at inference time. Extensive experiments across multiple long-video understanding benchmarks and Qwen3.5 model scales demonstrate consistent improvements over the corresponding backbone models and strong performance against supervised post-training baselines.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.25356v2제출 시각 미확인
- arXiv:2608.25356v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.