무엇을 살펴볼지 가르치기: 비디오 캡션의 에이전트형 온-정책 증류를 위한 학습 전용 지각 질문
Teaching What to Look For: Privileged Perception Questions for Agentic On-Policy Distillation in Video Captioning
한국어 초록
상세한 비디오 캡션은 객체, 행동, 시간에 따른 사건을 빠짐없이 충실하게 묘사해야 한다. 그러나 프레임을 고정된 방식으로 샘플링하면 짧은 움직임, 작은 객체, 기타 세밀한 근거를 놓칠 수 있다. 따라서 관련 순간을 능동적으로 찾아 국소 영역을 살펴보는 캡션 에이전트가 필요하다. 비디오 질의응답과 달리 일반적인 캡션 작성 지시에는 어떤 시각적 근거를 확보해야 하는지 명시되지 않아 이러한 행동을 학습시키기 어렵다. 학습 시에만 제공하는 지각 질문(PQ)으로 비디오의 능동적 관찰을 유도하는 지각 질문 온-정책 증류(PQ-OPD)를 제안한다. 지각 질문은 무엇을 살펴봐야 하는지 알려 주면서 해당 답은 공개하지 않는다. 교사 모델이 비디오를 더 폭넓게 탐색하고 관련 시각적 근거에 집중하도록 유도한다. 학생 모델이 생성한 궤적에서 온-정책 증류를 적용해 이 지침을 학생의 추론, 도구 호출, 캡션에 전달한다. 추론 시에는 지각 질문이 필요하지 않다. 상세 캡션 벤치마크 세 개와 캡션 기반 질의응답 벤치마크 두 개에서, 교사와 학생의 규모 및 입력 프레임 예산이 달라도 PQ-OPD를 적용한 에이전트가 추가 학습 없이 사용한 에이전트보다 일관되게 우수했다. 이 평가 절차에서 PQ-OPD는 DREAM-1K, CaReBench, ShortVidBench, MotionBench, VidCapBench-AE의 주요 평가지표에서 비교한 공개 소스 모델 가운데 가장 높은 성능을 보였다. 구성 요소 제거 실험과 시간축 포괄 범위 및 답변 누출 분석을 통해 학생이 학습 시의 지침을 내재화해 더 효과적인 비디오 탐색 정책을 갖추게 됨을 확인했다.
원문 초록
Detailed video captioning requires comprehensive and faithful descriptions of objects, actions, and temporal events. Fixed-frame sampling, however, can miss brief motions, small objects, and other fine-grained evidence, motivating captioning agents that actively seek relevant moments and inspect local regions. Training such behavior is challenging because, unlike video question answering, generic captioning instructions do not specify what visual evidence should be acquired. We propose Perception-Question On-Policy Distillation (PQ-OPD), which uses training-only Perception Questions (PQs) to guide active video perception. PQs specify what should be inspected without revealing the corresponding answers, encouraging the teacher to explore the video more comprehensively and focus on relevant visual evidence. Along trajectories generated by the student, on-policy distillation transfers this guidance to the student's reasoning, tool calls, and captions; no PQs are required at inference. Across three detailed-captioning and two caption-to-QA benchmarks, PQ-OPD consistently improves the corresponding untrained agents across teacher-student scales and input-frame budgets. Under our evaluation protocol, PQ-OPD achieves the strongest primary-metric results among the compared open-source models on DREAM-1K, CaReBench, ShortVidBench, MotionBench, and VidCapBench-AE. Our ablations, together with analysis of temporal coverage and answer leakage, further indicates that the student internalizes the training-time guidance as a more effective video exploration policy.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22755v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.