Video-HopChain: 비디오 추론 모델을 위한 멀티홉 질문과 신뢰도 게이트 탐색
Video-HopChain: Multi-Hop Questions and Confidence-Gated Exploration for Video Reasoning Models
한국어 초록
HopChain은 정지 이미지에서 멀티홉 데이터 합성이 비전-언어 추론을 개선함을 보였다. 긴 사고의 연쇄 추론은 단계에 걸쳐 누적되는 오류를 드러내는 반면, 검증 가능한 보상을 사용하는 강화학습(RLVR)에 쓰이는 대부분의 데이터는 시각적 증거의 연쇄를 거의 요구하지 않아 이러한 약점이 드러나지 않을 가능성이 높기 때문이다. 우리는 이 프레임워크가 아직 탐구되지 않은 비디오에서도 같은 문제가 있음을 관찰한다. 따라서 우리는 13,378개 비디오에 대한 22,550개의 멀티홉 비디오 질문으로 이루어진 데이터셋 Video-HopChain을 1,000개 질문의 보류 벤치마크와 함께 구축한다. 각 질문은 하나의 비디오 속 순간에 대한 세 개에서 여섯 개의 예/아니오 질문을 연쇄시키며, 각 질문은 답에 따라 두 정수 중 하나를 산출한다. 최종 답은 이 정수들의 합이며, 그 합에 대한 정확한 일치가 RLVR에 필요한 검증 가능한 보상을 제공한다. 우리는 먼저 표준 비디오 데이터셋에서 Qwen3-VL-8B를 GRPO로 학습하고, 이어서 Video-HopChain으로 수행하는 두 번째 단계가 여덟 개의 비디오 이해 및 추론 벤치마크에 대한 평균을 55.4에서 57.9로 높이며 모든 벤치마크를 개선함을 보인다. 그러나 이러한 데이터셋으로 학습하면 GRPO의 알려진 한계가 드러난다. 학습 신호가 그룹 내 보상 분산에서 나오기 때문에, 롤아웃이 모두 오답인 어려운 질문과 모두 정답인 쉬운 질문은 모두 그룹에 기울기를 남기지 않는다. 동일한 연산 예산에서 이러한 그룹을 회복하기 위해, 우리는 신뢰도 게이트 탐색(CGE)을 도입한다. 질문당 8개의 롤아웃에서 CGE는 처음 4개를 평소대로 샘플링한다. 이 4개가 모두 정답이거나 모두 오답이면, 추론 구간 내에서 정책의 가장 확신하는 토큰을 마스킹한 상태로 나머지 4개를 샘플링하고, 8개의 롤아웃이 모두 어드밴티지에 들어가는 동안 마스킹된 위치는 손실에서 제거한다. CGE를 적용하면 평균은 59.3까지 추가로 상승한다. 우리는 데이터셋, 체크포인트, 데이터 생성 및 학습 코드를 공개한다.
원문 초록
HopChain has shown on still images that multi-hop data synthesis improves vision-language reasoning, because long chain-of-thought reasoning exposes errors that compound across steps, while most data used for reinforcement learning with verifiable rewards (RLVR) rarely demands a chain of visual evidence, so these weaknesses are likely to stay unexposed. We observe the same problem in video, where this framework has not yet been explored. We therefore build Video-HopChain, a dataset of 22,550 multi-hop video questions over 13,378 videos, together with a held-out benchmark of 1,000 questions. Each question chains three to six yes/no questions about moments in one video, and each yields one of two integers depending on its answer. The final answer is the sum of these integers, so an exact match on that sum gives the verifiable reward that RLVR needs. We first train Qwen3-VL-8B with GRPO on a standard video dataset, and a second stage on Video-HopChain then raises the mean over eight video understanding and reasoning benchmarks from 55.4 to 57.9 and improves every one of them. Training on such a dataset, however, exposes a known limitation of GRPO: its learning signal comes from the reward variance within a group, so hard questions whose rollouts are all incorrect and easy questions whose rollouts are all correct both leave the group with no gradient. To recover these groups at the same compute budget, we introduce Confidence-Gated Exploration (CGE). With 8 rollouts per question, CGE samples the first 4 as usual. If these 4 are either all correct or all incorrect, it samples the last 4 with the policy's most confident token masked inside the reasoning span, and removes the masked positions from the loss while all 8 rollouts enter the advantage. With CGE, the mean rises further to 59.3. We release the dataset, the checkpoint, and the data generation and training code.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.25773v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.