비디오 추론을 위한 다중 에이전트 자기 개선 강화학습
Multi-Agent Self-Improving Reinforcement Learning for Video Reasoning
한국어 초록
근거 기반 비디오 질의응답(grounded video question answering) 및 시간적 그라운딩(temporal grounding)과 같은 비디오 추론 작업에서는 질의를 뒷받침하는 시간적 근거를 선택해야 합니다. 현재 많은 학습 설정에서는 경계 회귀(boundary regression)나 구간 생성(span generation)과 같은 국소적 목적함수를 통해 시간적 지도(temporal supervision)가 적용되는 반면, 검증(verification)은 주로 추론 시 후보 세그먼트를 재순위화하는 데 사용됩니다. 본 연구에서는 동결된 검증기(frozen verifier)가 학습을 유도할 수도 있는지 연구합니다. 제안하는 다중 에이전트 프레임워크는 학습 가능한 Grounder와 동결된 Verifier를 결합합니다. 즉, Grounder가 후보 궤적과 근거 세그먼트를 샘플링하고, Verifier는 질의 조건부 세그먼트 점수를 부여하며, 그룹 상대 정책 그래디언트(group-relative policy-gradient) 목적함수는 동일 입력 내 비교 대상보다 우수한 궤적을 선호하도록 하고, 부트스트랩된 보정 손실(bootstrapped calibration loss)은 시간적 예측이 검증기가 선호하는 구간을 향하도록 유도합니다. 소스 작업에서 학습되고 타깃 데이터셋에 대한 미세조정 없이 평가된 20억 개 매개변수 규모의 구현체는 근거 기반 질의응답, 시간적 그라운딩, 장시간 비디오 질의응답 전반에 걸쳐 제로샷으로 전이되어 근거 기반 질의응답 벤치마크에서 28.7%의 IoU(intersection-over-union) 및 25.4%의 답변-그라운딩 정확도, 시간적 그라운딩 벤치마크에서 46.1%의 IoU, 그리고 장시간 비디오 질의응답 벤치마크에서 54.1%를 달성합니다. 동일한 규모의 강력한 기준선 대비 성능 향상은 완만하지만 일관되며, IoU 및 중간 정도의 오버랩 재현율과 같은 관련성 중심 지표에서 가장 뚜렷한 개선을 보입니다. 테스트된 벤치마크 및 전이 설정 내에서, 이러한 결과는 근거 선택을 위한 학습 신호로서 동결된 검증을 사용하는 것을 뒷받침하는 동시에 엄격한 경계 정밀도는 비교적 여전히 취약함을 보여줍니다. 코드와 모델은 https://anonymous.4open.science/r/MASIRL-E50C/ 에서 이용할 수 있습니다.
원문 초록
Video reasoning tasks such as grounded video question answering and temporal grounding require selecting temporal evidence that supports the query. In many current training setups, temporal supervision is applied through local objectives such as boundary regression or span generation, while verification is used mainly to rerank candidate segments at inference time. We study whether a frozen verifier can also guide training. Our multi-agent framework couples a trainable \emph{Grounder} with a frozen \emph{Verifier}: the Grounder samples candidate trajectories and evidence segments, the Verifier assigns query-conditioned segment scores, a group-relative policy-gradient objective favors trajectories that outperform their within-input peers, and a bootstrapped calibration loss steers temporal predictions toward verifier-preferred spans. Trained on source tasks and evaluated without target-dataset fine-tuning, a two-billion-parameter instantiation transfers zero-shot across grounded question answering, temporal grounding, and long-video question answering, reaching 28.7\% intersection-over-union and 25.4\% answer-grounding accuracy on a grounded-question-answering benchmark, 46.1\% intersection-over-union on a temporal-grounding benchmark, and 54.1\% on a long-video question-answering benchmark. Relative to a strong same-scale baseline, the gains are modest but consistent, with the clearest improvements on relevance-oriented metrics such as intersection-over-union and moderate-overlap recall. Within the tested benchmarks and transfer setting, the results support frozen verification as a training signal for evidence selection, while showing that strict boundary precision remains comparatively weaker. Code and models are available at https://anonymous.4open.science/r/MASIRL-E50C/
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.28675v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.