비디오 MLLM 사후 학습을 위한 행동 팩 최적화
Behavior Pack Optimization for Video MLLM Post-Training
비디오 다중모달 대규모 언어 모델(video multimodal large language model, Video MLLM)은 비디오 질의응답 벤치마크에서 지속적으로 성능을 높이고 있지만, 프레임을 섞거나 정답을 뒷받침하는 구간을 마스킹하거나 대상 객체를 가려도 예측 결과는 거의 변하지 않습니다. 이러한 정확도는 질문이 요구하는 시간적 증거가 아닌 외형 및 언어 사전확률(prior)에 의존하고 있습니다. 저자들은 이 원인이 사후 학습(post-training) 단위에 있음을 밝혀냈습니다. 즉, 보상(reward)이 원본 클립에 대한 단일 응답에 대해서만 계산되므로, 모델이 다양한 관점(view)에 걸쳐 일관되게 행동하도록 요구받지 않는다는 점입니다. 이에 저자들은 단일 응답 대신 질문 유형에 따라 선택된 반사실적 관점들에 걸친 출력들의 행동 팩(behavior pack)으로 대체하고 이를 공동으로 평가하는 행동 팩 최적화(Behavior Pack Optimization, BPO)를 제안합니다. 팩 보상은 개입이 무관할 때는 안정성을, 핵심 증거가 제거되었을 때는 민감성을, 증거가 전혀 남아있지 않을 때는 기권(abstention)을 요구합니다. 작은 팩 크기에서도 이 목적 함수를 안정적으로 유지하기 위해, BPO는 앵커 상대적 이점(anchor-relative advantage)을 사용합니다. 즉, 혼합된 관점들의 그룹 평균 대신 원본 관점의 응답이 프롬프트별 참조 역할을 수행합니다. TempCompass, MVBench, NExT-QA에서 BPO는 동일한 SFT 체크포인트 기반의 예산 매칭된 바닐라 GRPO 기준선(baseline) 대비 Qwen2.5-VL-7B-Instruct의 매크로 정확도를 4.7%p, 시간적으로 까다로운(temporal-hard) 하위 집합을 7.8%p, 기권 F1을 20.0%p 향상시킵니다. 이러한 이득은 Video-MME, LongVideoBench 및 LLaVA-Video-7B로도 전이되며, 소거 연구(ablation)를 통해 이러한 성과가 롤아웃(rollout) 횟수가 아닌 관점 세트에 기인함을 확인했습니다. 연구진은 증거에 기반한(evidence-grounded) 비디오 추론으로 나아가는 과정에서, 이러한 팩 수준의 관점이 비디오 MLLM 및 다중모달 사후 학습 커뮤니티에 유용한 출발점을 제공하기를 기대합니다.