보기, 기억, 추론: MLLM을 활용한 인간 관점 비디오 이해
Watch, Remember, Reason: Human-View Video Understanding with MLLMs
비디오 이해는 멀티모달 대규모 언어 모델(MLLM)에 의해 급속히 변화하고 있으며, 연구는 짧은 클립에서 긴 영상, 멀티모달, 지식 집약적 비디오 시나리오로 확장되고 있다. 이러한 시나리오는 모델이 희소한 증거, 장거리 의존성, 멀티모달 정렬(alignment), 제한된 계산 예산 하에서의 신뢰할 수 있는 추론을 처리할 수 있도록 요구한다. 본 연구는 LLM 기반 비디오 이해에 대한 인간 관점(human-view)의 관점을 제시하며, 세 가지 기능적 능력—보기(watching), 기억(remembering), 추론(reasoning)—을 중심으로 구성한다. 비디오 작업을 독립적인 벤치마크로 취급하는 대신, 이 관점은 비디오 MLLM이 증거를 획득하고, 맥락을 보존하며, 그라운딩(grounding)된 출력을 생성하는 방식을 분석하기 위한 통합 구조를 제공한다. 우리는 지각 표상(perceptual representations), 메모리 상태, 추론 흔적(reasoning traces), 최종 예측에 따라 비디오 이해 시스템을 특성화하는 공식화(formulation)를 도입한다. 이 공식화를 바탕으로 시공간 지각, 효율적인 장영상 처리, 메모리 모델링, 스트리밍 이해, 충실한 추론 분야의 과제를 식별한다. 대표적인 방법들은 비디오 MLLM 시스템 내 역할에 따라 정리된다. 보기(watching)는 세밀한(fine-grained), 포괄적인, 시청각(audio-visual), 효율적 지각을 다룬다. 기억(remembering)은 오프라인 및 스트리밍 메모리를 포함하며, 추론(reasoning)은 텍스트 전용 추론과 비디오를 활용한 사고(thinking with videos)를 다룬다. 또한 자기 중심(egocentric), 스포츠, 교육(instructional), 의료, 서사(narrative) 비디오 등 응용 영역을 검토하고, 작업 유형, 지도(supervision) 형식, 모달리티, 능력 차원에 걸친 학습 데이터셋과 평가 벤치마크를 다룬다. 마지막으로, 확장 가능하고 메모리를 인식하며 증거에 그라운딩(grounded)된 비디오 지능을 위한 미해결 문제와 향후 방향을 제시한다. 관련 연구는 https://github.com/marinero4972/Awesome-HumanView-VideoUnderstanding에서 지속적으로 추적된다.