멀티모달 대규모 언어 모델(MLLM)은 비디오 이해 및 캡션 생성에서 강력한 잠재력을 보여주었으나, 심장 초음파 검사와 같은 전문 의료 영상 분야에서는 성능이 저하될 수 있습니다. 본 연구에서는 심장 초음파 캡션 생성을 위해 VideoChat2에서 사용하는 시각적 표현을 개선하는 모듈형이자 계산 효율적인 LLM 사전 오류 보정 방법인 가우시안 프로세스 임베딩 보정(Gaussian Process Embedding Correction, GPEC)을 소개합니다. GPEC은 시각적 투영 층(visual projection layer)과 언어 모델 사이에 삽입되어 투영된 시각적 표현을 어노테이션 기반 타깃으로 이동시키는 잔차 보정(residual correction)을 학습합니다. 이 타깃은 구조화된 비디오 어노테이션을 정성적 속성으로 변환하고, 고정된 형식의 참조 캡션을 생성한 뒤, 이를 언어 모델 임베딩 공간으로 매핑하여 구축됩니다. 보정은 유도점(inducing points), 자연 매개변수 변분 업데이트(natural-parameter variational updates), 블록별 선형 커널을 갖춘 희소 변분 가우시안 프로세스(sparse variational Gaussian Process)를 사용하여 모델링되며, 기존 VideoChat2 구성 요소는 고정(frozen) 상태로 유지됩니다. 본 방법은 동일한 입력 및 참조 조건에서 기존 VideoChat2와 VideoChat2 + GPEC을 비교하여 표현 수준, 캡션 수준, 콘텐츠 지향 및 실행 시간 지표를 사용해 평가됩니다. 실험 결과, 제안된 보정을 적용한 후 캡션 유사도 및 콘텐츠 정합성이 향상된 것으로 나타났습니다. 또한 GPEC은 평가 환경에서 비디오당 0.05초 미만의 추론 시간 오버헤드만을 추가합니다. 이러한 결과는 사전학습된 멀티모달 백본의 엔드투엔드 미세조정 없이도 GPEC이 최소한의 계산 비용으로 전문 의료 비디오 분야의 캡션 생성을 향상할 수 있음을 보여줍니다.
비디오 캡셔닝은 객체의 위치에 대한 공간적 인식과 사건이 발생하는 시점에 대한 시간적 인식을 포함하여, 비디오에 대한 세밀한 시공간 이해를 요구한다. 기존 MLLM(멀티모달 대규모 언어 모델)은 보통 설명 뒤에 숨겨진 지각적 근거를 드러내지 않은 채 비디오 입력으로부터 직접 캡션을 생성한다. 그 결과, 시공간 지각의 오류는 최종 캡션에서만 관찰되어, 근본적인 지각 오류를 직접 식별하기 어렵다. 이러한 문제를 해결하기 위해, 우리는 최종 캡션을 생성하기 전에 지각적 근거를 명시적으로 드러내는 지각 인식형 비디오 캡셔닝 프레임워크인 PercepCap을 제안한다. 구체적으로, PercepCap은 perceive-describe 생성 체인을 따르며, 모델이 먼저 객체 궤적과 시간적 사건으로 구성된 시공간 지각 추적(perception trace)을 생성한 다음, 지각된 근거를 조건으로 최종 캡션을 생성한다. 이를 지원하기 위해, 우리는 2단계 학습 전략을 설계한다. Perceive-then-Describe 지도 미세조정(SFT)은 모델을 캡션 전용 생성에서 제안된 perceive-describe 체인으로 적응시키며, Perception-Grounded 강화학습(RL)은 지각 체인과 최종 캡션에 대한 결합 보상으로 지각 추적과 캡션 품질을 최적화한다. 2단계 학습을 지원하기 위해, 우리는 Caption-Anchored Perception Data Construction을 도입한다. 이 파이프라인은 먼저 캡션 전용 설명을 생성하고, 그것이 언급하는 객체와 사건을 추출한 다음, 박스와 타임스탬프로 비디오에 다시 그라운딩하여 SFT 및 RL 학습 데이터를 구축한다. 이는 견고한 학습 정답(ground truth)을 제공하는 캡션 정렬 지각 데이터를 산출하며, 명시적 지각 추적과 최종 캡션이 동일한 객체와 사건을 가리키도록 보장한다. 직접 캡션 평가와 캡션-질의응답(QA) 평가 전반에 걸쳐, PercepCap은 Qwen3-VL 기준선을 일관되게 개선하며 선도적인 캡션 품질을 보여준다.
우리는 TCAM(Track and Caption Any Motion)을 제시한다. 이 생성 프레임워크는 비디오를 관찰하며, 텍스트 쿼리도 영역 프롬프트도 없이 무엇이 움직이는지 판단하고, 각 움직임을 개방 어휘로 설명하며, 시간상 위치를 특정하고, 그 움직임을 담는 정확한 궤적을 가리킨다. 이를 가능하게 하면서도 해결하지 못한 두 가지 성숙한 연구 흐름이 있다. 밀집 점 추적기(dense point trackers)는 객체 이하(sub-object) 정밀도로 픽셀을 추적하지만 언어를 출력하지 않는 반면, 비디오-언어 모델은 쿼리가 주어졌을 때만 유창한 설명을 생성하며, 클립 수준 특징만으로는 어떤 픽셀이 움직이는지 구별할 수 없다. 객체 수준 캡셔너는 격차를 줄이지만 여전히 검출기 박스나 마스크에 기반해 추론하며 개별 궤적까지는 이르지 못한다. TCAM은 Caption-Aware Resampler를 통해 점 단위(point granularity)로 추적과 언어를 결합한다. 여기서 소수의 학습 가능 쿼리가 밀집 점 궤적 토큰에 교차 어텐션(cross-attention)하여 이를 고정 길이 모션 컨텍스트로 지식 증류(distillation)하고, 이 컨텍스트가 언어 디코더를 조건화한다. 디코더는 비디오 전체의 사건을 한 번에 생성하며, 순차적 사건이나 동시에 활동하는 여러 피사체에 대해 각각 자유 형식 캡션, 시작·종료 시간, 참조 궤적 포인터를 포함한다. 학습은 추가 사건 라벨 없이 기존 분할(segmentation) 주석만으로 캡션 품질, 포인터-마스크 정렬, 포인터 다양성을 감독한다. 5만 개 이상 클립에서 TCAM은 쿼리 없이도 밀집 비디오 캡셔닝 베이스라인을 능가하고, 전용 쿼리 기반 그라운딩(grounding) 및 점 추적 방법과 대등한 성능을 보여, 궤적 조건 생성이 동작 기반 비디오 이해로 가는 직접 경로임을 입증한다.
옴니모달 비디오 캡셔닝은 단순히 시각 캡셔닝과 오디오 전사를 결합하는 것이 아니다. 유용한 캡션은 시각적 행동, 음성, 음악, 효과음이 어떻게 함께 진화하는지를 설명해야 한다. 기존의 대규모 멀티모달 모델은 이 관계적 단계에서 자주 실패하며, 오디오와 시각 스트림을 느슨하게 결합된 관측으로 취급하고, 음성 인식에 의존하며, 비음성 소리와 시각 이벤트와의 연결을 충분히 명시하지 못한다. 우리는 명시적 교차모달 이벤트 결합을 중심으로 한 오디오-비주얼 캡셔닝 프레임워크 AVSCap을 제안한다. 먼저, 시각 및 음향 증거를 고정한 뒤 그라운딩된 옴니모달 캡션을 구성하는 분리-후-융합 파이프라인으로 생성한 3모달 학습 코퍼스 AVSCap-130K를 구축한다. 둘째, 2단계 전략으로 7B 캡셔너 AVSCap-7B를 학습한다: 지도 미세조정으로 기준선 능력을 확립하고, 샘플 효율적인 강화학습이 하이브리드 보상을 사용하여 음향 완전성과 오디오-비주얼 시너지를 최적화한다. 스케일링 분석 결과, 강화학습이 SFT 데이터를 늘리는 것보다 더 큰 이득을 가져온다. 셋째, 캡션을 시각, 오디오, 시너지 이벤트로 분해하고 세밀한 이벤트 재현율로 평가하는 벤치마크 AVSCapBench를 도입한다. AVSCapBench 및 외부 벤치마크에서의 실험은 AVSCap-7B가 비음성 오디오 커버리지와 교차모달 결합을 개선하며, 평가된 오픈소스 모델 중 전체적으로 최고의 성능을 달성함을 보여준다.
비전-언어 모델이 생성하는 비디오 캡션이 개별 시청자의 시각적 어텐션을 반영하지 못하는 문제를 해결하기 위해, 학습 없이 테스트 시점의 시선(gaze) 데이터를 활용하는 정보 이론 기반 크로스 모달 평가 지표인 VEGAS를 제안한다. VEGAS는 시청자의 시선이 집중된 영역과 후보 캡션 간의 상호 정보량(mutual information)을 측정하여 거부 샘플링(rejection sampling)으로 개인화된 캡션을 선택하며, 자기중심적(egocentric) 활동 및 슬라이드 데이터셋 실험에서 인간 시선 정렬도와 캡션-비디오 검색 성능을 유의미하게 향상시킴을 입증했다.
밀집 비디오 캡셔닝(dense video captioning)은 비디오 이벤트에 대해 시간적으로 근거된 설명을 생성하는 것을 목표로 하며, 이벤트 수준의 비디오 이해와 생성 모두에 기여합니다. 이 분야에서 자기회귀(autoregressive) 비디오 대규모 언어 모델(LLM)은 강력한 생성 능력과 크로스-모달 모델링 용량을 바탕으로 주류 패러다임으로 자리잡았습니다. 그러나 토큰(token) 단위 패러다임 하에서 밀집 캡션을 생성하는 방식은 추론(inference) 효율성을 심각하게 제한하며, 비디오 길이와 이벤트 밀도가 증가할수록 확장성을 저해합니다. 본 연구에서는 생성 효율성을 향상시킬 뿐만 아니라 시간적으로 근거된 캡셔닝 성능도 강화하는 병렬화된 자기회귀 프레임워크를 제안합니다. 핵심 아이디어는 시간적으로 구별되는 이벤트들 간의 약한 로컬 의존성을 활용하여 인과 의존성 그래프를 재구성함으로써 무손실 병렬 생성을 가능하게 하는 것입니다. 구체적으로, 이벤트 간 의존성이 약한 토큰은 병렬로 디코딩될 수 있는 반면, 각 이벤트 내에서 강하게 결합된 토큰은 로컬 의미 일관성을 보존하기 위해 순차 디코딩을 유지합니다. 이를 실현하기 위해 무손실 병렬 디코딩을 위한 두 가지 핵심 구성 요소를 도입합니다: (1) 이벤트 수준 구조를 자동으로 학습하고, 이벤트 수준 오디오-비주얼 의미론을 적응적으로 집계하면서 글로벌 이벤트 간 인과성을 인코딩하는 컴팩트한 토큰을 생성하여 후속 의존성 재구성 및 병렬 디코딩을 안내하는 잠재적 글로벌 계획 메커니즘; (2) 로컬 집중과 글로벌 이벤트 간 인식을 효과적으로 균형 잡는 이벤트 인수분해 병렬 디코딩 메커니즘. 다양한 벤치마크에서의 실험은 옴니-모달 이벤트 그라운딩 및 캡셔닝에서 효율성과 성능 모두에 걸쳐 우리 접근법의 명확한 우위를 입증합니다. 프로젝트 웹사이트: https://github.com/showlab/PadCaptioner.
오디오비주얼 비디오 캡셔닝에서 크로스모달 바인딩(cross-modal binding)과 시간적 일관성(temporal coherence) 문제를 해결하기 위해, 반복적 정제 전략인 Observer-Checker-Corrector(OCC) 프레임워크로 고품질 학습 데이터를 생성하고 고밀도 인간 상호작용 데이터셋으로 최적화된 TCA-Captioner를 제안한다. 또한 오디오비주얼 바인딩과 시간적 관계 추론 능력을 분리 평가하는 TCA-Bench 벤치마크를 도입하여, Qwen3-Omni 및 Gemini-3-Pro 대비 시간적으로 동기화된 멀티모달 캡셔닝에서 새로운 성능 기준을 제시한다.
정확하고 포괄적이며 주체 참조가 일관된 비디오 캡션은 하위 이해 및 생성 태스크에 매우 중요하다. 그러나 기존 벤치마크 중 다양한 영상 길이와 시나리오에 걸쳐 이러한 특성을 객관적이고 포괄적으로 평가할 수 있는 것은 거의 없어, 비디오 캡셔닝 모델의 발전을 가로막고 있다. 이 격차를 메우기 위해, 우리는 긴 시간적 범위와 다양한 비디오 도메인에 걸쳐 비디오 캡셔닝 품질과 주체 참조 일관성을 모두 평가하도록 설계된 종합 벤치마크 CapRiCorn-1K를 제안한다. 다양한 평가 요구를 수용하기 위해, 우리 벤치마크는 시청각(audiovisual) 설정과 시각 전용(visual-only) 설정을 모두 지원한다. CapRiCorn-1K에 대한 광범위한 실험 결과, 현재 모델들은 일관된 주체 참조를 유지하면서 정확하고 포괄적인 캡션을 생성하는 데 전반적으로 어려움을 겪는다는 것이 드러난다. 또한 비디오 길이가 길어질수록 전반적인 캡션 품질과 주체 참조 일관성이 모두 저하된다. 특히, 우리 평가 지표는 생성된 캡션을 조건으로 하는 하위 이해 및 생성 태스크의 성능과 강한 상관관계를 보여, 그 효과성을 추가로 검증한다. 프로젝트는 https://github.com/xlchen0205/CapRiCorn-1K 에서 이용할 수 있다.