arXiv:2201.09153

An Integrated Approach for Video Captioning and Applications

Soheyla Amirian, Thiab R. Taha, Khaled Rasheed, Hamid R. Arabnia

제출 2022-01-23

원문 초록

Physical computing infrastructure, data gathering, and algorithms have recently had significant advances to extract information from images and videos. The growth has been especially outstanding in image captioning and video captioning. However, most of the advancements in video captioning still take place in short videos. In this research, we caption longer videos only by using the keyframes, which are a small subset of the total video frames. Instead of processing thousands of frames, only a few frames are processed depending on the number of keyframes. There is a trade-off between the computation of many frames and the speed of the captioning process. The approach in this research is to allow the user to specify the trade-off between execution time and accuracy. In addition, we argue that linking images, videos, and natural language offers many practical benefits and immediate practical applications. From the modeling perspective, instead of designing and staging explicit algorithms to process videos and generate captions in complex processing pipelines, our contribution lies in designing hybrid deep learning architectures to apply in long videos by captioning video keyframes. We consider the technology and the methodology that we have developed as steps toward the applications discussed in this research.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.00196v1cs.CV공통 태그 Image Captioning, Video Captioning

GPEC: 심장 초음파 비디오 캡션 생성을 위한 효율적인 LLM 사전 가우시안 프로세스 임베딩 보정

GPEC: Efficient Pre-LLM Gaussian Process Embedding Correction for Cardiac Video Caption Generation

멀티모달 대규모 언어 모델(MLLM)은 비디오 이해 및 캡션 생성에서 강력한 잠재력을 보여주었으나, 심장 초음파 검사와 같은 전문 의료 영상 분야에서는 성능이 저하될 수 있습니다. 본 연구에서는 심장 초음파 캡션 생성을 위해 VideoChat2에서 사용하는 시각적 표현을 개선하는 모듈형이자 계산 효율적인 LLM 사전 오류 보정 방법인 가우시안 프로세스 임베딩 보정(Gaussian Process Embedding Correction, GPEC)을 소개합니다. GPEC은 시각적 투영 층(visual projection layer)과 언어 모델 사이에 삽입되어 투영된 시각적 표현을 어노테이션 기반 타깃으로 이동시키는 잔차 보정(residual correction)을 학습합니다. 이 타깃은 구조화된 비디오 어노테이션을 정성적 속성으로 변환하고, 고정된 형식의 참조 캡션을 생성한 뒤, 이를 언어 모델 임베딩 공간으로 매핑하여 구축됩니다. 보정은 유도점(inducing points), 자연 매개변수 변분 업데이트(natural-parameter variational updates), 블록별 선형 커널을 갖춘 희소 변분 가우시안 프로세스(sparse variational Gaussian Process)를 사용하여 모델링되며, 기존 VideoChat2 구성 요소는 고정(frozen) 상태로 유지됩니다. 본 방법은 동일한 입력 및 참조 조건에서 기존 VideoChat2와 VideoChat2 + GPEC을 비교하여 표현 수준, 캡션 수준, 콘텐츠 지향 및 실행 시간 지표를 사용해 평가됩니다. 실험 결과, 제안된 보정을 적용한 후 캡션 유사도 및 콘텐츠 정합성이 향상된 것으로 나타났습니다. 또한 GPEC은 평가 환경에서 비디오당 0.05초 미만의 추론 시간 오버헤드만을 추가합니다. 이러한 결과는 사전학습된 멀티모달 백본의 엔드투엔드 미세조정 없이도 GPEC이 최소한의 계산 비용으로 전문 의료 비디오 분야의 캡션 생성을 향상할 수 있음을 보여줍니다.

arXiv:2607.12820v1cs.CV공통 태그 Image Captioning, Video Captioning

AVSCap: 옴니모달 비디오 캡셔닝을 위한 오디오-비주얼 시너지 조율

AVSCap: Orchestrating Audio-Visual Synergy for Omni-modal Video Captioning

옴니모달 비디오 캡셔닝은 단순히 시각 캡셔닝과 오디오 전사를 결합하는 것이 아니다. 유용한 캡션은 시각적 행동, 음성, 음악, 효과음이 어떻게 함께 진화하는지를 설명해야 한다. 기존의 대규모 멀티모달 모델은 이 관계적 단계에서 자주 실패하며, 오디오와 시각 스트림을 느슨하게 결합된 관측으로 취급하고, 음성 인식에 의존하며, 비음성 소리와 시각 이벤트와의 연결을 충분히 명시하지 못한다. 우리는 명시적 교차모달 이벤트 결합을 중심으로 한 오디오-비주얼 캡셔닝 프레임워크 AVSCap을 제안한다. 먼저, 시각 및 음향 증거를 고정한 뒤 그라운딩된 옴니모달 캡션을 구성하는 분리-후-융합 파이프라인으로 생성한 3모달 학습 코퍼스 AVSCap-130K를 구축한다. 둘째, 2단계 전략으로 7B 캡셔너 AVSCap-7B를 학습한다: 지도 미세조정으로 기준선 능력을 확립하고, 샘플 효율적인 강화학습이 하이브리드 보상을 사용하여 음향 완전성과 오디오-비주얼 시너지를 최적화한다. 스케일링 분석 결과, 강화학습이 SFT 데이터를 늘리는 것보다 더 큰 이득을 가져온다. 셋째, 캡션을 시각, 오디오, 시너지 이벤트로 분해하고 세밀한 이벤트 재현율로 평가하는 벤치마크 AVSCapBench를 도입한다. AVSCapBench 및 외부 벤치마크에서의 실험은 AVSCap-7B가 비음성 오디오 커버리지와 교차모달 결합을 개선하며, 평가된 오픈소스 모델 중 전체적으로 최고의 성능을 달성함을 보여준다.

arXiv:2607.02963v1cs.CV공통 태그 Image Captioning, Video Captioning

옴니-모달 밀집 비디오 캡셔닝을 위한 병렬화된 자기회귀 디코딩

Parallelized Autoregressive Decoding for Omni-Modal Dense Video Captioning

밀집 비디오 캡셔닝(dense video captioning)은 비디오 이벤트에 대해 시간적으로 근거된 설명을 생성하는 것을 목표로 하며, 이벤트 수준의 비디오 이해와 생성 모두에 기여합니다. 이 분야에서 자기회귀(autoregressive) 비디오 대규모 언어 모델(LLM)은 강력한 생성 능력과 크로스-모달 모델링 용량을 바탕으로 주류 패러다임으로 자리잡았습니다. 그러나 토큰(token) 단위 패러다임 하에서 밀집 캡션을 생성하는 방식은 추론(inference) 효율성을 심각하게 제한하며, 비디오 길이와 이벤트 밀도가 증가할수록 확장성을 저해합니다. 본 연구에서는 생성 효율성을 향상시킬 뿐만 아니라 시간적으로 근거된 캡셔닝 성능도 강화하는 병렬화된 자기회귀 프레임워크를 제안합니다. 핵심 아이디어는 시간적으로 구별되는 이벤트들 간의 약한 로컬 의존성을 활용하여 인과 의존성 그래프를 재구성함으로써 무손실 병렬 생성을 가능하게 하는 것입니다. 구체적으로, 이벤트 간 의존성이 약한 토큰은 병렬로 디코딩될 수 있는 반면, 각 이벤트 내에서 강하게 결합된 토큰은 로컬 의미 일관성을 보존하기 위해 순차 디코딩을 유지합니다. 이를 실현하기 위해 무손실 병렬 디코딩을 위한 두 가지 핵심 구성 요소를 도입합니다: (1) 이벤트 수준 구조를 자동으로 학습하고, 이벤트 수준 오디오-비주얼 의미론을 적응적으로 집계하면서 글로벌 이벤트 간 인과성을 인코딩하는 컴팩트한 토큰을 생성하여 후속 의존성 재구성 및 병렬 디코딩을 안내하는 잠재적 글로벌 계획 메커니즘; (2) 로컬 집중과 글로벌 이벤트 간 인식을 효과적으로 균형 잡는 이벤트 인수분해 병렬 디코딩 메커니즘. 다양한 벤치마크에서의 실험은 옴니-모달 이벤트 그라운딩 및 캡셔닝에서 효율성과 성능 모두에 걸쳐 우리 접근법의 명확한 우위를 입증합니다. 프로젝트 웹사이트: https://github.com/showlab/PadCaptioner.

arXiv:2607.01667v1cs.CV공통 태그 Image Captioning, Video Captioning

향상된 오디오비주얼 비디오 캡셔닝을 위한 시간적·크로스모달 정렬

Temporal and Cross-Modal Alignment for Enhanced Audiovisual Video Captioning

멀티모달 대규모 언어 모델(MLLM)이 비디오 이해를 발전시켰음에도 불구하고, 오디오비주얼 비디오 캡셔닝에서 정밀한 시간적·크로스모달 정렬을 달성하는 것은 여전히 어려운 과제로 남아 있다. 대부분의 기존 방법들은 모달리티 분리와 시간적 비일관성의 문제를 겪으며, 청각적 이벤트를 시각적 개체에 정확히 연결하거나 복잡한 인과적 역학을 포착하는 데 실패한다. 이러한 결함을 해결하기 위해, 우리는 오디오비주얼 비디오 캡셔닝의 시간적·크로스모달 정렬 향상을 위해 특별히 설계된 프레임워크인 TCA-Captioner를 제안한다. 먼저, 고품질의 세밀하게 그라운딩된 학습 데이터를 생성하는 반복적 정제 전략인 Observer-Checker-Corrector(OCC) 프레임워크를 소개한다. 엄선된 고밀도 인간 상호작용 데이터셋을 활용하여, TCA-Captioner는 정교한 오디오비주얼 상호작용을 모델링하도록 최적화된다. 나아가, 오디오비주얼 바인딩과 시간적 관계 추론에서 모델의 능숙도를 분리하여 정량화하는 분리 평가 프로토콜(Decoupled Evaluation Protocol)을 활용한 진단 벤치마크인 TCA-Bench를 제시한다. 광범위한 실험을 통해 TCA-Captioner가 시간적으로 일관되고 동기화된 오디오비주얼 내러티브에서 새로운 기준을 수립함을 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.