arXiv:1911.00212

Low-Rank HOCA: Efficient High-Order Cross-Modal Attention for Video Captioning

Tao Jin, Siyu Huang, Yingming Li, Zhongfei Zhang

제출 2019-11-01

원문 초록

This paper addresses the challenging task of video captioning which aims to generate descriptions for video data. Recently, the attention-based encoder-decoder structures have been widely used in video captioning. In existing literature, the attention weights are often built from the information of an individual modality, while, the association relationships between multiple modalities are neglected. Motivated by this observation, we propose a video captioning model with High-Order Cross-Modal Attention (HOCA) where the attention weights are calculated based on the high-order correlation tensor to capture the frame-level cross-modal interaction of different modalities sufficiently. Furthermore, we novelly introduce Low-Rank HOCA which adopts tensor decomposition to reduce the extremely large space requirement of HOCA, leading to a practical and efficient implementation in real-world applications. Experimental results on two benchmark datasets, MSVD and MSR-VTT, show that Low-rank HOCA establishes a new state-of-the-art.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28029v1math.NA공통 태그 Decoder, Tensor Decomposition

트랜스포머 Key-Value 캐시의 텐서 분해: 스펙트럼 구조와 포맷 비교

Tensor Decomposition of Transformer Key-Value Caches: Spectral Structure and Format Comparison

자기회귀 트랜스포머의 키-값(KV) 캐시는 어텐션 헤드, 토큰, 특징, 그룹화된 층에 걸친 4차 텐서로 볼 수 있다. 본 연구에서는 Mistral-7B-v0.3과 LLaMA-2-13B에서 네 가지 모드 전개(mode unfolding) 모두의 특이값 스펙트럼을 측정하고, 동일한 저장 용량 조건에서 Tucker, CP, 텐서 트레인(tensor train), t-SVD의 네 가지 표준 텐서 분해를 비교한다. 스펙트럼은 네 축을 두 부류로 나눈다. 토큰 모드와 특징 모드는 특히 키(key)에서 저순위(low-rank) 구조를 보인다. 반면 헤드 모드와 층 모드는 거의 전순위(full-rank)이며, 실용적인 어떤 오차 수준에서도 압축에 저항한다. 네 가지 분해 중 Tucker는 전순위 모드를 그대로 둘 수 있기 때문에 $2\times$에서 $5\times$까지 모든 압축률에서 가장 낮은 복원 오차를 달성한다. 2차원 전개(unfolding) 기준선과의 비교에서는 키와 값(value)에 따라 선호되는 표현이 다르다는 점이 나타난다. 동일한 저장 용량에서 2D 방법은 더 낮은 키 오차를 달성하는 반면, 4방향 Tucker는 더 낮은 값 오차를 달성한다. 모드 고정(mode-pinning) 정리는 측정된 스펙트럼만으로 전순위 모드가 보존됨을 보증한다. 전순위 모드에는 영향을 주지 않으면서 압축 가능한 모드에 영향을 미치는 두 가지 스펙트럼 특성이 더 있다. 값은 모든 압축률에서 키보다 더 높은 오차 하한(error floor)에 도달하며, RoPE 이후의 키는 두 모델 모두에서 RoPE 이전 압축 가능성의 $41\%$ - $64\%$를 잃는다.

arXiv:2607.02963v1cs.CV공통 태그 Decoder, Video Captioning

옴니-모달 밀집 비디오 캡셔닝을 위한 병렬화된 자기회귀 디코딩

Parallelized Autoregressive Decoding for Omni-Modal Dense Video Captioning

밀집 비디오 캡셔닝(dense video captioning)은 비디오 이벤트에 대해 시간적으로 근거된 설명을 생성하는 것을 목표로 하며, 이벤트 수준의 비디오 이해와 생성 모두에 기여합니다. 이 분야에서 자기회귀(autoregressive) 비디오 대규모 언어 모델(LLM)은 강력한 생성 능력과 크로스-모달 모델링 용량을 바탕으로 주류 패러다임으로 자리잡았습니다. 그러나 토큰(token) 단위 패러다임 하에서 밀집 캡션을 생성하는 방식은 추론(inference) 효율성을 심각하게 제한하며, 비디오 길이와 이벤트 밀도가 증가할수록 확장성을 저해합니다. 본 연구에서는 생성 효율성을 향상시킬 뿐만 아니라 시간적으로 근거된 캡셔닝 성능도 강화하는 병렬화된 자기회귀 프레임워크를 제안합니다. 핵심 아이디어는 시간적으로 구별되는 이벤트들 간의 약한 로컬 의존성을 활용하여 인과 의존성 그래프를 재구성함으로써 무손실 병렬 생성을 가능하게 하는 것입니다. 구체적으로, 이벤트 간 의존성이 약한 토큰은 병렬로 디코딩될 수 있는 반면, 각 이벤트 내에서 강하게 결합된 토큰은 로컬 의미 일관성을 보존하기 위해 순차 디코딩을 유지합니다. 이를 실현하기 위해 무손실 병렬 디코딩을 위한 두 가지 핵심 구성 요소를 도입합니다: (1) 이벤트 수준 구조를 자동으로 학습하고, 이벤트 수준 오디오-비주얼 의미론을 적응적으로 집계하면서 글로벌 이벤트 간 인과성을 인코딩하는 컴팩트한 토큰을 생성하여 후속 의존성 재구성 및 병렬 디코딩을 안내하는 잠재적 글로벌 계획 메커니즘; (2) 로컬 집중과 글로벌 이벤트 간 인식을 효과적으로 균형 잡는 이벤트 인수분해 병렬 디코딩 메커니즘. 다양한 벤치마크에서의 실험은 옴니-모달 이벤트 그라운딩 및 캡셔닝에서 효율성과 성능 모두에 걸쳐 우리 접근법의 명확한 우위를 입증합니다. 프로젝트 웹사이트: https://github.com/showlab/PadCaptioner.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.