PyTorchKR Papers

최신 논문

총 27편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2305.12397공식 코드 · Papers with Code

Target-Aware Spatio-Temporal Reasoning via Answering Questions in Dynamics Audio-Visual Scenarios

Audio-visual question answering (AVQA) is a challenging task that requires multistep spatio-temporal reasoning over multimodal contexts. Recent works rely on elaborate target-agnostic parsing of audio-visual scenes for spatial grounding while mistreating audio and video as separate entities for temporal grounding. This paper proposes a new target-aware joint spatio-temporal grounding network for AVQA. It consists of two key components: the target-aware spatial grounding module (TSG) and the single-stream joint audio-visual temporal grounding module (JTG). The TSG can focus on audio-visual cues relevant to the query subject by utilizing explicit semantics from the question. Unlike previous two-stream temporal grounding modules that required an additional audio-visual fusion module, JTG incorporates audio-visual fusion and question-aware temporal grounding into one module with a simpler single-stream architecture. The temporal synchronization between audio and video in the JTG is facilitated by our proposed cross-modal synchrony loss (CSL). Extensive experiments verified the effectiveness of our proposed method over existing state-of-the-art methods.

arXiv:2304.08345공식 코드 · Papers with Code

VALOR: Vision-Audio-Language Omni-Perception Pretraining Model and Dataset

In this paper, we propose a Vision-Audio-Language Omni-peRception pretraining model (VALOR) for multi-modal understanding and generation. Different from widely-studied vision-language pretraining models, VALOR jointly models relationships of vision, audio and language in an end-to-end manner. It contains three separate encoders for single modality representations, and a decoder for multimodal conditional text generation. We design two pretext tasks to pretrain VALOR model, including Multimodal Grouping Alignment (MGA) and Multimodal Grouping Captioning (MGC). MGA projects vision, language and audio to the same common space, building vision-language, audio-language and audiovisual-language alignment simultaneously. MGC learns how to generate text tokens in conditions of vision, audio or their both. To promote vision-audio-language pretraining research, we construct a large-scale high-quality tri-modality dataset named VALOR-1M, which contains 1M audiable videos with human annotated audiovisual captions. Extensive experiments show that VALOR can learn strong multimodal correlations and be generalized to various downstream tasks (e.g., retrieval, captioning and question answering), with different input modalities (e.g., vision-language, audio-language and audiovisual-language). VALOR achieves new state-of-the-art performances on series of public cross-modality benchmarks. Code and data are available at project page https://casia-iva-group.github.io/projects/VALOR.

arXiv:2212.07983공식 코드 · Papers with Code

Vision Transformers are Parameter-Efficient Audio-Visual Learners

Vision transformers (ViTs) have achieved impressive results on various computer vision tasks in the last several years. In this work, we study the capability of frozen ViTs, pretrained only on visual data, to generalize to audio-visual data without finetuning any of its original parameters. To do so, we propose a latent audio-visual hybrid (LAVISH) adapter that adapts pretrained ViTs to audio-visual tasks by injecting a small number of trainable parameters into every layer of a frozen ViT. To efficiently fuse visual and audio cues, our LAVISH adapter uses a small set of latent tokens, which form an attention bottleneck, thus, eliminating the quadratic cost of standard cross-attention. Compared to the existing modality-specific audio-visual methods, our approach achieves competitive or even better performance on various audio-visual tasks while using fewer tunable parameters and without relying on costly audio pretraining or external audio encoders. Our code is available at https://genjib.github.io/project_page/LAVISH/

arXiv:2203.14072공식 코드 · Papers with Code

Learning to Answer Questions in Dynamic Audio-Visual Scenarios

In this paper, we focus on the Audio-Visual Question Answering (AVQA) task, which aims to answer questions regarding different visual objects, sounds, and their associations in videos. The problem requires comprehensive multimodal understanding and spatio-temporal reasoning over audio-visual scenes. To benchmark this task and facilitate our study, we introduce a large-scale MUSIC-AVQA dataset, which contains more than 45K question-answer pairs covering 33 different question templates spanning over different modalities and question types. We develop several baselines and introduce a spatio-temporal grounded audio-visual network for the AVQA problem. Our results demonstrate that AVQA benefits from multisensory perception and our model outperforms recent A-, V-, and AVQA approaches. We believe that our built dataset has the potential to serve as testbed for evaluating and promoting progress in audio-visual scene understanding and spatio-temporal reasoning. Code and dataset: http://gewu-lab.github.io/MUSIC-AVQA/

arXiv:2110.05122공식 코드 · Papers with Code

Pano-AVQA: Grounded Audio-Visual Question Answering on 360$^\circ$ Videos

360$^\circ$ videos convey holistic views for the surroundings of a scene. It provides audio-visual cues beyond pre-determined normal field of views and displays distinctive spatial relations on a sphere. However, previous benchmark tasks for panoramic videos are still limited to evaluate the semantic understanding of audio-visual relationships or spherical spatial property in surroundings. We propose a novel benchmark named Pano-AVQA as a large-scale grounded audio-visual question answering dataset on panoramic videos. Using 5.4K 360$^\circ$ video clips harvested online, we collect two types of novel question-answer pairs with bounding-box grounding: spherical spatial relation QAs and audio-visual relation QAs. We train several transformer-based models from Pano-AVQA, where the results suggest that our proposed spherical spatial embeddings and multimodal training objectives fairly contribute to a better semantic understanding of the panoramic surroundings on the dataset.

arXiv:2510.18346v3cs.CV

AV-Master: 이중 경로 종합 인식을 통한 향상된 오디오-비주얼 질의응답

AV-Master: Dual-Path Comprehensive Perception Makes Better Audio-Visual Question Answering

오디오-비주얼 질의응답(AVQA)은 오디오-비주얼 장면에 관한 복잡하고 다양한 질문에 답하기 위해 모델이 시각 및 청각 모달리티를 효과적으로 활용할 것을 요구한다. 그러나 기존 방법들은 시간적 샘플링과 모달리티 선호도 인식에서 충분한 유연성과 동적 적응성이 부족하여, 질문에 기반한 핵심 정보에 집중하기 어렵다. 이는 복잡한 시나리오에서의 추론 능력을 제한한다. 이러한 문제를 해결하기 위해 우리는 AV-Master라는 새로운 프레임워크를 제안한다. 이 모델은 시간적 차원과 모달리티 차원을 동적으로 모델링함으로써 대규모 중복 콘텐츠를 포함한 복잡한 오디오-비주얼 장면에서 핵심 정보를 추출하는 능력을 향상시킨다. 시간적 차원에서는 질문과 가장 관련성이 높은 오디오-비주얼 세그먼트에 점진적으로 집중하는 동적 적응형 포커스 샘플링 메커니즘을 도입하여, 기존 샘플링 방법의 중복성과 세그먼트 단편화를 효과적으로 완화한다. 모달리티 차원에서는 각 모달리티의 기여도를 독립적으로 모델링하여 중요한 특징의 선택적 활성화를 가능하게 하는 선호도 인식 전략을 제안한다. 또한 시간적 차원과 모달리티 차원 전반에 걸쳐 일관성과 상호보완성을 강화하는 이중 경로 대조 손실을 도입하여, 모델이 질문 특화 크로스모달 협력 표현을 학습하도록 유도한다. 네 가지 대규모 벤치마크에서의 실험 결과, AV-Master는 특히 복잡한 추론 과제에서 기존 방법들을 크게 능가하는 성능을 보인다.

arXiv:2607.03825v1cs.CV

Q-TriM: 오디오-비주얼 질의응답을 위한 질문 기반 삼중 모달 어텐션

Q-TriM: Question-Guided Tri-Modal Attention for Audio-Visual Question Answering

오디오-비주얼 질의응답(AVQA)은 비디오와 동기화된 오디오에 대한 결합 추론을 요구함으로써 고전적인 VQA를 확장한다. 그러나 많은 AVQA 시스템은 텍스트, 비디오, 오디오에 걸쳐 자기 어텐션과 교차 어텐션을 깊이 누적하는 방식에 의존한다. 이러한 순차적 누적 방식은 레이어를 거치면서 미묘한 모달 간 단서와 같은 정보 손실을 초래할 수 있으며, 순차적 어텐션 레이어를 통과하는 동안 오류가 축적되는 문제를 야기할 수 있다. 우리는 깊고 순차적인 방식 대신 얕고 병렬적인 방식으로 멀티모달 융합을 수행하는 Q-TriM을 제안한다. Q-TriM에서는 텍스트를 조건으로 한 비디오와 오디오를 결합하는 어텐션 연산을 위한 새로운 프레임워크를 제안한다. 그 결과, 표준 교차 어텐션 출력뿐만 아니라 Query, Key, Value가 서로 다른 모달리티에서 오는 삼중 모달 어텐션(Tri-Modal Attention) 표현을 얻는다. 이러한 어텐션 표현들은 단일 단계에서 병렬로 결합되므로, 오류 축적과 깊이로 인한 문제를 완화하기 위해 깊은 스택 구조의 멀티모달 융합을 피할 수 있다. Q-TriM은 세 가지 AVQA 벤치마크에서 최첨단 성능을 달성하며, 특히 MUSIC-AVQA-R에서 상당한 성능 향상을 보여 강건성과 분포 외 일반화 능력을 입증한다. 코드는 https://github.com/Sunghun95/Q-TriM 에서 확인할 수 있다.