PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13687v1cs.CV

X-AVDD: 교차 어텐션 기반 오디오-비주얼 데이터셋 증류

X-AVDD: Cross-Attentive Audio-Visual Dataset Distillation

오디오-비주얼 데이터셋 증류(dataset distillation)는 대규모의 쌍을 이룬 오디오-비주얼 데이터셋으로부터 신경망에 대한 학습 유용성을 거의 유지하면서 작은 데이터셋을 합성하는 것을 목표로 한다. DM 및 AVDD와 같은 기존 접근법은 두 가지 핵심적인 한계에 직면한다: 1) 메모리 집약적이어서 복잡한 아키텍처와 더 높은 클래스당 샘플 수(SPC) 설정으로 확장하기 어렵고, 2) 강력한 모달리티 간 의미적 대응 관계를 보존하는 데 자주 실패한다. 이러한 문제를 해결하기 위해, 우리는 합성 과정에서 모달리티 간 관계를 명시적으로 포착하는 교차 어텐션(cross-attention) 기반 증류 방법인 X-AVDD를 제안한다. 모달리티 간 정렬(cross-modal alignment)을 결합 최적화(joint optimization)로부터 분리함으로써, X-AVDD는 메모리 효율성이 크게 향상되어 종단간 합성 비용을 약 8배의 GPU 시간만큼 줄이면서도 높은 정렬도를 갖는 합성 데이터를 생성한다. 실험적으로, X-AVDD는 다른 오디오-비주얼 증류 방법들을 크게 능가한다. 짧은 유튜브 클립으로 구성된 오디오-비주얼 데이터셋인 VGGSound에서, X-AVDD는 SPC=10에서 top-1 테스트 정확도를 8.2%에서 24.0%로, SPC=20에서 9.8%에서 26.5%로 향상시킨다. 또한 X-AVDD는 아키텍처 간 일반화(cross-architecture generalization) 성능을 향상시키며(예: AVE 데이터셋에서 SPC=50일 때 ViT 타겟에 대해 25.5%에서 35.3%로 향상), AudioCLIP과 같은 복잡한 아키텍처로도 성공적으로 확장되어, 전체 데이터셋의 단 5.65%만을 사용하여 62.3%의 정확도를 달성했으며, 이는 전체 데이터셋 정확도인 72.4%에 비해 전체 데이터셋 대비 9배 더 낮은 학습 시간으로 완료된다.

arXiv:2602.03762v5eess.AS

시각적 가이드 기반 음향 강조를 위한 조건부 흐름 매칭

Conditional Flow Matching for Visually-Guided Acoustic Highlighting

시각적 가이드 기반 음향 강조(Visually-guided acoustic highlighting)는 동반되는 영상에 맞춰 오디오의 밸런스를 재조정하여 일관된 시청각 경험을 만드는 것을 목표로 한다. 시각적 돌출도(saliency) 및 향상은 널리 연구되어 온 반면, 음향 강조는 여전히 충분히 탐구되지 않아 시각적 초점과 청각적 초점 간의 불일치가 자주 발생한다. 기존 접근 방식들은 판별 모델(discriminative model)을 사용하지만, 이는 불균형한 오디오 믹스와 균형 잡힌 오디오 믹스 사이에 자연스러운 일대일 매핑이 존재하지 않는 오디오 리믹싱 고유의 모호성을 처리하는 데 어려움을 겪는다. 이러한 한계를 해결하기 위해, 본 연구는 이 작업을 생성 문제로 재구성하고 조건부 흐름 매칭(CFM, Conditional Flow Matching) 프레임워크를 도입한다. 반복적인 흐름 기반 생성의 주요 과제는 향상할 올바른 소스를 선택하는 과정에서의 초기 예측 오류가 단계를 거치며 누적되어 궤적을 다양체(manifold) 밖으로 벗어나게 한다는 점이다. 이를 해결하기 위해 본 논문에서는 최종 단계에서의 이탈에 페널티를 부과하여 궤적의 자체 교정을 유도하고 장거리 흐름 적분을 안정화하는 롤아웃 손실(rollout loss)을 도입한다. 또한 벡터장(vector field) 회귀 이전에 시청각 단서를 융합하여 명시적인 크로스모달 소스 선택을 가능하게 하는 조건화 모듈을 제안한다. 광범위한 정량적 및 정성적 평가 결과, 본 방법은 기존 최고 수준(SOTA)의 판별 접근 방식을 지속적으로 능가하며 시각적 가이드 기반 오디오 리믹싱이 생성 모델링을 통해 가장 잘 해결될 수 있음을 입증한다.

arXiv:2610.01388v1cs.CV

야생의 자기 움직임을 통한 음향 위치 파악의 지도 학습

Supervising Sound Localization by In-the-wild Egomotion

본 논문에서는 자기 움직임(egomotion)을 지도 신호로 활용하여 바이노럴 음향 위치 파악(binaural sound localization)을 학습하는 방법을 제시합니다. 비디오가 진행되는 동안 카메라가 움직임에 따라 음원(sound source)을 향한 카메라의 방향도 변화합니다. 우리는 다중 시점 기하학(multi-view geometry)의 전통적인 방법으로 얻은 카메라 움직임에 대한 시각적 추정치와 일치하도록 음향 방향을 예측하는 오디오 모델을 학습시킵니다. 이는 전통적인 바이노럴 단서와 결합할 수 있는 약하지만 풍부한 형태의 지도 신호를 제공합니다. 이 방법을 평가하기 위해, 자기 움직임이 포함된 실제 환경의 시청각 비디오 데이터셋을 제안합니다. 실험을 통해 본 모델이 실제 데이터로부터 성공적으로 학습할 수 있으며 음향 위치 파악 작업에서 우수한 성능을 발휘함을 보여줍니다.

arXiv:2607.10299v1cs.LG

강건한 오디오 인식으로 장문 옴니모달 이해 강화

Empowering Long-form Omni-modal Understanding with Robust Audio Perception

대규모 멀티모달 모델의 최근 발전은 비전-언어 과제에서 눈부신 성과를 이끌었지만, 풍부하고 명시적으로 정렬된 청각 단서를 포함한 데이터셋의 부족으로 인해 포괄적인 옴니모달 이해는 여전히 충분히 탐구되지 않은 상태이다. 이 격차를 해소하기 위해, 우리는 시각 및 청각 의미론을 분리하도록 설계된 대규모 데이터셋인 AVDC(Audio-Visual Decoupled Captions)를 제시한다. 구체적으로, 기성 모델을 활용하여 영상에 세 가지 캡션—시각 전용(V), 오디오 전용(A), 오디오-시각 결합(AV)—을 자동으로 주석 처리하는 파이프라인을 제안한다. 이 분리된 구조는 각 모달리티 고유의 미묘한 특성과 복잡한 교차 모달 상호작용을 명시적으로 포착한다. 이를 바탕으로, 오디오-시각 추론을 촉진하기 위한 사고의 연쇄(Chain-of-Thought) 기반 질의응답 데이터셋인 AVDC-QA-CoT를 소개한다. 이러한 자원을 충분히 활용하기 위해, AVDC에 대한 옴니모달 캡션 생성 사전학습에 이어 AVDC-QA-CoT에 대한 지시 미세조정을 수행하는 2단계 학습 패러다임을 채택한다. 영상 캡션 생성, 오디오 중심 분석, 옴니모달 벤치마크를 아우르는 다양한 다운스트림 과제에 걸친 광범위한 실험을 통해 일관되고 유의미한 성능 향상이 확인되었으며, 이는 제안된 데이터셋과 학습 전략이 옴니모달 인식 발전에 기여함을 보여준다. 코드와 데이터셋은 https://radiant0726.github.io/AVDC-web/ 에서 공개된다.

arXiv:2606.25225v1cs.CV

MJEPA: 오디오-비주얼 학습을 위한 간단하고 확장 가능한 결합 임베딩 예측 아키텍처

MJEPA: A Simple and Scalable Joint-Embedding Predictive Architecture for Audio-Visual Learning

대규모 비디오 데이터로부터의 자기지도 학습(self-supervised learning)은 시각적 표현 학습의 지배적인 패러다임으로 부상하였다. 오디오와 시각 스트림은 비디오 데이터에서 자연스럽게 공존하므로, 이 성공을 두 모달리티의 공동 학습으로 확장하는 것은 자연스러운 다음 단계이지만 여전히 어려운 과제로 남아 있다. 기존의 오디오-비주얼 자기지도 방법들은 모달리티별 인코더와 대조 또는 재구성 목적함수의 복잡한 조합에 의존하여, 교차 모달 시너지와 확장성을 제한한다. 결합 임베딩 예측 아키텍처(JEPA)는 간단하고 모달리티에 무관한 대안을 제공하지만, 지금까지는 주로 개별 모달리티에만 적용되어 왔다. 우리는 두 모달리티 모두에 단일 통합 인코더를 사용하는 오디오-비주얼 학습을 위한 결합 임베딩 예측 아키텍처인 MJEPA를 소개한다. 우리의 접근 방식은 모달리티 내부 및 모달리티 간 모두에 적용되는 단 하나의 예측 목적함수만을 사용한다. 우리는 교차 모달 예측이 핵심임을 보인다: 이것이 없으면 공유 인코더의 성능이 단일 모달 기준선 이하로 저하되며, 이것을 적용하면 각 모달리티의 표현이 다른 모달리티로부터 이점을 얻는다. 우리의 프리징된 ViT-g 모델은 AudioSet-20K에서 최고의 기존 프리징 기준선을 6.8 mAP 이상 능가하고, ESC-50 및 FSD50K에서 완전히 파인튜닝된 모델들을 능가하며, 10배 적은 비디오 데이터를 사용함에도 비디오 벤치마크에서 경쟁력을 유지한다.

arXiv:2606.11602v1cs.CV

오디오-비주얼 일반화 제로샷 학습을 위한 계층적 표준화 임베딩 정렬에 관하여

On Aligning Hierarchical Standardized Embedding for Audio-visual Generalized Zero-shot Learning

오디오-비주얼 일반화 제로샷 학습(AV-GZSL)은 오디오와 비주얼 모달리티의 데이터를 통합하여 보이는(seen) 객체 및 장면과 보이지 않는(unseen) 객체 및 장면을 모두 분류하는 것을 목표로 하는 도전적인 태스크이다. 최근 연구들은 주로 오디오와 비주얼 특징을 융합하거나 정렬하여 더 정보량이 높은 오디오-비주얼 임베딩을 생성하는 데 초점을 맞추고 있다. 또한 기존 방법의 대부분은 오디오-비주얼 특징과 텍스트 특징의 정렬을 최적화 목표에만 의존한다. 그러나 이러한 방법들은 오디오-비주얼 모달리티와 텍스트 모달리티 간의 내재적인 분포적·구조적 차이를 간과하고 있다. 이 한계를 해결하기 위해 우리는 계층적 표준화 임베딩 정렬(AHSE, Aligning Hierarchical Standardized Embedding)이라는 방법을 제안한다. AHSE는 표준화된 오디오-비주얼 임베딩과 텍스트 임베딩을 공유 임베딩 공간 내에서 계층적으로 정렬할 수 있도록 한다. 구체적으로, 먼저 융합된 오디오-비주얼 임베딩과 텍스트 임베딩에 Z-점수 표준화를 적용하여 분포 불일치를 줄인다. 이후 의미론적(semantic), 클래스(class), 배치(batch) 수준에서의 불일치를 최소화하는 계층적 정렬 전략을 도입함으로써 더 견고하고 잘 구조화된 임베딩 공간을 구성한다. 이 전략은 의미론적 관계와 클래스 간 관계를 보존할 뿐만 아니라 각 배치 내의 공간적 일관성도 유지한다. VGGSound-GZSL, UCF-GZSL, ActivityNet-GZSL 세 가지 벤치마크 데이터셋에 대한 광범위한 실험을 통해 AHSE가 제로샷 학습에서 경쟁력 있는 성능을 달성함을 입증한다.