arXiv:2304.05600

Looking Similar, Sounding Different: Leveraging Counterfactual Cross-Modal Pairs for Audiovisual Representation Learning

Nikhil Singh, Chih-Wei Wu, Iroro Orife, Mahdi Kalayeh

제출 2023-04-12

원문 초록

Audiovisual representation learning typically relies on the correspondence between sight and sound. However, there are often multiple audio tracks that can correspond with a visual scene. Consider, for example, different conversations on the same crowded street. The effect of such counterfactual pairs on audiovisual representation learning has not been previously explored. To investigate this, we use dubbed versions of movies and television shows to augment cross-modal contrastive learning. Our approach learns to represent alternate audio tracks, differing only in speech, similarly to the same video. Our results, from a comprehensive set of experiments investigating different training strategies, show this general approach improves performance on a range of downstream auditory and audiovisual tasks, without majorly affecting linguistic task performance overall. These findings highlight the importance of considering speech variation when learning scene-level audiovisual correspondences and suggest that dubbed audio can be a useful augmentation technique for training audiovisual models toward more robust performance on diverse downstream tasks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27356v1cs.CV공통 태그 Representation Learning, counterfactual, Contrastive Learning

평균 Foil을 넘어: 고정 CLIP 영역 설명의 최악-Foil 특이성 감사

Beyond Mean Foils: Auditing Worst-Foil Specificity in Frozen CLIP Region Explanations

한 영역이 대상 객체와 겹치면서도 다른 클래스에 더 크게 기여할 수 있다. 고정(frozen) CLIP에서 클러스터 기반 개념 중요도(Cluster-based Concept Importance, CCI)로 선택한 영역을 검증한다. COCO와 VOC, 두 체크포인트에 걸쳐 겹침 및 평균 대비(mean-contrast) 검사를 통과한 영역 중 41.08–64.78%가 가장 강한 경쟁 클래스에 대해 실패한다. 이미지에 주석된 경쟁 클래스를 제거해도 39.69–63.64%가 여전히 실패한다. 이어 이미지당 후보 영역 8개를 모두 검증한다. 대안 영역은 COCO에서 실패 사례의 6.25–7.84%, VOC에서 27.40–31.15%에 대해 검사를 통과한다. 원래 대상 점수 하락을 $\epsilon = 0.02$ 이내로 유지할 것을 요구하면 이 비율은 0.16–0.98%로 줄어든다. 사용 가능한 영역과 대상 점수 하락 허용치가 수리(repair)를 제한하며, 허용치를 완화하면 수리 기회가 늘어난다.

arXiv:2610.15997v1cs.LG공통 태그 Representation Learning, Contrastive Learning

표현 차이 증류

Representational Difference Distillation

지식 증류(knowledge distillation)는 거대한 교사 네트워크에서 소형 학생 네트워크로 표현 지식을 전달합니다. 기존의 관계형 및 대조적 증류 방법들은 모든 샘플을 균일하게 처리하여, 표현 공간에서 잘 일치하는 영역과 제대로 일치하지 않는 영역 모두에 동일한 그래디언트를 소모합니다. 본 논문에서는 교사와 학생의 표현이 구조적으로 불일치하는 부분을 진단하고 해당 영역에 증류 신호를 집중시키는 표현 차이 증류(Representational Difference Distillation, RDD)를 제안합니다. RDD는 불일치의 서로 다른 방향을 포착하는 두 개의 비대칭 친화도 행렬(affinity matrix)을 사용합니다. 하나는 학생이 잘못 유사하다고 간주하는 샘플들을 식별하고, 다른 하나는 학생이 아직 학습하지 못한 교사의 관계를 식별합니다. 이러한 친화도는 증류 손실이 정렬할 샘플 쌍과 잘못 정렬된 각 샘플을 얼마나 강하게 교정할지를 결정합니다. resnet32x4에서 resnet8x4로의 CIFAR-100 실험에서 RDD는 자체 실행 기준 75.58%의 테스트 정확도에 도달하여 CRD(75.45%)와 대등하고 KD 및 RKD를 상회하는 성능을 달성했습니다. 또한 커리큘럼 기반 및 샘플링 기반 변형을 추가로 탐색하여 데이터를 필터링하는 것보다 손실에 가중치를 부여하는 것이 더 효과적임을 확인했습니다.

arXiv:2610.13766v1cs.CV공통 태그 Representation Learning, Contrastive Learning

재난 간 피해 평가를 위한 지리공간 파운데이션 모델 임베딩의 지름길 학습

Shortcut Learning in Geospatial Foundation Model Embeddings for Cross-Disaster Damage Assessment

지리공간 파운데이션 모델(Geospatial foundation model)은 재난 피해 평가를 지원할 수 있지만, 익숙한 재난에서 높은 정확도를 보이는 것은 지름길 학습(shortcut learning), 즉 새로운 재난으로 전이되는 증거보다는 사건이나 장면의 특성에 기반한 예측을 숨기고 있을 수 있습니다. 본 연구에서는 다중 재난 데이터셋인 xView2와 BRIGHT를 대상으로 TerraMind, Prithvi-EO-2.0, DOFA, DINOv3의 임베딩(embedding)을 조사합니다. 이미지 타일을 무작위로 분할하는 대신 전체 재난 하나를 홀드아웃(hold-out)할 경우, 평균 균형 정확도(mean balanced accuracy)가 xView2에서는 0.807에서 0.638로, BRIGHT에서는 0.818에서 0.568로 감소합니다. 네 가지 일련의 테스트를 통해 어떤 정보가 예측을 뒷받침하는지 살펴봅니다: 사건 및 획득 컨텍스트, 전/후 이미지 입력, 건물 수, 올바른 이미지 페어링입니다. 재난 발생 전 이미지만으로도 여전히 예측력이 유지되며, 주석이 달린 건물 수만 제공된 분류기도 0.629 및 0.653의 균형 정확도에 도달합니다. 전/후 특징(feature)을 결합하는 방식은 xView2에서는 평균적으로 가장 우수한 성능을 보이지만, BRIGHT에서는 재난 전 전용 특징에 비해 개선되지 않습니다. 동일한 재난 및 피해 등급 내에서 이미지 쌍을 셔플링(shuffling)해도 미미한 손실만 발생합니다. 이러한 발견에 착안하여, 학습(training) 재난에서만 학습된 특징 변환이 보지 못한 재난에 대한 일반화를 개선하는지 테스트합니다. 이러한 변환은 성능을 향상시키며, xView2에서는 지도 대조 학습(supervised contrastive learning)이, BRIGHT에서는 PCA가 가장 우수한 성능을 보였습니다. 본 연구 결과는 모델(model) 강건성을 평가하기 위해 보지 못한 도메인에서의 평가가 지니는 중요성을 강조하며, 단순한 특징 수준의 변환만으로도 일반화 성능을 향상시킬 수 있음을 보여줍니다. 코드와 실험은 https://github.com/alishibli97/gfm-shortcut-learning 에서 확인할 수 있습니다.

arXiv:2610.13818v1cs.LG공통 태그 Representation Learning, Contrastive Learning

TabMF: 정형 데이터 파운데이션 모델을 활용한 데이터셋 표현 학습

TabMF: Learning Dataset Representations with Tabular Foundation Models

지도학습 데이터셋의 표현(representation)은 데이터셋 검색 및 분포 변화(distribution shift) 모니터링과 같은 상위 수준의 머신러닝 작업을 지원합니다. 그러나 기존 접근 방식은 일반적으로 수작업으로 설계된 메타 피처나 표현 학습만을 위해 특별히 학습된 데이터셋 인코더에 의존합니다. 본 논문에서는 사전학습된 정형 데이터 파운데이션 모델(TFM)을 지도학습 데이터셋의 인코더로 재활용하는 프레임워크인 TabMF를 소개합니다. TabMF는 예측형 TFM에 구조를 고려한 데이터셋 수준의 리드아웃(readout)을 장착하고, 합성 지도학습 데이터셋의 확률적 뷰(stochastic view)에 대한 대조 사후 학습(contrastive post-training)을 사용하여 모델을 엔드투엔드로 적응시킵니다. TabICLv2 및 TabPFN-2.5에 TabMF를 적용하고, 미확인 실제 데이터셋을 대상으로 6개 작업에 걸쳐 도출된 표현을 평가합니다. 가중치를 고정한(frozen) 단순 TFM 리드아웃만으로도 경쟁력 있는 표현이 생성되며, 이는 예측 사전학습이 이미 상당한 수준의 데이터셋 차원 구조를 유도함을 시사합니다. 두 가지 TabMF 인코더는 평가된 학습 기반 및 고전적 데이터셋 표현 중 가장 강력한 종합 성능을 달성했으며, 특히 데이터셋 검색, 압축 벤치마크 구축, 분포 변화 심각도 평가에서 뛰어난 성과를 보였습니다.

arXiv:2610.03400v2cs.CV공통 태그 counterfactual, Contrastive Learning

엔트로피를 넘어서: 비디오 추론을 위한 자가 진단 다중 역할 토큰 최적화

Beyond Entropy: Self-Diagnostic Multi-Role Token Optimization for Video Reasoning

검증 가능한 보상을 활용한 강화학습은 멀티모달 추론을 크게 발전시켰으나, 모호한 토큰(token) 수준의 기여도 할당(credit assignment) 문제로 인해 여전히 근본적인 한계를 지닙니다. 높은 엔트로피를 지닌 토큰 휴리스틱은 가능성 탐험(exploration)을 촉진하지만, 이를 비디오 추론으로 단순 확장할 경우 모델이 고엔트로피 시각적 활성화에 지나치게 의존하게 되어 추론 과정이 불필요하게 길어지는 경향이 있습니다. 기여도 할당을 위해 반사실적(counterfactual) 기반 시각 토큰 위치 파악에 의존하는 대안적 접근법 역시 정답 도출을 위한 결정적인 추론 단서를 희생하면서 시각적 탐험을 과도하게 우선시하는 경향이 있어, 무의미한 시각적 뉘앙스로 인한 간섭을 심화시킵니다. 나아가 이러한 방법들은 학습(training) 중에 정책(policy)과 함께 동반 진화(co-evolve)하지 못하는 정적 반사실적 전략을 사용합니다. 본 논문에서는 신뢰할 수 있는 토큰 선택과 적응형 반사실적 개입을 공동 최적화하는 동반 진화 프레임워크인 DyCPO를 소개합니다. DyCPO는 다중 역할 의존성 지표를 구축하여 토큰 단위 대조 학습(contrastive learning)에서 시각적 탐험과 정답 관련성 발굴 간의 균형을 맞추는 동시에, 탐험 전용 필러(filler) 토큰과 거짓 시각적 노이즈를 억제합니다. DyCPO는 정적인 반사실적 사전 정보에 의존하는 대신, 모델의 성공 및 실패 롤아웃(rollout)으로부터 반사실적 신호를 동적으로 도출하여 자가 진단 분석과 정책에 맞춘 최적화 목표의 동반 진화를 가능하게 합니다. 복잡한 비디오 추론 및 일반적인 비디오 이해 벤치마크에 대한 광범위한 실험을 통해 일관된 성능 향상을 입증함으로써, DyCPO가 멀티모달 강화학습을 위한 견고한 토큰 수준 기여도 할당 패러다임임을 보여줍니다.

arXiv:2610.05711v1cs.LG공통 태그 Representation Learning, Contrastive Learning

사전학습 없이 픽셀로부터: 단일 모델에서의 생성 및 자기지도 표현 동시 학습

From Pixels, Without Pre-training: Joint Generative and Self-Supervised Representation Learning in One Model

강력한 이미지 생성 모델은 클래스 레이블로 조건화되거나, 고정된(frozen) 사전학습 인코더에 정렬되거나, 별도로 학습된 오토인코더를 기반으로 구축됩니다. 이는 효과적이지만 생성 성능이 지도학습이나 사전학습(pre-training)에 의존하게 됩니다. 즉, 레이블에 주석을 달아야 하며 타깃 도메인을 위해 인코더나 오토인코더를 사전학습해야 합니다. 본 연구에서는 단일 모델에서 생성 학습과 자기지도 표현 학습(self-supervised representation learning)을 동시에 수행하여, 레이블이나 사전학습 모델 없이도 자체 조건화된(self-conditioned) 생성을 가능하게 하는 방안을 탐구합니다. 이는 두 학습 목표가 서로 불일치하기 때문에 까다롭습니다. 대조 학습(contrastive learning)은 노이즈가 없는 증강 뷰(view)를 사용하여 대략적이고 불변하는 의미적 특징을 선호하는 반면, 플로우 매칭(flow matching)은 노이즈가 포함된 이미지를 입력받아 대조 학습이 버리는 미세한 디테일과 공간 배치를 보존해야 합니다. 본 연구에서는 플로우 타임스텝 및 임베딩(embedding)으로 조건화되는 단일 픽셀 공간 인코더를 핵심으로 하는 SCION(Self-conditioned Generation on Self-supervised representation)을 제안합니다. 표현 학습을 위해 이 조건화 임베딩은 이미지 전반에서 공유되는 학습 가능한 글로벌 벡터로 설정되며, 인코더의 [CLS] 토큰(token)은 대조 손실(loss)로 학습된 의미론적 표현을 산출합니다. 생성 학습(training)을 위해 조건화 임베딩은 해당 이미지 고유의 [CLS] 표현으로 주어지며, 패치 토큰들은 디코더를 거쳐 이미지를 예측합니다. 추론(inference) 시 참조 이미지 없이 샘플링할 수 있도록 임베딩에 대한 사전 분포(prior)도 함께 학습합니다. 그래디언트(gradient) 노름 밸런싱과 스톱 그래디언트(stop-gradient) 메커니즘을 통해 단일 실행으로 공동 최적화(optimization)가 가능합니다. SCION은 레이블이나 사전학습 모델이 전혀 필요 없는 자기지도 방식이자 독립적인(self-contained) 프레임워크입니다. ImageNet 256x256에서 JiT-B 레시피 및 표현 가이던스(guidance) 없이 SCION은 8.92 FID를 달성하여, 사전학습된 DINOv2에 정렬하는 클래스 무조건부 iREPA(46.44)와 이에 조건화되는 RCG(14.27)를 능가했습니다. JiT-L을 사용할 경우 SCION은 가이던스 없이 5.89 FID, 표현 가이던스 적용 시 3.47 FID를 기록하여 ADM 레시피를 적용한 RCG(6.24)의 성능을 뛰어넘었습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.