공동 오디오-비디오(AV) 생성기는 \emph{사건이 어떻게 보이는지}와 \emph{어떻게 들리는지}가 허위로 상관된 데이터로 학습된다. 우리는 그로 인한 실패 양상에 대한 \emph{통제된 인과 연구}를 제시한다. 오디오가 구조적으로 비디오의 방해(nuisance) 외관과 독립인 AV 구조 인과 모델에서, 크로스 어텐션이나 공유 잠재를 통해 오디오가 비디오를 직접 읽도록 허용하는 모델은 \emph{시각적 지름길}을 학습한다: 인과적 사건이 아니라 외관으로부터 소리를 예측하며, 테스트 시 외관-사건 상관이 깨지면 잘못된 사건의 소리를 합성한다. 중요하게도, 두 모달리티를 \emph{공유 공통-원인 잠재}로 라우팅하는 널리 쓰이는 처방은 이를 \emph{고치지 못한다}—병목, 비지도 공유/사적 분해, 충실한 공유 사전 모델 모두 외관 대리(proxy)를 붙잡아 직접 연결 모델처럼 실패한다. 지름길을 차단하려면 대신 방해 요인에 대한 \emph{개입}이 필요하다: 명시된 가정 하에서 반사실 불변성이 인과 예측자를 식별하기 위해 필요충분함을 증명하고, 특징 벡터 SCM에서 절차적 픽셀 비디오, 스펙트로그램 오디오가 붙은 실제 이미지, 움직이는 실제 숫자, 조건부 생성기에 이르기까지 메커니즘을 검증한다. \emph{실제 사전학습} V2A 생성기(MMAudio)에서 입력-개입 테스트는 모델이 소리와 무관한 편집에 대해 불변에 훨씬 못 미침을 보여 주지만, 일반 노이즈 대조는 색상 지름길에 특화되기보다 입력에 전반적으로 취약함을 드러낸다—지름길의 깨끗한 분리는 우리의 합성 연구가 제공하는 통제된 교란(confound)이 필요하다. 지름길이 \emph{언제} 발생하는지 특성화하고, 목적 함수를 지도 반사실 증강과 비교하며, 개입을 적용할 수 없는 \emph{미지의 방해 요인} 영역을 핵심 미해결 문제로 격리한다.
편향된 데이터셋으로 학습된 파운데이션 모델은 종종 목표 레이블과 비인과적 속성 사이의 허위 상관관계에 의존하여 소수 그룹에서 일반화 성능이 저하된다. 바이어스 완화는 두 가지 근본적인 문제로 인해 여전히 어렵다. 첫째, 그룹 레이블을 사용할 수 없을 때, 기존의 그룹 비지도(group-unsupervised) 방법들은 일반적으로 모델 행동에서 허위 속성을 암묵적으로 추론하기 때문에, 실제 바이어스와 의미적으로 부합하는 허위 요인을 식별하기 어렵다. 둘째, 유사 허위 지도(pseudo spurious supervision)가 있는 경우에도 기존의 대부분 디바이어싱 방법들은 단일 공유 특징 공간 내에서 동작하는 단일 브랜치 설계를 따르며, 해당 공간에서 목표 속성과 허위 속성이 본질적으로 얽혀 있다. 첫 번째 문제를 해결하기 위해, 우리는 확산 분리(diffusion-disentangled)된 의미론적 기반 개념 표현을 활용하여 속성 어노테이션 없이 신뢰할 수 있는 허위 속성을 식별하는 신뢰도 기반 바이어스 개념 마이닝(CBCM, Confidence-guided Bias Concept Mining)을 도입한다. 두 번째 문제를 해결하기 위해, 목표 표현과 허위 표현을 두 브랜치로 분리하고 교차 영공간 투영(cross null-space projection)을 통해 허위 정보를 명시적으로 제거하는 동시에 목표 관련 의미론을 보존하는 프롬프트 튜닝 프레임워크인 이중 브랜치 교차 투영 디바이어싱(DCD, Dual-branch Cross-projection Debiasing)을 제안한다. 네 개의 벤치마크 데이터셋에 대한 광범위한 실험에서, 우리의 방법은 모델 파라미터의 최대 0.22%만을 튜닝하면서 그룹 비지도 접근법 중 최고 수준의 최저 그룹 정확도(worst group accuracy)를 달성함을 보인다. 소스 코드는 보충 자료에서 확인할 수 있다.
머신러닝 모델의 강건성은 입력 데이터의 비인과적 특성과 타겟 레이블 사이의 허위 상관관계(spurious correlation)에 의해 저하될 수 있다. 이러한 상관관계를 검증하는 일반적인 방법은 레이블이 특정 비인과적 단서와 강하게 연결된 데이터로 학습한 후, 그 연결이 더 이상 성립하지 않는 예시에서 평가하는 것이다. 이 아이디어는 분류 태스크에서 잘 정립되어 있으나, 시맨틱 세그멘테이션에서의 구체적인 실패 양상은 아직 충분히 이해되지 않았다. 본 논문에서는 객체 경계가 대부분 올바르더라도 모델이 하나의 그럴듯한 전경 클래스를 다른 클래스로 교체하는 방식으로, 즉 잘못된 의미론적 레이블을 할당하면서도 합리적인 겹침(overlap)을 달성할 수 있음을 보인다. 우리는 이러한 의미론적 레이블 플립(label-flip) 동작에 집중하고, 정답 전경 픽셀이 전경으로 예측된 상태를 유지하면서 잘못된 전경 클래스로 할당되는 빈도를 측정하는 간단한 진단 지표(Flip)로 이를 정량화한다. 학습 중 카테고리와 장면이 상관되는 설정에서, 상관관계가 증가할수록 일반 테스트 조건과 희귀 테스트 조건 간의 격차가 일관되게 벌어지고, 반사실적(counterfactual) 그룹에서 객체 내 레이블 교체가 증가함을 확인한다. 종합적으로, 본 연구의 결과는 전경 오류를 올바른 픽셀, 플립된 클래스 픽셀, 배경으로 누락된 픽셀로 분해함으로써 겹침 지표를 넘어선 분포 이동(distribution shift) 하에서의 세그멘테이션 강건성 평가의 필요성을 촉구한다. 또한 전경 클래스 불확실성으로부터 계산되며 정답 레이블이 필요 없는 엔트로피 기반의 '플립 위험(flip-risk)' 점수를 제안하고, 이것이 추론 시점에 플립이 발생하기 쉬운 케이스를 표시할 수 있음을 보인다. 코드는 https://github.com/acharaakshit/label-flips 에서 제공된다.