PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2603.13768v2cs.SD

대규모 오디오 언어 모델에서 오디오-텍스트 융합의 인과 추적

Causal Tracing of Audio-Text Fusion in Large Audio Language Models

다양한 과제에서 대규모 오디오 언어 모델(LALM)이 강한 성능을 보임에도, 음향 특징과 텍스트 문맥을 정확히 어떻게·어디에서 통합하는지는 여전히 불명확하다. 우리는 오디오 이해 과정에서 LALM의 내부 정보 흐름을 조사하기 위해 인과 추적(causal tracing)을 적용한다. DeSTA, Qwen, Voxtral에 걸쳐 층별 및 토큰별 분석을 수행함으로써 개별 은닉 상태의 인과적 효과를 평가한다. 층별 분석은 DeSTA의 점진적 통합부터 Qwen의 급격한 후기 단계 융합에 이르까지 서로 다른 융합 전략을 규명한다. 토큰별 분석은 최종 시퀀스 토큰이 정보 병목으로 작용하며, 네트워크가 오디오로부터 관련 정보를 결정적으로 회수하는 지점임을 보여준다. 또한 중간 토큰 위치에서 어텐션과 유사한 쿼리 메커니즘이 관찰되며, 이는 모델이 과제 관련 오디오 문맥을 끌어오도록 유발한다. 이러한 발견은 LALM 내부에서 다중 모달 통합이 언제·어디서 일어나는지에 대한 명확한 특성화를 제공한다.