arXiv:2609.22260v1 cs.MM

오디오 언어 모델에서 거부 방향(Refusal Direction)의 인과적 위치 규명

Causal Localization of the Refusal Direction in Audio Language Models

Leonardo Haw-Yang Foo, Hung-yi Lee

제출 2026-09-22

한국어 초록

대규모 오디오 언어 모델(LALM)은 이미 안전성 정렬(safety alignment)이 이루어진 텍스트 언어 모델(LM)에 음성 프런트 엔드를 결합한 구조이다. 이러한 모델이 유해한 음성 요청을 거부할 때, 그 거부는 프런트 엔드가 담당하는 것일까, 아니면 텍스트 LM으로부터 물려받은 것일까? 우리는 이를 인과적 개입(causal intervention)으로 검증한다. 각 모델의 오디오-LM 인터페이스와 테스트한 LM 잔차 층(residual layer)에서 유해 프롬프트와 무해 프롬프트를 구분하는 방향을 적합시키고, 해당 방향의 성분을 제거(ablation)한 뒤, 그에 따른 모델의 첫 토큰 거부 마진(refusal margin) 변화를 측정한다. 다섯 개 모델 중 네 개는 보류된(held-out) 범주 변화 조건에서 평가된다. 세 가지 백본 계열에 걸친 다섯 개의 LALM 가운데 세 개 모델이 기준선 안전성 게이트를 통과했으며, 이들에서 테스트한 효과 중 가장 큰 효과는 LM의 중간~후반 구간에서 나타난 반면, 테스트한 인터페이스 방향의 제거는 거의 영향을 미치지 않았다. Qwen2.5-Omni에서 L16 방향을 제거하면 마진이 -7.10 변하는 반면, 프로젝터에서는 -0.013 변한다. 그럼에도 오디오 경로는 여전히 사용되고 있다. 인코더 출력을 0으로 만들면 마진이 -4.7 변한다. 같은 모델에서, 단일 층 제거의 영향이 거의 없는 초기 층에서도 이 대비(contrast)는 선형적으로 디코딩될 수 있으며, LM 백본만으로 적합시킨 방향은 전체 오디오 모델로 전이된다. 유해 프롬프트와 무해 프롬프트는 형식 면에서도 다르기 때문에, 우리는 이 방향을 유해성에 특화된 것이 아니라 거부와 연관된(refusal-linked) 것으로 해석한다. 이러한 개입은 거부 마진의 의존성이 위치한 곳을 규명하는 것이며, 거부가 계산되는 위치를 규명하는 것은 아니다. 또한 마진을 움직이더라도 모델이 실제로 생성하는 내용이 항상 바뀌는 것은 아니다. 이러한 모델의 안전성 감사는 프로브(probe)에만 의존하지 말고 개입을 활용해야 하며, 오디오 인터페이스와 함께 물려받은 텍스트 LM도 함께 살펴보아야 한다.

원문 초록

A large audio language model (LALM) attaches a speech front end to a text language model (LM) that is already safety-aligned. When such a model refuses a harmful spoken request, is the refusal carried by the front end, or inherited from the text LM? We test this with causal interventions. At each model's audio-to-LM interface and at tested LM residual layers, we fit a direction separating harmful from benign prompts, ablate its component, and measure the resulting change in the model's first-token refusal margin. Four of the five models are evaluated under held-out category shift. Across five LALMs spanning three backbone families, with three models passing a baseline safety gate, the largest tested effects occur in a mid-to-late LM band, while ablations of the tested interface directions have little effect. On Qwen2.5-Omni, ablating the L16 direction changes the margin by -7.10, versus -0.013 at the projector. The audio pathway is still in use: zeroing the encoder output changes the margin by -4.7. In the same model, the contrast is linearly decodable at an early layer where single-layer ablation has little effect, and a direction fitted on the LM backbone alone transfers to the full audio model. Because harmful and benign prompts also differ in form, we interpret the direction as refusal-linked rather than harmfulness-specific. These interventions localize dependence of the refusal margin, not where refusal is computed. Moving the margin also does not always change what the model writes. Safety audits of these models should use interventions rather than rely on probes alone, and should examine the inherited text LM alongside the audio interface.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.22260v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.