SLAM-ASR 음성 인식 모델의 유도 헤드 기원
Induction Head Origins of SLAM-ASR Speech Recognition Models
한국어 초록
인코더 상태를 고정된 언어 모델의 임베딩 공간으로 보내는 작은 학습된 사상(map)이 경쟁력 있는 음성 인식에 충분한 이유는 무엇인가? SLAM-ASR 아키텍처의 전제는 고정된 언어 모델이 인식 과제를 수행하기에 충분히 풍부한 언어 지식을 지닌다는 것이다. 이 가정은 합리적이지만, 이러한 모델의 기저 메커니즘에 대한 통찰은 거의 제공하지 못한다. 따라서 본 연구는 이 모델들이 의존하는 구체적인 내부 구조를 탐구한다. 본 연구는 SLAM-ASR 모델이 고정된 언어 모델의 유도 헤드(induction head)에 의존함을 보인다. 텍스트에서 반복되는 토큰 시퀀스를 복사하는 바로 그 헤드가 음성 임베딩을 전사 토큰으로 사상하는 데에도 중요하다. 더 나아가, 제한된 형태의 차분 어텐션(differential attention)처럼 동작하여 어텐션 잡음을 상쇄하고 이전에 생성된 단어에 대한 어텐션을 선명하게 하는 헤드 쌍을 발견하였다. 마지막으로, 잡음이 있는 오디오에서 유도 헤드를 활용하여 전사 품질을 향상시킬 수 있음을 보인다.
원문 초록
What makes a small trained map from encoder states to the embedding space of a frozen language model sufficient for competitive speech recognition? The premise of the SLAM-ASR architecture is that a frozen language model possesses linguistic knowledge rich enough to perform the recognition task. This assumption, while reasonable, provides little insight into the mechanisms underlying these models. We therefore seek the concrete internal structures on which they rely. This work shows that SLAM-ASR models rely on induction heads of the frozen language model: the same heads that copy repeated token sequences in text are also important for mapping speech embeddings to transcript tokens. Moreover, we find pairs of heads that behave as a constrained form of differential attention, cancelling attention noise and sharpening attention onto the previously generated word. Finally, we show how induction heads could be used to improve transcription quality under noisy audio.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24721v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.