오디오 언어 모델은 어떻게 들리는지보다 무엇을 말하는지를 훨씬 더 잘 이해합니다. 이 간극을 좁히는 데는 단순한 데이터 이상의 것이 필요합니다. 상세한 음향 어노테이션은 비용이 많이 들고, 더 강력한 모델로부터 얻은 라벨은 해당 모델의 오류와 한계를 상속받으며, 고정된 데이터는 학습자가 개선됨에 따라 적응할 수 없습니다. 따라서 우리는 오디오 이해를 위한 재귀적 자가 개선(recursive self-improvement) 시스템인 EvoAudio를 제안합니다. 우리가 아는 한, 이는 모델, 파형(waveform), 질문, 난이도를 하나의 닫힌 루프(closed loop)에서 함께 진화시키는 최초의 시스템입니다. EvoAudio는 현재 모델의 성능을 활용하여 다음 학습 데이터의 초점과 난이도를 설정합니다. 그런 다음 오디오 툴 라이브러리가 오디오 제작 방식에 따라 답이 도출되는 질문을 구성하여, 새로운 인간 어노테이션 없이도 검증 가능한 감독(verifiable supervision)을 제공합니다. 강화학습(RL)이 모델을 업데이트하고, 검증을 통해 다음 진화 라운드로 진입할지 여부를 결정합니다. 13라운드에 걸쳐 EvoAudio는 MMSU, MMAU-Pro, MMAR에서 서로 다른 오디오 인코더와 언어 백본을 가진 5개 모델의 성능을 향상시킵니다. 모든 백본에 대해 가장 높은 평균을 달성하여 전반적인 성능을 최대 6.3점 끌어올립니다. 이러한 개선은 연속적인 라운드를 거치며 나타나며, 각각의 더 강력해진 모델이 다음 라운드를 시작합니다.
대규모 오디오 언어 모델(LALM)은 연속형 특징(continuous features) 또는 이산형 토큰(discrete tokens)을 활용하지만, 범용 오디오 이해를 위한 최적의 표현 패러다임에 대해서는 여전히 논쟁이 이어지고 있습니다. 기존 벤치마크는 좁은 도메인에 초점을 맞추거나 LALM 문맥 외부에서 인코더를 평가하는 경우가 많습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 음성(speech), 음향(sound), 음악 전반에 걸쳐 연속형 및 이산형 표현을 체계적으로 평가합니다. SmolLM2-135M부터 Llama-3-8B에 이르는 모델 규모에 걸쳐 이중 평가 전략을 갖춘 UniARC 프레임워크를 활용하여, 데이터양, 모델 용량 및 계산 효율성 간의 동적 관계를 분석합니다. 실험 결과, 오디오 이해를 위한 토큰화에서 의미론적 제약(semantic constraints)이 중추적인 역할을 한다는 점을 밝혀냈으며, 백본 스케일링이 특히 데이터가 제한된 태스크에서 오디오 표현의 정보 손실을 보상하지 못함을 입증합니다. 이러한 발견은 향후 LALM에서 의미론적 밀도(semantic density), 충실도(fidelity), 효율성 간의 균형을 맞추기 위한 실질적인 지침을 제공합니다.
오디오북 나레이션의 음향적 특성(음조, 속도, 음량 등)이 청취 어필도에 미치는 영향을 LibriVox의 8,854편 오디오북 데이터를 통해 최초로 대규모 계산 분석한 연구로, eGeMAPSv02·YAMNet·Whisper 등 사전학습 모델로 추출한 음향 피처가 장르 및 작품 효과를 통제한 후에도 소비 지표(view-rate)와 유의미한 연관성을 보임을 통계적으로 입증했다.
텍스트 정렬 응답 학습으로 대규모 오디오 언어 모델(LALM)이 음운·운율·정서 등 세밀한 음향 정보를 잃는 문제를, 응답 생성 전 연속 잠재 사고 공간에서 오디오 전문가 지식 증류로 음향 정보를 정리하는 연속 오디오 사고(CoAT)로 해결한다. Qwen2-Audio, Qwen2.5-Omni-7B, Audio Flamingo 3에 적용해 오디오 추론·이해·음악 분류·음성 감정·전사 벤치마크에서 성능을 높였으며, 추가 자기회귀 디코딩 없이 단일 프리필로 동작한다.
대규모 오디오 언어 모델(LALM)은 오디오 인코더와 대규모 오디오 데이터를 통해 대규모 언어 모델(LLM)을 확장한다. 그러나 고품질 주석 오디오 데이터의 부족은 스케일링의 근본적인 병목으로 남아 있다. 탐침 신호 검출 가능성 분석을 통해, 우리는 기반 LALM의 세밀한 스펙트로템포럴 지각 취약점을 식별한다. 이러한 문제를 해결하기 위해, 실제 오디오, 주석, 또는 사전학습된 생성 모델에 의존하지 않고 즉석에서 생성된 완전 합성 오디오 신호에 기반한 데이터 효율적인 미세조정 접근법인 Spectrotemporal Counting(SpectCount)을 제안한다. SpectCount는 관찰된 취약점을 해소할 뿐만 아니라, 미세조정 중에는 보지 못한 사운드, 음악, 음성을 아우르는 다양한 청각 벤치마크에서도 성능을 향상시킨다. 이러한 결과는 취약점을 표적으로 한 합성 신호가 LALM의 향상된 청각 이해 능력을 위한 데이터 효율적인 경로를 제공함을 시사한다.