대규모 오디오-언어 모델(LALM)은 점점 더 넓은 범위의 오디오 추론 과제에 활용되고 있다. 이러한 모델은 일반적으로 오디오 표현을 대규모 언어 모델(LLM) 백본에 통합하여 멀티모달 추론을 가능하게 한다. 최근 테스트 시점 강화학습(TTRL) 방법은 사전학습 이후 라벨 없는 테스트 데이터를 활용해 LLM의 추론 능력을 더욱 향상시킨다. 그러나 LALM의 지각(perceptual) 능력의 중요성, 특히 추론 과정에서 얼마나 많은 음향 증거가 통합·의존되는지, 그리고 이것이 최종 과제 성능에 어떻게 기여하는지는 여전히 충분히 탐구되지 않았다. 이러한 공백은 오디오 추론을 위한 TTRL과 같은 효과적인 사후 학습 방법의 개발을 제한한다. 본 연구에서는 먼저 추론 과정에서 오디오 정보가 어떻게 통합·활용되는지 분석한다. 층별 지각 의존도를 정량화하고, 더 강한 음향 의존이 더 높은 정확도 및 오디오 입력에 기인하는 더 큰 성능 향상과 연관됨을 보인다. 이를 바탕으로 라벨 없는 테스트 시점 최적화를 지각에 기반한 추론과 정렬하고, 모델이 추론을 오디오 입력에 더 강하게 구조화하도록 유도하는 Perception-Grounded TTRL(PG-TTRL)을 제안한다. LALM과 벤치마크에 걸친 실험에서 PG-TTRL은 기본 모델과 표준 TTRL 모두 대비 추론 성능을 일관되게 향상시키며, 테스트 시점 오디오 추론을 위한 지각 기반 최적화의 가치를 보여준다.
최근 오디오-언어 모델은 어떤 말을 전사할 수 있는지뿐 아니라, 들은 내용 위에서 추론할 수 있는지—억양과 운율에 담긴 의미를 복원하고, 방언과 지역 언어를 구분하며, 문자 형태로는 열려 있는 모호성을 해소하는지—로도 평가받는다. 이러한 능력은 점점 늘어나는 오디오 추론 벤치마크 계열로 측정되지만, 거의 전부 영어와 일반 도메인 오디오에 한정되어 있다. 동남아시아(SEA)를 대상으로 하는 벤치마크는 대신 인식, 번역, 화용론적 분류 등 영어 과제 분류 체계를 그대로 물려받아, 모델이 SEA 음성을 ‘듣는지’를 시험할 뿐 그 음성으로부터 ‘추론할 수 있는지’는 시험하지 않는다. 우리는 SEA 음성 위에서 언어 및 오디오 추론 모델을 벤치마킹하기 위해 설계된 오디오 중심 질의응답 데이터셋 SEABED를 제안한다. SEABED는 실제로 공개된 SEA 음성 말뭉치만으로 구성된 여섯 가지 오디오 추론 과제 모음으로, 5,404개의 질문-답변 쌍을 제공한다. 우리는 최신 및 지역 특화 오디오 LLM 여섯 개를 평가했으며, 최첨단 모델인 Gemini 3.5 Flash조차 가중 평균 정확도 50.3%에 그쳤다. SEABED는 답변 정확도뿐 아니라, 모델이 제시한 추론이 오디오 근거에 그라운딩되어 있는지도 평가한다. 벤치마크 데이터 샘플은 다음에서 확인할 수 있다: https://huggingface.co/datasets/CentificAIResearch/SEABED.
테스트 타임 스케일링(Test-Time Scaling)은 추론 연산량을 스케일링함으로써 복잡한 문제를 해결하는 데 뚜렷한 효과를 보여 왔다. 그러나 대규모 오디오-언어 모델(LALM)에서는 직관에 어긋나는 현상이 존재한다. 구조화된 추론 궤적을 목표로 사후 학습한 모델은 직접 답변을 목표로 사후 학습한 경우에 비해 이득이 미미하거나 오히려 음의 이득을 보인다. 이를 조사하기 위해, 오디오 추론 오류를 정밀하게 정량화하도록 설계된 평가 프레임워크 CAFE를 도입한다. 평가 결과, LALM은 추론 과정에서 지각(perception)에 어려움을 겪으며 중요한 병목에 직면함을 밝혔다. 추론 길이가 길어질수록 추론 성능이 오디오 지각 저하의 영향을 받는다. 이에 대응하여, 동적 지각 추론을 촉진하고 복잡한 질문을 지각 정보가 풍부한 하위 문제로 분해하는 패러다임 MPAR²를 제안한다. 강화학습을 활용한 MPAR²는 CAFE에서 지각 성능을 31.74%에서 63.51%로 높이고 지각 저하를 효과적으로 완화하며, 동시에 추론 능력을 강화하여 MMAU 벤치마크에서 74.59%의 정확도를 달성한다. 추가 분석은 MPAR²가 LALM이 오디오 입력에 주의를 기울이도록 강화하고, 과제 복잡도에 맞게 추론 예산을 동적으로 조절함을 보여준다.
대규모 오디오 언어 모델(LALM)은 음향 이해에서 빠른 진전을 이루었지만, 여전히 세밀한 오디오 추론(예: 이벤트 순서, 반복, 지속 시간 인식)에 어려움을 겪고 있다. 기존 사후 학습 방법은 값비싼 외부 레이블에 크게 의존하거나 거친 의미적 신호만 제공한다. 이 격차를 메우기 위해, 우리는 LALM 분야에서 세밀한 청각 인지와 추론을 향상시키는 최초의 레이블 없는 자기 진화 프레임워크인 Audio-Zero를 제안한다. Audio-Zero는 레이블 없는 오디오 대조 쌍으로부터 청각 자기 대결(self-play) 게임을 구성한다: 대부분의 플레이어는 참조 오디오를 듣고, 한 명의 이상 청취자(odd listener)는 미묘한 변형을 듣는다. 모델은 먼저 들은 내용을 설명하는 단서를 생성한 다음, 단서들 간의 불일치를 추론하여 이상 청취자를 식별한다. 이상 청취자는 구조상 알려져 있으므로, 이 게임은 어떠한 주석 답변 없이도 검증 가능한 보상을 제공한다. Qwen2-Audio-7B-Instruct 및 Qwen2.5-Omni-7B를 TREA, MMAU Test-mini, MMAR에서 실험한 결과, Audio-Zero는 폭넓은 오디오 이해를 유지하면서 세밀한 오디오 추론을 향상시킨다. 진화 및 진단 분석은 더욱 세밀한 청각 서술이 게임의 압력으로부터 자연스럽게 창발함을 추가로 밝힌다.