대규모 오디오-언어 모델(LALM)은 점점 더 넓은 범위의 오디오 추론 과제에 활용되고 있다. 이러한 모델은 일반적으로 오디오 표현을 대규모 언어 모델(LLM) 백본에 통합하여 멀티모달 추론을 가능하게 한다. 최근 테스트 시점 강화학습(TTRL) 방법은 사전학습 이후 라벨 없는 테스트 데이터를 활용해 LLM의 추론 능력을 더욱 향상시킨다. 그러나 LALM의 지각(perceptual) 능력의 중요성, 특히 추론 과정에서 얼마나 많은 음향 증거가 통합·의존되는지, 그리고 이것이 최종 과제 성능에 어떻게 기여하는지는 여전히 충분히 탐구되지 않았다. 이러한 공백은 오디오 추론을 위한 TTRL과 같은 효과적인 사후 학습 방법의 개발을 제한한다. 본 연구에서는 먼저 추론 과정에서 오디오 정보가 어떻게 통합·활용되는지 분석한다. 층별 지각 의존도를 정량화하고, 더 강한 음향 의존이 더 높은 정확도 및 오디오 입력에 기인하는 더 큰 성능 향상과 연관됨을 보인다. 이를 바탕으로 라벨 없는 테스트 시점 최적화를 지각에 기반한 추론과 정렬하고, 모델이 추론을 오디오 입력에 더 강하게 구조화하도록 유도하는 Perception-Grounded TTRL(PG-TTRL)을 제안한다. LALM과 벤치마크에 걸친 실험에서 PG-TTRL은 기본 모델과 표준 TTRL 모두 대비 추론 성능을 일관되게 향상시키며, 테스트 시점 오디오 추론을 위한 지각 기반 최적화의 가치를 보여준다.
테스트 타임 스케일링(Test-Time Scaling)은 추론 연산량을 스케일링함으로써 복잡한 문제를 해결하는 데 뚜렷한 효과를 보여 왔다. 그러나 대규모 오디오-언어 모델(LALM)에서는 직관에 어긋나는 현상이 존재한다. 구조화된 추론 궤적을 목표로 사후 학습한 모델은 직접 답변을 목표로 사후 학습한 경우에 비해 이득이 미미하거나 오히려 음의 이득을 보인다. 이를 조사하기 위해, 오디오 추론 오류를 정밀하게 정량화하도록 설계된 평가 프레임워크 CAFE를 도입한다. 평가 결과, LALM은 추론 과정에서 지각(perception)에 어려움을 겪으며 중요한 병목에 직면함을 밝혔다. 추론 길이가 길어질수록 추론 성능이 오디오 지각 저하의 영향을 받는다. 이에 대응하여, 동적 지각 추론을 촉진하고 복잡한 질문을 지각 정보가 풍부한 하위 문제로 분해하는 패러다임 MPAR²를 제안한다. 강화학습을 활용한 MPAR²는 CAFE에서 지각 성능을 31.74%에서 63.51%로 높이고 지각 저하를 효과적으로 완화하며, 동시에 추론 능력을 강화하여 MMAU 벤치마크에서 74.59%의 정확도를 달성한다. 추가 분석은 MPAR²가 LALM이 오디오 입력에 주의를 기울이도록 강화하고, 과제 복잡도에 맞게 추론 예산을 동적으로 조절함을 보여준다.
기존 대규모 오디오-언어 모델(LALM) 평가 방식이 인지적 행동을 간과한다는 한계를 극복하기 위해 Cattell-Horn-Carroll(CHC) 인지 프레임워크에 기반한 RAIL 벤치마크를 제안한다. 26개의 최신 모델 평가를 통해 인지 능력별로 성능이 고르지 않음을 확인하고 오디오 지능의 인지 기반 평가를 위한 새로운 패러다임을 제시한다.