이산형 vs. 연속형: LALM의 통합 오디오 이해에 관한 종합적 연구
Discrete vs. Continuous: A Comprehensive Study of Unified Audio Understanding in LALMs
대규모 오디오 언어 모델(LALM)은 연속형 특징(continuous features) 또는 이산형 토큰(discrete tokens)을 활용하지만, 범용 오디오 이해를 위한 최적의 표현 패러다임에 대해서는 여전히 논쟁이 이어지고 있습니다. 기존 벤치마크는 좁은 도메인에 초점을 맞추거나 LALM 문맥 외부에서 인코더를 평가하는 경우가 많습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 음성(speech), 음향(sound), 음악 전반에 걸쳐 연속형 및 이산형 표현을 체계적으로 평가합니다. SmolLM2-135M부터 Llama-3-8B에 이르는 모델 규모에 걸쳐 이중 평가 전략을 갖춘 UniARC 프레임워크를 활용하여, 데이터양, 모델 용량 및 계산 효율성 간의 동적 관계를 분석합니다. 실험 결과, 오디오 이해를 위한 토큰화에서 의미론적 제약(semantic constraints)이 중추적인 역할을 한다는 점을 밝혀냈으며, 백본 스케일링이 특히 데이터가 제한된 태스크에서 오디오 표현의 정보 손실을 보상하지 못함을 입증합니다. 이러한 발견은 향후 LALM에서 의미론적 밀도(semantic density), 충실도(fidelity), 효율성 간의 균형을 맞추기 위한 실질적인 지침을 제공합니다.