생체음향학(bioacoustics)과 행동학(ethology)은 광범위한 오디오 이해 과제를 포괄하며, 이들 중 다수는 대규모 오디오-언어 모델의 최근 발전으로부터 혜택을 받을 수 있습니다. 그러나 지금까지 이 분야의 발전은 종 및 울음소리 유형 분류와 같이 라벨 중심의 생물학적 범주 인식에 주로 초점을 맞춘 좁은 범위의 과제에서만 평가되어 왔습니다. 본 연구에서는 음향 인지, 생물학적 범주 인식, 장면 이해, 문맥 내 학습(ICL)에 걸친 생체음향학 과제 분류 체계에 기반한 벤치마크인 BEANS-Next를 소개합니다. BEANS-Next를 통해 기존 모델들이 기존 평가에서 강조된 과제군을 벗어나면 제한적인 성능을 보이며, 이로 인해 더 폭넓은 생체음향학 응용 분야에서의 유용성이 제약된다는 점을 보여줍니다. 이러한 더 넓은 과제 영역에서의 발전을 지원하기 위해, 확장 큐레이션된 실제 데이터와 이전에 충분히 활용되지 않았던 행동 및 음향 메타데이터를 기반으로 구축되고, 라벨링이 불충분한 경우 오디오 파생 정보 및 확장 가능한 합성 생성으로 보완된 대규모 학습(training) 자원인 ROOTS를 함께 소개합니다. 이 데이터셋(dataset)으로 학습하면 BEANS-Next의 모든 과제 그룹에 걸쳐 상당한 진전이 이루어져, 오디오-언어 모델이 생체음향학 및 행동학을 위한 범용 보조 도구로서의 잠재력에 한층 더 다가설 수 있음을 입증합니다. 해당 분야의 발전을 가속화하기 위해 벤치마크, 데이터셋, 데이터 파이프라인을 오픈 소스로 공개합니다.
오디오-언어 모델(ALM)은 언어 모델에 인코딩된 지식과 음향 인지를 통합하여 청각 이벤트의 문맥적 이해를 가능하게 한다. 메모리와 연산이 제한된 기기에서 이러한 능력을 실용화하려는 목표가 200M 매개변수 미만의 소형 ALM에 대한 우리의 초점을 이끈다. 우리는 아키텍처, 데이터, 3단계 학습을 결합한 레시피를 제안하여 159.3M 매개변수 ALM인 Mizar를 구축한다. 그 아키텍처는 컴팩트한 CED-Small 오디오 인코더를 주파수 병합(frequency-merging) 매퍼를 통해 SmolLM2-135M에 연결한다. ReasonAQA, AudioMCQ, AVQA에서의 지도(supervision)를 바탕으로 모델은 3단계 학습을 거친다: 오디오-언어 정렬(1단계), 오디오 의존 미세조정(2단계), 학습된 능력을 유지하면서 약한 기술을 강화하는 것을 목표로 한 사후 학습(3단계). 5개의 무작위 시드에 걸쳐 Mizar는 MMAU에서 평균 정확도 52.92%, MMAR에서 42.42%, ADQA-clean에서 36.02%를 달성하여 세 벤치마크 모두에서 200M 매개변수 미만 ALM 중 이전 최고 성능을 능가한다. 또한 단일 CPU에서 로컬 추론을 지원한다. MMAU 벤치마크 질문에 대해 오디오 파일을 연 시점부터 완전한 답변을 생성할 때까지의 평균 지연 시간은 1.09초이다. 코드와 체크포인트는 https://github.com/KaiyangLi1992/Mizar_159M 에서 이용할 수 있다.
대규모 오디오-언어 모델은 청각 인지에서 놀라운 진전을 이루었지만, 고품질 오디오 추론 데이터의 부족으로 인해 텍스트 기반 대규모 언어 모델(LLM)에 비해 깊은 논리적 추론에서는 여전히 뒤처진다. 이 격차를 메우기 위해, 우리는 강력한 텍스트 교사 모델로부터 오디오-언어 학생 모델로 추론 능력을 전달하는 교차 모달(cross-modal) 온-정책 지식 증류 프레임워크인 X$^3$-OPD를 제안한다. 학습 중 학생 모델은 자체 음향 인지에 조건화된 추론 궤적을 생성하고, 교사는 매칭된 텍스트 입력과 검증된 답변을 사용하여 토큰 수준의 지도를 제공한다. 또한 우리는 음성으로 변환된 텍스트 추론, 복잡한 음향 장면에 기반한 오디오 이벤트 추론, 그리고 초언어적(paralinguistic) 단서를 포함하는 구어 대화 추론을 포괯하는 3단계 대칭 코퍼스를 구축한다. 이 설계는 교차 모달 증류를 텍스트로 복원 가능한 콘텐츠를 넘어 비언어적 이벤트, 운율(prosody), 대화 맥락에 기반한 추론까지 확장한다. MMSU, MMAU, BIG Bench Audio, MMAR에서의 실험은 X$^3$-OPD가 도메인 이동(domain shift) 하에서 모델의 기존 능력을 대체로 유지하면서 오디오 기반 추론과 사고의 연쇄(Chain-of-Thought) 품질을 크게 향상시킴을 보여준다.
오디오-언어 모델(ALM)의 프롬프트 학습이 베이스 클래스 정확도를 높이는 대신 노벨 클래스 성능을 저하시키는 일반화 격차 문제를 해결하기 위해, ZEBRA는 제로샷 로짓 퓨전과 자기 엔트로피 정규화(self-entropy regularization)를 결합한 플러그앤플레이 프레임워크를 제안한다. 추가 학습 파라미터 없이 기존 프롬프트 학습 방법 위에 적용 가능하며, 다수의 오디오 분류 데이터셋 실험에서 베이스 클래스 성능을 유지하면서 노벨 클래스 성능을 일관되게 향상시켜 베이스-투-노벨 격차를 크게 줄였다.
음악 오디오-언어 모델이 이진(binary) 악기 존재 여부 QA에서 높은 정확도를 달성하더라도 이것이 실제 오디오 그라운딩을 반영하는지 불분명하다는 문제를 지적하며, OpenMIC-2018 기반의 다축(multi-axis) 진단 벤치마크 시퀀스(장르 사전 축소, 혼동 악기 식별, 긴 컨텍스트 다중 레이블 인식, 시간적 로컬라이제이션)를 구축해 평가했다. 실험 결과, 이진 QA 정확도가 높은 모델들도 선택지 위치 편향(option-position bias), 악기 혼동 오류, 시간적 응답 편향 등 다양한 실패 패턴을 보였으며, 단일 집계 정확도 대신 다축 진단 벤치마크로 평가해야 함을 시사한다.
대규모 오디오-언어 모델(LALMs)은 오디오 이해에 탁월하지만, 오디오 신호 내에서 어디에 어텐션을 기울이는지는 거의 드러내지 않습니다. 우리는 오디오를 고정한 상태에서 서로 다른 인스트럭션이 포함된 프롬프트들의 활성화(activation)를 대조하여 조종 벡터를 구축하는 인스트럭션 기반 벡터 조종을 소개합니다. LALM 어텐션에 대한 체계적인 탐색을 통해, 우리는 표준 프롬프팅이나 오디오 기반 조종과 달리 이 개입이 오디오 토큰에 할당된 시간적 어텐션을 상당히 재분배하여 음향적으로 관련 있는 영역에 집중시킨다는 것을 발견했습니다. 그 후 우리는 이 어텐션 변화가 행동적으로 의미 있음을 보여줍니다: 제어된 세 가지 사건 설정에서, 조종에 의해 유발된 최대 어텐션 변화의 시간적 위치를 읽어오는 것은 추가 학습 없이 질의된 사운드 이벤트의 위치를 복원하며, Qwen2-Audio 및 Audio Flamingo 3에서 각각 60.87%와 68.72%의 정답 구간(ground-truth intervals)과의 중첩률을 달성하여 직접 프롬프팅(31.84%, 46.75%) 및 무작위 기준선(27.74%)보다 훨씬 높은 성능을 보였습니다. 우리의 결과는 LALM에서 인스트럭션 기반 조종의 기계적 속성을 특성화하고, 이 모델들이 인코딩하는 잠재적 시간 구조를 위한 학습이 필요 없는 프로브(probe)를 제공합니다.