대규모 오디오 언어 모델(LALM)은 음성-텍스트 작업에서 우수한 성능을 달성하지만, 표준 오디오 인코더는 짧은 오디오 클립에 대해서도 수백 개의 토큰을 생성합니다. 셀프 어텐션(self-attention)이 시퀀스 길이에 대해 제곱으로 스케일링되기 때문에, 이는 추론(inference) 시점의 연산량을 크게 증가시킵니다. 현재의 학습이 필요 없는(training-free) 토큰 압축 방법들은 오직 거친(coarse) 어텐션 또는 특징(feature) 유사도에만 기반하여 토큰을 가지치기(pruning)하거나 병합합니다. 그러나 오디오 토큰을 일반적이고 등방성(isotropic)인 특징으로 취급하는 것은 스펙트럼 전이(spectral transition)를 평탄화시켜, 음성 디코딩에 필수적인 세밀한 음소 전이(phonetic transition)를 손상시킵니다. 반면, 음성 신호는 정보 밀도가 음향 전이(acoustic transition) 지점에서 정점을 이루는 매우 구조화된 시간적 패턴을 보입니다. 우리는 어텐션 기반 압축을 적용하기 전에 오디오 인코더의 표현 기하구조(representation geometry)를 토큰 중요도에 대한 음향적 사전 정보(prior)로 활용하는, 학습이 필요 없는 2단계 프레임워크인 AudioTETRIS를 제안합니다. AudioTETRIS는 인코딩 단계 이후에 인코더 구조를 버리는 대신, 이 사전 정보를 LLM 디코더로 직접 전파하여 토큰별 융합 점수(fused score)를 계산합니다. 이 점수는 추가적인 학습이나 보조 모델 없이 디코더 레이어 전반에 걸쳐 점진적인 top-$k$ 토큰 선택을 주도합니다. Qwen2-Audio-7B, Phi-4-Multimodal, Audio Flamingo 3에서 평가한 결과, AudioTETRIS는 오디오 토큰의 25%만을 사용하여 여러 음성 작업에서 거의 압축되지 않은 수준의 성능을 유지하며, 중간 수준의 압축률에서 전체 토큰 정확도와 동등하거나 이를 상회하고, 기존의 학습이 필요 없는 베이스라인들을 일관되게 능가합니다.
오디오 언어 모델은 어떻게 들리는지보다 무엇을 말하는지를 훨씬 더 잘 이해합니다. 이 간극을 좁히는 데는 단순한 데이터 이상의 것이 필요합니다. 상세한 음향 어노테이션은 비용이 많이 들고, 더 강력한 모델로부터 얻은 라벨은 해당 모델의 오류와 한계를 상속받으며, 고정된 데이터는 학습자가 개선됨에 따라 적응할 수 없습니다. 따라서 우리는 오디오 이해를 위한 재귀적 자가 개선(recursive self-improvement) 시스템인 EvoAudio를 제안합니다. 우리가 아는 한, 이는 모델, 파형(waveform), 질문, 난이도를 하나의 닫힌 루프(closed loop)에서 함께 진화시키는 최초의 시스템입니다. EvoAudio는 현재 모델의 성능을 활용하여 다음 학습 데이터의 초점과 난이도를 설정합니다. 그런 다음 오디오 툴 라이브러리가 오디오 제작 방식에 따라 답이 도출되는 질문을 구성하여, 새로운 인간 어노테이션 없이도 검증 가능한 감독(verifiable supervision)을 제공합니다. 강화학습(RL)이 모델을 업데이트하고, 검증을 통해 다음 진화 라운드로 진입할지 여부를 결정합니다. 13라운드에 걸쳐 EvoAudio는 MMSU, MMAU-Pro, MMAR에서 서로 다른 오디오 인코더와 언어 백본을 가진 5개 모델의 성능을 향상시킵니다. 모든 백본에 대해 가장 높은 평균을 달성하여 전반적인 성능을 최대 6.3점 끌어올립니다. 이러한 개선은 연속적인 라운드를 거치며 나타나며, 각각의 더 강력해진 모델이 다음 라운드를 시작합니다.
대규모 오디오 언어 모델(LALM)은 음향 이해에서 빠른 진전을 이루었지만, 여전히 세밀한 오디오 추론(예: 이벤트 순서, 반복, 지속 시간 인식)에 어려움을 겪고 있다. 기존 사후 학습 방법은 값비싼 외부 레이블에 크게 의존하거나 거친 의미적 신호만 제공한다. 이 격차를 메우기 위해, 우리는 LALM 분야에서 세밀한 청각 인지와 추론을 향상시키는 최초의 레이블 없는 자기 진화 프레임워크인 Audio-Zero를 제안한다. Audio-Zero는 레이블 없는 오디오 대조 쌍으로부터 청각 자기 대결(self-play) 게임을 구성한다: 대부분의 플레이어는 참조 오디오를 듣고, 한 명의 이상 청취자(odd listener)는 미묘한 변형을 듣는다. 모델은 먼저 들은 내용을 설명하는 단서를 생성한 다음, 단서들 간의 불일치를 추론하여 이상 청취자를 식별한다. 이상 청취자는 구조상 알려져 있으므로, 이 게임은 어떠한 주석 답변 없이도 검증 가능한 보상을 제공한다. Qwen2-Audio-7B-Instruct 및 Qwen2.5-Omni-7B를 TREA, MMAU Test-mini, MMAR에서 실험한 결과, Audio-Zero는 폭넓은 오디오 이해를 유지하면서 세밀한 오디오 추론을 향상시킨다. 진화 및 진단 분석은 더욱 세밀한 청각 서술이 게임의 압력으로부터 자연스럽게 창발함을 추가로 밝힌다.
최근 텍스트 음성 변환과 음성 복제의 발전으로 고품질 스푸핑이 저렴하고 확장 가능해지면서, 특히 자동 화자 검증(ASV)을 포함한 음성 인증 시스템에 위협이 되고 있다. 기존 방어 방법은 주로 딥페이스 탐지를 위한 이진 대응책(CM) 또는 스푸핑 인식 화자 검증(SASV)을 통해 이 위협에 대응하며, 현재 시스템은 모듈형 ASV-CM 융합 및 캐스케이드 파이프라인이 주를 이룬다. 대규모 오디오 언어 모델(LALM)은 CM 및 ASV를 포함한 관련 오디오 작업에서 가능성을 보였지만, 변별적 예측을 넘어 감사 및 견고성을 위한 자연어 근거를 생성할 수 있는 능력에도 불구하고 SASV에 대한 활용은 아직 탐구되지 않았다. 본 연구는 제로샷 프롬프팅, 지도 학습 적응, 추론 지향 학습, 강화학습 기반 최적화 조건에서 LALM을 기존 파이프라인과 비교하여 SASV에 대해 체계적으로 평가한다. 결과적으로 사전학습된 LALM은 제로샷 설정에서 거의 무작위 수준이어서 SASV에 본질적으로 적합하지 않음을 확인했지만, 태스크 특화 적응이 이 격차를 메운다. 또한 경쟁력 있는 SASV 성능은 여러 서로 다른 경로를 통해 달성될 수 있음을 발견했다. 이러한 결과는 LALM을 통합 SASV를 위한 유망하고 감사 가능한 기반으로 위치시키는 동시에, 기존 캐스케이드 시스템이 여전히 앞서는 영역을 명확히 한다.
대규모 오디오-언어 모델(LALM)은 음성 평가의 자동 심사자로 점점 더 많이 사용되고 있다. 그러나 인간 평가와의 높은 일치율이 그들의 판정이 오디오에 그라운딩(grounding)되어 있음을 보장하지는 않는다. 심사자는 대신 평가 프로토콜 자체가 제공하는 전문가 라벨이나 참조 데이터에 의존하여, 오디오를 듣는 대신 쇼트컷을 택할 수 있다. 본 논문에서는 세 가지 일반적인 배포 프로토콜—음향 특징의 구조화된 텍스트 설명으로 오디오를 대체하는 특징-블루프린트(feature-blueprint) 판정, 참조 조건(reference-conditioned) 판정, 쌍별 A/B 비교—에 걸쳐 LALM 심사자의 이러한 프로토콜 수준 '쇼트컷'을 감사한다. 여섯 개의 심사자와 네 가지 속성에 걸쳐, 여러 LALM이 프로토콜 수준 쇼트컷에 의존함을 확인한다. 예를 들어, 특징-블루프린트 판정에서 잘못된 전문가 라벨은 다섯 심사자의 감정 정확도를 0.10 이하로 낮추며, 연결된 A/B 비교에서 Qwen3-Omni-Thinking은 순서 교환과 관계없이 종종 동일한 슬롯을 선택한다. 이러한 결과는 집계 일치율이 LALM 심사자의 타당성을 과대평가할 수 있으며, 모델과 평가 프로토콜을 함께 평가해야 하고 각 모델-프로토콜 쌍은 대응하는 쇼트컷 프로브로 평가되어야 함을 시사한다.
긴 녹음에서의 시간적 그라운딩(temporal grounding)은 오디오 조건부 대규모 언어 모델(LLM)에게 여전히 어려운 과제이다. 우리는 최대 120분 분량의 입력에 대해 명시적 타임스탬프와 함께 질문에 답하는 시간 인식 오디오 LLM을 제안한다. 우리의 접근 방식은 캐스케이드 파이프라인을 통한 대규모 합성 지도 학습을 활용하여 주기적 시간 마커를 연속적 오디오 토큰과 교차 삽입한다. 제안 모델은 단기 및 장기 벤치마크에서 강력한 시간적 그라운딩 정확도를 달성하며, 시간 앵커 기반 구간 설명 및 요약을 지원한다. 광범위한 절제 실험(ablation)을 통해 시간 표현 방식, 마커 빈도, 토큰화, 지속 시간 혼합 설계가 정확도와 계산 비용에 미치는 영향을 분석한다. 시간 인식 오디오 이해에 관한 추가 연구를 지원하기 위해 모델 가중치와 데이터셋을 공개하며, https://huggingface.co/ai-sage/GigaChat3.1-Audio-10B-A1.8B 에서 이용 가능하다.
대규모 오디오-언어 모델(LALM)의 환각 문제를 해결하기 위해, 기존의 단순한 마스킹이나 노이즈 대신 시간, 스펙트럼, 주파수, 진폭 영역에 걸친 105개 변환으로 구성된 체계적인 퍼터베이션(perturbation) 라이브러리를 구축하고 대조적 디코딩(contrastive decoding)에 적용하였다. 최적 변환이 태스크별로 상이함을 실험적으로 확인하였으며, 모델의 히든 스테이트(hidden state)로 학습된 경량 선택기를 통해 예시별로 최적 네거티브 브랜치를 동적으로 라우팅하여 AH Existence 태스크에서 추가 +4.3% 성능 향상을 달성하였다.
오디오 대규모 언어 모델(Audio LLM)이 텍스트 프롬프트의 컨텍스트를 실제로 활용하는지 검증하기 위해, 8개 인도어·23개 전문 도메인·555명 화자의 자연 음성 56시간으로 구성된 IndicContextEval 벤치마크와 7단계(L0–L6) 점진적 프롬프트 프레임워크를 제안한다. 5개 모델 평가 결과 컨텍스트 활용 방식에 큰 차이가 있어, Audio LLM의 컨텍스트 그라운딩을 명시적으로 평가할 필요가 있음을 보여준다.
Recent Large Audio Language Models (LALMs) have achieved remarkable progress in audio perceptual tasks across individual acoustic layers, including speech, sound, and music. However, existing benchmarks predominantly evaluate these layers in isolation, overlooking the complex contextual relationships that arise when multiple acoustic sources co-occur in real-world auditory scenes. Real-world auditory interpretation requires Context-Aware Auditory Scene Understanding (CASU): the ability to comprehend the holistic scene by integrating sound layers. To evaluate this capability, we introduce the CASU benchmark, which assesses whether Audio LLMs can interpret auditory scenes composed of speech, acoustic events (e.g., announcements), and background environments (e.g., traffic), and reason about the logical relationships between these layers. We propose a scalable pipeline for constructing time-accurate, semi-synthetic audio streams by composing real-world scene sounds with synthetic speech. Building on this data, we design four tasks that probe scene understanding: contextual question answering, entity extraction from the scene, speaker role inference, and counterfactual reasoning where scene is manipulated. Experiments across multiple LALMs demonstrate that effective auditory scene understanding requires integration over all auditory layers, rather than reliance on speech or sound alone, underscoring the necessity of CASU for advancing complex audio understanding in LALMs.
텍스트 정렬 응답 학습으로 대규모 오디오 언어 모델(LALM)이 음운·운율·정서 등 세밀한 음향 정보를 잃는 문제를, 응답 생성 전 연속 잠재 사고 공간에서 오디오 전문가 지식 증류로 음향 정보를 정리하는 연속 오디오 사고(CoAT)로 해결한다. Qwen2-Audio, Qwen2.5-Omni-7B, Audio Flamingo 3에 적용해 오디오 추론·이해·음악 분류·음성 감정·전사 벤치마크에서 성능을 높였으며, 추가 자기회귀 디코딩 없이 단일 프리필로 동작한다.
대규모 오디오-언어 모델(LALM)은 다양한 오디오 이해 태스크에서 강력한 성능을 달성하지만, 인간의 청각 지각의 핵심인 기본적인 능력인 시간적 추론(temporal reasoning)에서는 여전히 어려움을 겪고 있습니다. 기존 벤치마크는 기저 메커니즘을 파헤치지 않고 성능 격차만을 보고하기 때문에, 이러한 실패의 원인을 이해하는 것은 여전히 어렵습니다. 이를 해결하기 위해, 우리는 메커니즘 분석을 위해 특별히 설계된 세 가지 기본 태스크에 걸쳐 1,657개의 질문을 포함하는 벤치마크를 소개합니다. 다양한 입력 설정(행동 분석)에 걸친 모델 출력을 검토한 결과, 텍스트 단서가 사용 가능할 때 모델이 오디오를 과소 활용하는 경우가 많다는 사실이 밝혀졌습니다. 또한, 우리는 LALM에서의 시간적 추론 실패에 대한 최초의 인과적 메커니즘 분석을 제공합니다. 어텐션 업웨이팅(upweighting)과 스케일링(scaling)을 비교한 결과, 오디오 어텐션을 증가시키는 것보다 오디오 토큰 전반에 걸쳐 어텐션을 재분배하는 것이 더 효과적임을 발견했습니다. 태스크 관련 토큰을 타겟팅하면 추가적인 이득을 얻을 수 있습니다. 이러한 발견은 모달리티 불균형만으로는 실패를 설명할 수 없음을 시사합니다. 병목 레이어에서의 어텐션 스케일링은 미세조정(fine-tuning) 없이 정확도를 55.9%에서 59.1%로 향상시켜, 향후 연구를 위한 유망한 방향을 보여줍니다.
오디오 언어 모델(ALM)은 음성 기반 이해를 위해 점점 더 많이 사용되고 있으나, 전사, 텍스트-오디오 검색, 캡셔닝, 질의응답 정확도를 넘어선 의미론적 추론 능력은 아직 충분히 벤치마킹되지 않았습니다. 특히, 악센트 변이, 도메인 이동, 의미론적 과도 추론이 오디오 추론에 미치는 영향은 잘 이해되지 않고 있습니다. 본 연구에서는 5가지 의미론적 및 언어외적 추론 작업(함의, 일관성, 타당성, 악센트 드리프트, 악센트 제약)에 걸쳐 오디오 언어 모델을 평가합니다. 종합적으로 이러한 작업들은 구어 오디오를 주요 증거 원천으로 활용하여 추론하는 모델의 능력을 평가합니다. 여기에는 텍스트 가설이 오디오를 통해 추론 가능한지, 모순되는지, 아니면 미정 상태로 남는지, 진술이 구어 내용과 일치하는지 충돌하는지, 담화를 고려했을 때 주장이 타당한지, 그리고 악센트 변이에 따라 모델 예측이 안정적으로 유지되거나 적절하게 제약되는지 여부가 포함됩니다. 이러한 연구 결과는 현재 오디오 추론 평가의 중요한 한계를 강조하며, 더 견고하고 공정한 ALM 설계 및 평가를 위한 지침을 제공하는 것을 목표로 합니다.
대규모 오디오 언어 모델(LALM)은 오디오 인코더와 대규모 오디오 데이터를 통해 대규모 언어 모델(LLM)을 확장한다. 그러나 고품질 주석 오디오 데이터의 부족은 스케일링의 근본적인 병목으로 남아 있다. 탐침 신호 검출 가능성 분석을 통해, 우리는 기반 LALM의 세밀한 스펙트로템포럴 지각 취약점을 식별한다. 이러한 문제를 해결하기 위해, 실제 오디오, 주석, 또는 사전학습된 생성 모델에 의존하지 않고 즉석에서 생성된 완전 합성 오디오 신호에 기반한 데이터 효율적인 미세조정 접근법인 Spectrotemporal Counting(SpectCount)을 제안한다. SpectCount는 관찰된 취약점을 해소할 뿐만 아니라, 미세조정 중에는 보지 못한 사운드, 음악, 음성을 아우르는 다양한 청각 벤치마크에서도 성능을 향상시킨다. 이러한 결과는 취약점을 표적으로 한 합성 신호가 LALM의 향상된 청각 이해 능력을 위한 데이터 효율적인 경로를 제공함을 시사한다.