EvoAudio: 오디오 이해를 위한 재귀적 자가 개선
EvoAudio: Recursive Self-Improvement for Audio Understanding
한국어 초록
오디오 언어 모델은 어떻게 들리는지보다 무엇을 말하는지를 훨씬 더 잘 이해합니다. 이 간극을 좁히는 데는 단순한 데이터 이상의 것이 필요합니다. 상세한 음향 어노테이션은 비용이 많이 들고, 더 강력한 모델로부터 얻은 라벨은 해당 모델의 오류와 한계를 상속받으며, 고정된 데이터는 학습자가 개선됨에 따라 적응할 수 없습니다. 따라서 우리는 오디오 이해를 위한 재귀적 자가 개선(recursive self-improvement) 시스템인 EvoAudio를 제안합니다. 우리가 아는 한, 이는 모델, 파형(waveform), 질문, 난이도를 하나의 닫힌 루프(closed loop)에서 함께 진화시키는 최초의 시스템입니다. EvoAudio는 현재 모델의 성능을 활용하여 다음 학습 데이터의 초점과 난이도를 설정합니다. 그런 다음 오디오 툴 라이브러리가 오디오 제작 방식에 따라 답이 도출되는 질문을 구성하여, 새로운 인간 어노테이션 없이도 검증 가능한 감독(verifiable supervision)을 제공합니다. 강화학습(RL)이 모델을 업데이트하고, 검증을 통해 다음 진화 라운드로 진입할지 여부를 결정합니다. 13라운드에 걸쳐 EvoAudio는 MMSU, MMAU-Pro, MMAR에서 서로 다른 오디오 인코더와 언어 백본을 가진 5개 모델의 성능을 향상시킵니다. 모든 백본에 대해 가장 높은 평균을 달성하여 전반적인 성능을 최대 6.3점 끌어올립니다. 이러한 개선은 연속적인 라운드를 거치며 나타나며, 각각의 더 강력해진 모델이 다음 라운드를 시작합니다.
원문 초록
Audio language models understand what is said far better than how it sounds. Closing this gap takes more than data. Detailed acoustic annotation is costly, labels from stronger models inherit their errors and limits, and fixed data cannot adapt as the learner improves. We therefore propose EvoAudio, a recursive self-improvement system for audio understanding. To our knowledge, it is the first to evolve the model, waveforms, questions, and difficulty in one closed loop. EvoAudio uses the current model's performance to set the focus and difficulty of the next training data. A library of audio tools then constructs questions whose answers follow from how the audio was made, providing verifiable supervision without new human annotation. Reinforcement learning updates the model, and validation decides whether it enters the next evolution round. Across 13 rounds, EvoAudio improves five models with different audio encoders and language backbones on MMSU, MMAU-Pro, and MMAR. It achieves the highest average for every backbone, raising overall performance by up to 6.3 points. The improvement unfolds over successive rounds, with each stronger model starting the next round.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.27389v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
최첨단 추론 데이터 생성을 위한 재귀적 하네스 자기 개선
Recursive Harness Self-Improvement for Frontier Reasoning Data Synthesis
점진적으로 더 어려운 추론 문제를 생성하려면 태스크 분포가 진화함에 따라 적응하는 합성 절차가 필요합니다. 기존의 태스크 수준 재귀는 생성된 문제를 시드(seed)로 재사용하지만 구축 하네스(construction harness)는 변경하지 않고 그대로 유지합니다. 본 논문에서는 추론 데이터 합성에서 재귀적 하네스 자기 개선(recursive harness self-improvement, RSI)을 위한 프레임워크인 태스크-하네스 공진화(task-harness co-evolution)를 제안합니다. 온라인 자기 개선은 생성 과정 중 솔버(solver)의 중간 실패를 재사용 가능한 스킬로 변환합니다. 사후(post-task) 자기 개선은 각 배치 이후 스킬, 프롬프트, 워크플로를 수정하며, 제한된 비용 증가 범위 내에서 더 어렵고 유효한 태스크를 생성할 때만 후보를 채택합니다. 모델 가중치와 검증 기준은 고정된 상태로 유지됩니다. 수학, 코딩, 과학 전반에서 14회의 진화 라운드에 걸쳐 평균 솔버 정확도가 100.0%에서 54.8%로 감소합니다. 어블레이션 연구에 따르면 두 업데이트 일정을 결합할 경우 고정 하네스 재귀나 단일 일정만을 사용할 때보다 더 어려운 태스크가 생성됨을 보여줍니다. 이렇게 생성된 데이터는 다운스트림 SFT 및 GRPO 성능을 향상시킵니다. 특히 합성된 1만 개의 수학 예제로 파인튜닝(fine-tuning)된 27B 학생 모델은 APEX에서 62.5%의 mean-16 정확도를 달성하여 일부 최첨단(frontier) 참조 모델과 경쟁력 있는 성능을 보입니다. 이러한 결과는 다운스트림 학습 가치를 지닌 점점 더 도전적인 데이터를 생성하기 위해 태스크와 함께 합성 하네스를 적응시키는 방식을 뒷받침합니다.
AREX: 심층 연구를 위한 재귀적 자기 개선 에이전트
AREX: Towards a Recursively Self-Improving Agent for Deep Research
심층 연구(deep research)는 에이전트가 여러 제약을 동시에 충족하는 답을 찾아야 한다. 이러한 답을 발견하는 것은 비용이 크지만, 후보를 검증하는 작업은 종종 처리 가능한 제약별 검사로 분해할 수 있다. 이러한 발견-검증 비대칭은 연구 에이전트가 단순히 더 오래 검색하는 것 이상을 해야 함을 시사한다. 중간 결과를 검증하고 부분적으로 검증된 상태를 이용해 이후 정제를 안내함으로써 현재 답을 재귀적으로 개선해야 한다. 우리는 재귀적 자기 개선(RSI) 심층 연구 에이전트 계열인 AREX를 제안한다. AREX는 증거를 수집하고 잠정적 답을 구성하는 내부 연구 루프와, 답을 제약별로 감사하고 미해결 주장을 식별하며 표적 후속 연구를 시작하는 외부 자기 개선 루프를 번갈아 수행한다. 긴 수평에 걸쳐 RSI를 유지하기 위해 AREX는 외부 모델에 의존하지 않고, 검증된 증거와 미해결 제약을 보존하는 압축된 개선 상태로 증가하는 상호작용 이력을 압축하는 자율적 컨텍스트 업데이트 도구를 학습한다. 우리는 에이전트 중간 학습(agentic mid-training)과 장기간 강화학습을 통해 검증된 합성 과제와 고품질 궤적(trajectory)으로 AREX를 학습한다. 장기간 학습 동안 희소한 최종 보상을 완화하기 위해, 결정적 증거가 확보되거나 잘못된 연구 방향이 수정되는 핵심 단계를 강조한다. 우리는 dense 4B 모델과 122B-A10B 전문가 혼합(MoE) 모델을 구현한다. BrowseComp, WideSearch, DeepSearchQA, Humanity's Last Exam(HLE) 및 기타 추론·도구 사용 벤치마크에서 AREX는 유사 규모 베이스라인을 크게 능가하며, 훨씬 더 많은 활성 파라미터를 사용하는 모델과도 경쟁력을 유지한다.
Audio-Zero: 세밀한 오디오 추론을 위한 레이블 없는 자기 진화
Audio-Zero: Label-Free Self-Evolution for Fine-Grained Audio Reasoning
대규모 오디오 언어 모델(LALM)은 음향 이해에서 빠른 진전을 이루었지만, 여전히 세밀한 오디오 추론(예: 이벤트 순서, 반복, 지속 시간 인식)에 어려움을 겪고 있다. 기존 사후 학습 방법은 값비싼 외부 레이블에 크게 의존하거나 거친 의미적 신호만 제공한다. 이 격차를 메우기 위해, 우리는 LALM 분야에서 세밀한 청각 인지와 추론을 향상시키는 최초의 레이블 없는 자기 진화 프레임워크인 Audio-Zero를 제안한다. Audio-Zero는 레이블 없는 오디오 대조 쌍으로부터 청각 자기 대결(self-play) 게임을 구성한다: 대부분의 플레이어는 참조 오디오를 듣고, 한 명의 이상 청취자(odd listener)는 미묘한 변형을 듣는다. 모델은 먼저 들은 내용을 설명하는 단서를 생성한 다음, 단서들 간의 불일치를 추론하여 이상 청취자를 식별한다. 이상 청취자는 구조상 알려져 있으므로, 이 게임은 어떠한 주석 답변 없이도 검증 가능한 보상을 제공한다. Qwen2-Audio-7B-Instruct 및 Qwen2.5-Omni-7B를 TREA, MMAU Test-mini, MMAR에서 실험한 결과, Audio-Zero는 폭넓은 오디오 이해를 유지하면서 세밀한 오디오 추론을 향상시킨다. 진화 및 진단 분석은 더욱 세밀한 청각 서술이 게임의 압력으로부터 자연스럽게 창발함을 추가로 밝힌다.
스푸핑 인식 화자 검증을 위한 대규모 오디오 언어 모델
Large Audio Language Models for Spoofing-Aware Speaker Verification
최근 텍스트 음성 변환과 음성 복제의 발전으로 고품질 스푸핑이 저렴하고 확장 가능해지면서, 특히 자동 화자 검증(ASV)을 포함한 음성 인증 시스템에 위협이 되고 있다. 기존 방어 방법은 주로 딥페이스 탐지를 위한 이진 대응책(CM) 또는 스푸핑 인식 화자 검증(SASV)을 통해 이 위협에 대응하며, 현재 시스템은 모듈형 ASV-CM 융합 및 캐스케이드 파이프라인이 주를 이룬다. 대규모 오디오 언어 모델(LALM)은 CM 및 ASV를 포함한 관련 오디오 작업에서 가능성을 보였지만, 변별적 예측을 넘어 감사 및 견고성을 위한 자연어 근거를 생성할 수 있는 능력에도 불구하고 SASV에 대한 활용은 아직 탐구되지 않았다. 본 연구는 제로샷 프롬프팅, 지도 학습 적응, 추론 지향 학습, 강화학습 기반 최적화 조건에서 LALM을 기존 파이프라인과 비교하여 SASV에 대해 체계적으로 평가한다. 결과적으로 사전학습된 LALM은 제로샷 설정에서 거의 무작위 수준이어서 SASV에 본질적으로 적합하지 않음을 확인했지만, 태스크 특화 적응이 이 격차를 메운다. 또한 경쟁력 있는 SASV 성능은 여러 서로 다른 경로를 통해 달성될 수 있음을 발견했다. 이러한 결과는 LALM을 통합 SASV를 위한 유망하고 감사 가능한 기반으로 위치시키는 동시에, 기존 캐스케이드 시스템이 여전히 앞서는 영역을 명확히 한다.
Spatial-IQ: 계층적 능력 테스트를 통한 공간 지능 분해
Spatial-IQ: Deconstructing Spatial Intelligence via Hierarchical Capability Tests
다중모달 대규모 언어 모델(MLLM)은 시각 해석에는 뛰어나지만, 인간이 안정적으로 풀 수 있는 공간 추론 과제에서는 실패한다. 기존 벤치마크는 이러한 모델을 블랙박스로 평가하여 낮은 성능의 근본 원인을 식별하는 능력을 제한한다. 모델이 공간 추론 과제에서 실패할 때, 그 장애가 객체 경계 인식과 같은 지각(perceptual) 문제인지, 가려짐에 대해 추론하여 숨겨진 기하를 추론하는 것과 같은 인지(cognitive) 문제인지 판별하기 어렵다. 우리는 Spatial-IQ를 제안한다. 이는 쌓인 3D 구조에서의 객체 개수 세기를 인간 공간 인지의 발달 단계에 따라 구성된 9개의 지각·인지 하위 과제로 분해하는 계층적 진단 프레임워크이며, 정신 회전(mental rotation)을 추가 목표 프로브로 포함한다. NVIDIA Isaac Sim을 사용하여 과제별 ground truth를 갖춘 약 80,000개의 다양한 쌓인 3D 구조 데이터셋을 절차적으로 생성했다. 자유 응답 텍스트, 객관식 이미지, 이미지 편집의 세 가지 출력 형식과 인간 기준선을 함께 사용하여 모델을 평가한다. Spatial-IQ 프레임워크는 최고 성능 모델이 종종 목표 과제(객체 개수 세기)를 뒷받침하도록 의도된 하위 수준 하위 과제에는 성공하지 못한 채 목표 과제에서 성공하는 경우가 많으며, 모델마다 이러한 계층적 연쇄를 얼마나 유지하는지가 다르다는 것을 보여준다. 이는 목표 과제 정확도만으로는 드러나지 않을 지름길(shortcut) 행동을 종종 드러낸다. 마지막으로, 계층적 하위 과제에 대한 사고의 연쇄(Chain-of-Thought, CoT) 감독과 검증 가능 보상을 이용한 강화학습을 결합하여 모델을 학습하면, 하위 과제 간 공간적 일관성과 목표 과제 정확도가 모두 크게 향상됨을 보여준다. 이는 제안한 분해가 진단 도구이자 학습 신호 모두로서 가치 있음을 뒷받침한다.
VideoGen-Agent: 비디오 생성 에이전트 강화
VideoGen-Agent: Reinforcing Video Generation Agents
토론
이 논문과 연결된 포럼 글이 아직 없습니다.