Qwen3.8-Omni: 네이티브 옴니모달 에이전트를 향하여
Qwen3.8-Omni: Towards Native Omni-Modal Agents
본 논문에서는 실제 환경의 멀티모달 생산성을 위해 설계된 네이티브 멀티모달 에이전트(agent) 모델인 Qwen3.8-Omni-Flash를 소개한다. 주로 인식과 상호작용에 집중했던 기존 옴니 모델들과 비교하여, Qwen3.8-Omni-Flash는 멀티모달 이해 및 추론뿐만 아니라 긴 호흡의(long-horizon) 에이전트 태스크 성능을 대폭 향상했다. 이러한 능력은 강력한 텍스트 도메인 성능을 보존하는 동시에 텍스트에서 오디오 및 비디오 태스크로의 에이전트 능력 전이를 촉진하는 네이티브 멀티모달 공동 학습(co-training) 전략을 통해 뒷받침된다. 이 모델은 Qwen3.8-Next의 희소 전문가 혼합(sparse MoE) 아키텍처를 계승하고 컨텍스트 윈도우(context window)를 100만 토큰(token)으로 확장하여, 긴 컨텍스트의 멀티모달 추론 및 장기적 계획 수립(long-horizon planning)을 지원한다. 이러한 발전 덕분에 본 모델은 주요 에이전트나 특화된 서브 에이전트로서 프로덕션 워크플로에 통합되어, 비디오 편집, 장문 오디오 및 비디오 번역, 음악 기반 뮤직비디오 또는 영화 생성, 비디오 기반 메모 작성이나 옴니 스킬(omni-skill) 생성을 지원할 수 있다. 기존 에이전트 하네스(harness)에서 네이티브 오디오 및 비디오 지원이 부족한 문제를 해결하기 위해, 멀티모달 생산성을 지원하는 경량 오픈소스 플러그인 프레임워크인 Qwen-MM-Plugins를 공개한다. 나아가 실시간 멀티모달 상호작용을 컨텍스트 및 메모리 관리, 도구 사용, 서브 에이전트 위임의 오케스트레이션을 필요로 하는 시스템 수준의 과제로 정의한다. 이에 따라 Qwen3.8-Omni-Flash 기반의 반응형 실시간 멀티모달 에이전트를 구축하기 위한 오픈소스 프레임워크인 Qwen-Live-Harness를 공개한다. 광범위한 평가(evaluation)를 통해 Qwen3.8-Omni-Flash가 멀티모달 이해, 추론, 긴 호흡의 에이전트 실행 및 비디오 생산성 태스크 전반에 걸쳐 강력한 성능을 달성함을 입증한다. 이러한 결과와 함께 제공되는 오픈소스 도구들은 Qwen3.8-Omni-Flash가 연구 및 프로덕션 환경에서 네이티브 멀티모달 에이전트를 배포하기 위한 실용적인 기반임을 뒷받침한다.