Qwen3.8-Omni: 네이티브 옴니모달 에이전트를 향하여
Qwen3.8-Omni: Towards Native Omni-Modal Agents
한국어 초록
본 논문에서는 실제 환경의 멀티모달 생산성을 위해 설계된 네이티브 멀티모달 에이전트(agent) 모델인 Qwen3.8-Omni-Flash를 소개한다. 주로 인식과 상호작용에 집중했던 기존 옴니 모델들과 비교하여, Qwen3.8-Omni-Flash는 멀티모달 이해 및 추론뿐만 아니라 긴 호흡의(long-horizon) 에이전트 태스크 성능을 대폭 향상했다. 이러한 능력은 강력한 텍스트 도메인 성능을 보존하는 동시에 텍스트에서 오디오 및 비디오 태스크로의 에이전트 능력 전이를 촉진하는 네이티브 멀티모달 공동 학습(co-training) 전략을 통해 뒷받침된다. 이 모델은 Qwen3.8-Next의 희소 전문가 혼합(sparse MoE) 아키텍처를 계승하고 컨텍스트 윈도우(context window)를 100만 토큰(token)으로 확장하여, 긴 컨텍스트의 멀티모달 추론 및 장기적 계획 수립(long-horizon planning)을 지원한다. 이러한 발전 덕분에 본 모델은 주요 에이전트나 특화된 서브 에이전트로서 프로덕션 워크플로에 통합되어, 비디오 편집, 장문 오디오 및 비디오 번역, 음악 기반 뮤직비디오 또는 영화 생성, 비디오 기반 메모 작성이나 옴니 스킬(omni-skill) 생성을 지원할 수 있다. 기존 에이전트 하네스(harness)에서 네이티브 오디오 및 비디오 지원이 부족한 문제를 해결하기 위해, 멀티모달 생산성을 지원하는 경량 오픈소스 플러그인 프레임워크인 Qwen-MM-Plugins를 공개한다. 나아가 실시간 멀티모달 상호작용을 컨텍스트 및 메모리 관리, 도구 사용, 서브 에이전트 위임의 오케스트레이션을 필요로 하는 시스템 수준의 과제로 정의한다. 이에 따라 Qwen3.8-Omni-Flash 기반의 반응형 실시간 멀티모달 에이전트를 구축하기 위한 오픈소스 프레임워크인 Qwen-Live-Harness를 공개한다. 광범위한 평가(evaluation)를 통해 Qwen3.8-Omni-Flash가 멀티모달 이해, 추론, 긴 호흡의 에이전트 실행 및 비디오 생산성 태스크 전반에 걸쳐 강력한 성능을 달성함을 입증한다. 이러한 결과와 함께 제공되는 오픈소스 도구들은 Qwen3.8-Omni-Flash가 연구 및 프로덕션 환경에서 네이티브 멀티모달 에이전트를 배포하기 위한 실용적인 기반임을 뒷받침한다.
원문 초록
We introduce Qwen3.8-Omni-Flash, a natively multimodal agentic model for real-world multimodal productivity. Compared with previous omni models, which primarily emphasized perception and interaction, Qwen3.8-Omni-Flash substantially improves multimodal understanding and reasoning, as well as performance on long-horizon agentic tasks. These capabilities are supported by a native multimodal co-training strategy that preserves strong text-domain capabilities while facilitating the transfer of agentic capabilities from text to audio and video tasks. The model inherits the sparse mixture-of-experts (MoE) architecture of Qwen3.8-Next and extends the context window to one million tokens, supporting long-context multimodal reasoning and long-horizon planning. These advances enable integration into production workflows as a primary agent or a specialized sub-agent, supporting video editing, long-form audio and video translation, music-conditioned music video or movie generation, and video-based note or omni-skill creation. To address the lack of native audio and video support in existing agent harnesses, we release Qwen-MM-Plugins, a lightweight open-source plugin framework for multimodal productivity. We further frame real-time multimodal interaction as a system-level challenge requiring orchestration of context and memory management, tool use, and sub-agent delegation. Accordingly, we release Qwen-Live-Harness, an open-source framework for building responsive, real-time multimodal agents based on Qwen3.8-Omni-Flash. Extensive evaluations demonstrate that Qwen3.8-Omni-Flash achieves strong performance across multimodal understanding, reasoning, long-horizon agentic execution, and video productivity tasks. These results and the accompanying open-source tools support Qwen3.8-Omni-Flash as a practical foundation for deploying natively multimodal agents in research and production.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.25611v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
독립적 최적화를 넘어서: 멀티모달 엣지 인텔리전스에서 압축, MoE 라우팅, 양자화의 상호작용
Beyond Independent Optimization: Compression, MoE Routing, and Quantization Interactions in Multimodal Edge Intelligence
효율적인 멀티모달 추론은 모델 품질이나 FLOP 수뿐 아니라, 지연 시간·메모리·에너지 제약 하에서 멀티모달 표현을 보존·이동·라우팅·캐싱·양자화하는 비용에 의해서도 점점 더 제약받고 있다. 본 논문은 효율적인 비전-언어 및 멀티모달 대규모 언어 모델의 최근 발전을 검토하며, 시각 토큰 압축, 비디오 토큰 관리, KV-cache 최적화, 전문가 혼합(MoE) 라우팅, 저비트 양자화, 엣지 배포, 하드웨어 인식 벤치마킹을 다룬다. 우리는 이러한 기법들을 독립적인 최적화로 취급할 수 없다고 주장한다. 시각 토큰 압축은 하류 특징 분포와 MoE 라우팅 결정을 변경하고, 라우팅 동작은 전문가 활용률과 양자화 민감도에 영향을 미치며, 양자화된 라우터 로짓은 전문가 할당에 영향을 주고, KV-cache 정책은 보존되는 멀티모달 증거를 결정하며, 하드웨어 제약은 종종 계산 절감을 메모리 및 통신 병목으로 전환한다. 우리는 이러한 상호작용을 중심으로 문헌을 정리하고, 정확도 대 토큰 예산, 정적 대 적응형 압축, 희소 라우팅 효율성 대 전문가 붕괴, 저비트 추론 대 모달리티별 성능 저하 등 핵심 설계 트레이드오프를 식별한다. 마지막으로, 비디오 MoE 모델에 대한 진단 도구로 Temporal Routing Consistency를 제안하고, 라우팅 인식 압축, 교차 모달 캐시 관리, 하드웨어 인식 공동 설계, 멀티모달 엣지 인텔리전스를 위한 통합 벤치마킹 등의 미해결 연구 방향을 강조한다.
MoAKE: 동작 지식 전문가 혼합을 통한 통합 올인원 동작 품질 평가
MoAKE: Toward Unified All-in-One Action Quality Assessment via Mixture of Action Knowledge Experts
동작 품질 평가(AQA)는 동작 영상으로부터 수행 품질을 객관적으로 평가하는 것을 목표로 한다. 기존 대부분의 방법은 각 동작 유형마다 별도의 모델을 학습하는 '하나씩(one-by-one)' 패러다임을 따른다. 이 설정은 해당 모델을 선택하기 위해 사전에 동작 유형 지식이 필요하고, 다양한 동작에 걸친 일반화 성능이 낮아 실세계 배포를 제한한다. 이러한 한계를 해결하기 위해, 우리는 단일 통합 모델 내에서 이질적인 동작을 평가하는 것을 목표로 하는 도전적인 올인원 AQA 과제를 연구한다. 우리는 동작 간 큰 의미적 차이로 인한 부정적 지식 전이를 완화하도록 설계된 새로운 동작 지식 전문가 혼합(MoAKE) 프레임워크를 제안한다. MoAKE는 공유 의미 공간 내에서 다양한 동작 패턴을 포착하는 상보적 전문가들을 학습하고, 그들의 지식을 동적으로 집계하여 입력 동작에 맞게 평가를 적응시킨다. 각 전문가는 가변적인 시간 길이를 처리하기 위해 세그먼트 인식 프로토타입으로 맞춤화되며, 다중 세분성 시간 역학을 모델링하기 위한 적응형 세그먼트 내·세그먼트 간 관계 모델링(AIISRM) 모듈과 함께 구성된다. 더 나아가, 우리는 올인원 및 제로샷/퓨샷 AQA를 위한 포괄적인 벤치마크를 구축한다. 세 개의 장기 데이터셋에 대한 광범위한 실험은 MoAKE가 올인원 설정에서 기존 방법들을 크게 능가함을 보여주며, 제로샷/퓨샷 평가 하에서 세 개의 단기 데이터셋에서도 일관된 일반화 성능을 달성한다. 코드는 https://github.com/XuHuangbiao/MoAKE 에서 제공된다.
Hy-Embodied-VLM-1.0: 효율적인 물리 세계 에이전트
Hy-Embodied-VLM-1.0: Efficient Physical-World Agents
유능한 체화(embodied) 에이전트를 구축하려면 다중모달 지각과 이해 뿐 아니라, 행동에 대한 추론, 변화하는 상황에 대한 적응, 물리 세계와의 상호작용을 위한 agentic 역량도 필요합니다. 본 보고서에서는 물리 세계에서 동작하는 체화 에이전트를 위해 특별히 설계된 효율적이고 강력한 체화 기반 모델(foundation model) Hy-Embodied-VLM-1.0을 소개합니다. 이러한 역량을 사전학습 단계부터 함양하기 위해, 우리는 세 가지 점진적 차원으로 구성된 행동 중심 역량 분류체계를 정의합니다: Action-Relevant State Understanding(행동 관련 상태 이해), Action-Transition Reasoning(행동 전이 추론), Sequential and Adaptive Reasoning(순차 및 적응적 추론). 이 분류체계를 바탕으로 체계적인 데이터 파이프라인을 개발하고 사전학습과 사후 학습 모두를 아우르는 데이터 혼합을 구축합니다. 지연에 민감한 배포를 지원하면서도 강력한 물리 세계 이해 및 상호작용 역량을 제공하기 위해, 우리는 Hy3-A3B 언어 백본과 Hy-ViT2 비전 인코더 위에 모델을 구축합니다. 효율적인 전문가 혼합(MoE) 아키텍처는 강력한 모델 용량과 높은 추론 효율을 결합합니다. Hy-Embodied-VLM-1.0을 체화 지각, 물리 세계 이해, 체화 추론을 포괄하는 38개 벤치마크 종합 세트에서 평가했습니다. 해당 모델은 38개 벤치마크 중 19개에서 유사 규모 모델 중 최고 성능을 달성했으며, Qwen3.6-A3B 및 Cosmos 3을 포함한 강력한 경쟁 모델들을 크게 상회합니다. 이전 세대 Hy-Embodied-0.5 MoT-2B와 비교했을 때 Hy-Embodied-VLM-1.0은 평균 성능을 8.4% 향상시켰습니다. 단 3B개의 파라미터만 활성화함에도, 32B개의 활성화 파라미터를 가진 이전 세대 모델에 근접한 성능을 달성합니다. 정적 벤치마크 평가를 넘어 Hy-Embodied-VLM-1.0은 다중 턴 상호작용과 장기 추론이 필요한 체화 agentic 과업에서도 강력한 성능을 보여줍니다.
Peak-End-Net: 피크-엔드 규칙(peak-end rule)에서 영감을 받은 일반화 가능한 비디오 미적 평가 프레임워크
Peak-End-Net: A Peak-End Rule Inspired Framework for Generalizable Video Aesthetic Assessment
비디오 미적 평가(VAA)는 비디오가 미적으로 얼마나 만족스러운지 예측하는 것을 목표로 하지만, 다른 시각 평가 작업에 비해 훨씬 덜 탐구되어 왔다. 그 발전은 대규모 벤치마크(benchmark)의 부족뿐 아니라, 인간 지각에 의해 형성되는 미적 판단의 내재적 주관성에 의해서도 저해된다. 본 논문에서는 심리학적 관점에서 VAA를 재검토하고, 사람들이 시간적 경험을 주로 두드러진 순간(salient moments)과 끝(end)에 따라 판단하는 경향이 있다고 제안하는 피크-엔드 규칙에서 영감을 받은 경량이며 해석 가능한 프레임워크인 Peak-End-Net을 제안한다. 이 직관에 기반하여, 먼저 사전학습된 IAA 헤드를 도입하여 프레임별 미적 사전 신호(aesthetic priors)를 생성함으로써 이미지 미적 평가(IAA)에서 VAA로 지식을 전이한다. 이는 미적으로 두드러진 순간을 식별하고 피크-엔드 규칙 기반 시간적 집계(temporal aggregation)를 안내하는 대리 신호(surrogate signals) 역할을 한다. 또한 비디오가 시간에 따라 미적으로 어떻게 변화하는지 더 포착하기 위해, 고립된 순간을 넘어 시간적 진행(temporal progression)을 모델링하는 미적 리듬 인코더(aesthetic rhythm encoder)를 설계한다. 또한 분포 이동(distribution shift) 하에서의 견고성(robustness)을 향상시키기 위해 동적 게이트 융합(dynamic gated fusion) 메커니즘을 통해 전체 평가를 정제한다. 우리 방법은 고정된 비전 트랜스포머(ViT) 위에 구축되며, 학습 가능한 매개변수가 소량만 필요하여 확장 가능하고 매개변수 효율적(parameter-efficient)이다. VADB에서의 도메인 내(in-domain) 평가와 DIVIDE-3K에서의 교차 도메인(cross-domain) 테스트를 포함한 두 기존 VAA 벤치마크에 대한 광범위한 실험은, 우리 접근법이 최신(state-of-the-art) 성능을 달성함을 보여주며, VAA를 위한 심리학적 기반(psychologically grounded) 모델링의 가치를 확인한다. 코드와 모델은 https://github.com/AMAP-ML/Peak-End-Net 에서 이용할 수 있다.
DispatchRAG: 교통사고 영상으로부터 실세계 프로토콜에 기반한 긴급 출동 결정의 그라운딩
DispatchRAG: Grounding Emergency Dispatch Decisions in Real-World Protocols from Traffic Accident Video
FOLIO: 스트리밍 비디오 이해를 위한 집중 의미 기억
FOLIO: Focused Semantic Memory for Streaming Video Understanding
온라인 스트리밍 비디오 이해에서는 비디오 스트림이 계속 도착하고 질의가 언제든지 발생할 수 있다. 스트리밍 프레임이 무한히 증가하기 때문에, 시스템은 미래 프레임과 미래 질의가 알려지지 않은 상태에서 관측된 비디오 접두 문맥의 정보를 지속적으로 압축하고 보존해야 한다. 핵심 과제는 어떤 정보를 보존하고 유지된 이력을 어떻게 구성할지 결정하는 것이다. 스트림에 따라 이력이 커질수록 메모리 비용이 증가하고 많은 중복 시각적 세부 사항이 보존되는 반면, 이후 질의는 종종 특정 개체, 행동 및 그들의 시간적 변화에 의존한다. 이 과제를 해결하기 위해, 우리는 스트림의 중요한 부분을 더 높은 상세도로 기록하면서 주변 컨텍스트는 압축적으로 유지하는 학습 불필요 집중 의미 기억 시스템인 FOLIO를 제안한다. 스트림이 도착함에 따라 FOLIO는 동적 초점 상태에 의해 안내되어 세그먼트 수준에서 메모리를 갱신하며, 단기 시각 버퍼와 관측된 개체를 중심으로 구성되고 시각적 증거 캐시에 연결된 장기 의미 기억을 결합한다. 질의 시점에는 경량 하이브리드 검색이 구조화된 메모리에 대한 직접 매칭과 의미적 질의 확장을 결합한다. FOLIO는 최첨단 성능을 달성하며, Qwen3-VL-8B로 OVO-Bench에서 인식/역방향 정확도 82.0/69.1을 기록하고 StreamingBench에서 전체 정확도 74.5를 달성하는 동시에, 초점 개체에 대해서만 상세 기록을 예약하고 주변 컨텍스트를 압축적으로 저장함으로써 스트리밍 메모리 유지 비용을 크게 줄인다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.