본 논문에서는 옴니 대규모 언어 모델(Omni-LLM)을 네이티브 도구 사용 능력을 갖춘 능동적인 다중 턴(multi-turn) 추론 에이전트로 변환하는 에이전트 프레임워크인 OmniSeek을 제시합니다. 전체 시청각 시퀀스를 단일 순전파(forward pass)로 수동 처리하는 대신, OmniSeek은 증거 획득을 추론 과정의 일부로 만듭니다. 즉, 긴 컨텍스트 내에서 서로 다른 모달리티 전반의 희소하지만 결정적인 증거를 검색하기 위해 보거나 들을지 여부와 그 시간 윈도우를 동적으로 결정합니다. 반복적인 다중 턴 프로토콜을 통해 검색된 원시 오디오 또는 시각 세그먼트는 후속 추론을 지원하기 위해 컨텍스트에 다시 추가됩니다. 이러한 능력을 콜드 스타트하기 위해, 오디오 및 시각 증거가 인터리빙된 다중 홉 사고의 연쇄(Chain-of-Thought) 궤적 말뭉치인 OmniTraj-170K를 합성하는 데이터 엔진을 구축합니다. 먼저 이러한 궤적을 기반으로 모델을 지도 학습하여 다중 턴 도구 사용 행동을 주입한 다음, 검증 가능한 보상을 활용한 2단계 강화학습을 통해 정책을 추가로 최적화합니다. 또한, 두 모달리티 모두에 의존하는 성공적인 추론 궤적에 명시적으로 보상을 제공하여 단일 모달리티 지름길을 억제하는 시청각 필수성(Audio-Visual Necessity) 목표를 도입합니다. 광범위한 벤치마크에 걸친 광범위한 실험을 통해 OmniSeek이 적응형 교차 모달 증거 탐색을 학습하고 시청각 추론 성능을 일관되게 향상시킴을 입증합니다.
양화 공간(positive space)과 음화 공간(negative space)은 시각적 구성의 기본 원리로, 시각적으로 일관된 형태와 다층적인 의미적 관계를 뒷받침합니다. 이러한 구성을 생성하는 것은 공통 경계를 공유하는 두 가지 의미론적 개념을 조율하여 제어해야 하므로 매우 까다롭습니다. 최근 텍스트-이미지(text-to-image) 모델과 멀티모달 대규모 언어 모델(MLLM)이 이미지 생성 및 시각적 이해에서 뛰어난 성능을 달성했음에도 불구하고, 특히 직접적인 단일 패스(single-pass) 프롬프팅 환경에서는 양화-음화 공간 생성이 여전히 어렵습니다. 본 연구에서는 단계별 양화-음화 공간 생성을 위해 설계된 멀티모달 에이전트인 FaV-A(Form and Void Agent)를 제시합니다. FaV-A는 점진적인 워크플로를 따릅니다. 먼저 기본 객체를 생성한 다음, 해당 형상과 공간 구조를 분석하여 후보 음화 공간 의미를 식별하고, 마지막으로 최종 이미지 생성 단계를 위한 구성 지침을 생성합니다. 실험 결과와 절제 분석(ablation analysis)은 FaV-A가 직접적인 제로샷(zero-shot) MLLM 베이스라인보다 시각적으로 일관되고 의미론적으로 정렬된 양화-음화 공간 구성을 생성하는 데 더 효과적인 프레임워크를 제공함을 보여줍니다.
본 논문에서는 멀티모달 모델이 강력한 추론 능력을 지니고 있으며, 적절한 하네스(harness)를 통해 다양한 상호작용 환경에서 과제를 해결하는 모델의 잠재력을 이끌어낼 수 있음을 보여줍니다. 저자들은 범용 멀티모달 모델에 장기적(long-horizon) 시각 능력을 부여하는 시각 하네스인 VISTA를 소개합니다. VISTA는 모델이 시각적 관측을 통해 환경을 직접 인식할 수 있도록 하며, 과거 관측을 원본 형태 그대로 보존하는 무손실 시각 메모리를 유지합니다. 모델은 이러한 관측을 능동적으로 검색하고 추론 과정에서 시각적 입력을 재구성할 수 있습니다. ARC-AGI-3에서 VISTA는 Claude Opus 5.0의 상대적 인간 행동 효율성(Relative Human Action Efficiency) 점수를 40.68에서 완벽한 100.00으로 끌어올렸으며, 모델은 최초 참여 인간보다 57.4% 더 적은 행동을 사용하여 25개 공개 게임 전체를 완수했습니다. 또한 VISTA의 단순한 설계 덕분에 최소한의 조정만으로도 다양한 시각적 환경에 자연스럽게 확장될 수 있습니다. 다양한 시각 게임 및 퍼즐을 다루는 3개의 추가 벤치마크 전반에서, 동일한 기본 모델에 최소한의 하네스를 적용한 베이스라인을 크게 능가했습니다. 이러한 결과는 복잡한 시각 환경에서 멀티모달 에이전트를 발전시키기 위한 범용 시각 하네스로서 VISTA의 잠재력을 강조합니다.
디지털 도입 플랫폼(DAP)은 웹 시스템에 내장된 오버레이로, 사용자가 페이지 내 작업을 수행할 수 있도록 안내하여 익숙하지 않은 인터페이스를 빠르게 익힐 수 있게 돕는다. 그러나 실제 작업을 완료하는 것은 단일 페이지에서 버튼 몇 개를 클릭하는 수준에 그치지 않으며, 변화하는 페이지 상태에 걸쳐 펼쳐지는 일련의 액션을 필요로 한다. 기존 연구들은 자동화된 웹 에이전트 액션과 가이드 텍스트 생성을 별개의 문제로 다루어 왔으며, 대부분 인간이 실제로 조작하는 렌더링된 화면 대신 DOM이나 접근성 트리와 같은 텍스트 기반 페이지 표현을 모델에 제공한다. 본 연구에서는 작업 실행과 가이드 작성을 단일 멀티모달 액션 및 가이드 태스크로 통합한 최초의 벤치마크 MAG를 소개하며, 스크린샷에 대한 두 가지 그라운딩 방식인 Set-of-Mark 요소 선택과 원시 픽셀 좌표를 지원한다. 또한 이 복합 태스크를 위한 완전한 하네스를 구축하여, LLM 지원 어노테이션 및 인간 검증, 학습, 실제 환경에서의 평가, 그리고 액션과 가이드를 위한 통합 지표를 포함한다. 이 하네스를 통해 최신 API 모델과 오픈 멀티모달 모델을 평가하고 세부 분석 결과를 보고한다. 마지막으로, 전문가 궤적으로 보강된 GRPO 학습 방법을 설계하여, 지도학습 기반 9B 에이전트의 성공률을 거의 두 배(6.9%에서 13.2%)로 끌어올리는 동시에 가이드 품질도 향상시킨다. 가장 강력한 모델조차 전체 태스크의 40% 미만을 완료하여, 향후 연구를 위한 충분한 개선 여지가 남아 있다.
멀티모달 대규모 언어 모델(MLLM)은 일반적인 과제에서 뛰어난 성능을 보이지만, 단일 구조의 선형 계획 방식의 한계로 인해 엄밀한 과학적 추론은 여전히 어렵다. 이러한 순차적 설계는 시각-의미 불일치, 긴 컨텍스트 환각, 고정된 작업 세분화 하에서의 취약한 실행 문제를 자주 겪는다. 우리는 선형 궤적을 동적이며 상태가 격리된 그래프 진화로 대체하는 자기 진화형 위상적 프레임워크인 TopoAgent를 제안한다. TopoAgent는 먼저 프론트엔드 분해기를 사용해 복잡한 질의를 시각적으로 그라운딩된 원자(atom)로 분해한다. 이 원자들은 의존성에 따라 방향성 비순환 그래프(DAG)로 구성되어 엄격한 컨텍스트 격리를 가능하게 하며, 추론 엔진을 무관한 과거 노이즈로부터 보호한다. 또한 적응형 원자 분열(adaptive atomic fission)을 도입하여, 도구 역량 경계를 초과할 때 런타임에 병목 노드를 더 세분화된 하위 원자(sub-atom)로 동적으로 분할한다. 수학, 물리, 화학 벤치마크에 걸친 광범위한 실험 결과, TopoAgent는 최신 선형 에이전트 프레임워크를 크게 능가하며 자율적 과학적 추론을 위한 견고하고 노이즈에 강하며 자기 수정이 가능한 패러다임을 제공함을 보여준다.
AI 에이전트가 양자 회로 다이어그램을 시각적으로 이해하고 실행 가능한 검증된 코드를 생성할 수 있는가—그리고 그 비용은 얼마인가? 본 논문에서는 양자 회로 시각적 이해를 위한 멀티모달 AI 에이전트의 비용 인식 평가 프레임워크인 Quantum Circuit Vision을 제안한다. 우리는 실행 가능한 Amazon Braket 코드와 유니터리 충실도(unitary-fidelity) 검증을 갖춘 13개 카테고리($1$--$10$ 큐비트)에 걸친 132개 회로 벤치마크를 구축하였다. 서로 다른 성능-비용 계층의 Claude 패밀리 프런티어 모델 3종을 $n=5$ 반복 시험으로 평가한 결과, 중간 계층 모델(Sonnet 4.6, $1.30\times$ 크레딧)이 비용-정확도 프런티어에서 가장 유리한 균형을 제공함을 발견하였다: 핵심 서브셋에서 91% 통과율을 기록하면서 가장 강력한 모델(Opus 4.6)의 호출당 비용의 18%에 불과하였으며, Opus 4.6의 정확도 우위는 통계적으로 유의하지 않았다(대응 $t$: $p=0.083$). 로지스틱 회귀 분석을 통해 회로 깊이가—큐비트 수가 아닌—실패의 주요 예측 변수임이 확인되었다($p<0.001$). 사고의 연쇄(Chain-of-Thought) 프롬프팅은 통계적으로 유의미한 효과를 보이지 않아(모든 $p>0.18$, $n=5$), 구조적으로 결합된 다이어그램에서는 명시적 추론 전략보다 시각적 패턴 인식이 더 중요함을 시사한다. 우리는 저렴한 모델에서 고가 모델로의 캐스케이드 라우팅 전략(cheap $\rightarrow$ expensive models)을 제안하며, 이 전략은 단일 모델 비용의 38%로 84% 정확도를 달성함으로써 모델 라우팅이 프롬프트 엔지니어링보다 비용 절감의 핵심 수단임을 입증한다. 우리는 발견 가능성, 상호운용성, 책임 있는 AI 문서화를 위한 구조화된 메타데이터를 갖춘 개방형 평가 인프라로서 QCV-Dataset(132개 회로, 5개 모달리티, 1,931개 파일)을 Hugging Face Hub에 공개하고, 완전한 재현성을 위한 모든 평가 코드, 비용 로그, 검증 스크립트를 GitHub에 공개한다.
멀티모달 BrowseComp 태스크는 에이전트가 동적 웹 콘텐츠에 대해 인지, 도구 사용, 장기 추론을 결합하도록 요구하며, 이는 구성적 구조, 오픈월드 불확실성, 확장된 상호작용에 걸친 멀티모달 통합을 처리하는 능력에 도전한다. 중요하게도, 실제 멀티모달 브라우징은 텍스트 전용, 이미지-텍스트, 텍스트-이미지의 세 가지 서로 다른 정보 흐름 패턴을 포함하지만, 기존 데이터 구축 방법은 텍스트 전용과 이미지-텍스트 패턴만 다루고 텍스트-이미지는 대부분 미해결 상태로 남겨 에이전트의 범용성과 견고성을 제한한다. 우리는 UNIBROWSE를 소개한다. 이는 세 가지 패턴 모두를 아우르는 학습 데이터를 최초로 동시에 생성하고, 충실도 향상을 위해 정제된 지식 그래프를 실시간 웹 검색으로 보강하며, 효율적인 강화학습을 위해 낮은 신호 인스턴스를 필터링하는 새로운 탐험 정도(exploration degree) 메트릭을 도입하는 통합 데이터 파이프라인이다. 이 파이프라인을 통해 고품질 콜드 스타트 도구 사용 궤적과 탐험이 풍부한 QA 쌍을 생성하고, 지도 미세조정과 탐험 인식 강화학습을 통해 35B 규모의 에이전트를 학습한다. 결과로 도출된 UNIBROWSE 에이전트는 멀티모달 BrowseComp 벤치마크에서 최고 성능을 달성하여, 다섯 개의 다양한 벤치마크에서 평균 정확도 54.4를 기록하며 기반 모델인 Qwen3.5-35B-A3B 대비 10.5점 향상을 이루고, GPT-5(42.9), Gemini-2.5 Pro(44.8), Gemini-2.5 Flash(41.3) 등 여러 클로즈드 소스 에이전트 워크플로를 능가한다.
전방위 모달 증거 탐색 QA는 비디오, 오디오, 이미지, 웹 페이지, 연산 결과에 걸쳐 희소하게 분산된 증거를 바탕으로 에이전트가 질문에 답하도록 요구한다. 기존 에이전트 기반 멀티모달 시스템은 증거를 스크래치패드, 도구 궤적, 자유형 히스토리에 남겨두는 경우가 많아, 무엇이 그라운딩되었는지, 무엇이 누락되었는지, 언제 증거가 충분한지를 추적하기 어렵다. 우리는 전방위 모달 QA를 쿼리 범위의 증거 완결 프로세스로 전환하는 학습 없는 증거-상태 시스템 Omni-Decision을 제안한다. 각 쿼리에 대해 Omni-Decision은 확인된 증거, 미해결 충돌, 사실 및 연산 의존성, 미충족 증거 요구사항을 포함하는 구조화된 증거 상태를 유지한다. 공유 상태 뷰는 계획, 증거 수집, 검증, 수정, 최종화를 조건화한다. 미디어, 웹, 연산, 검증 모듈로부터의 이질적 관측값은 결정론적 상태 업데이트를 통해 정규화, 판단, 커밋된다. 이 설계는 목표 지향적 증거 수집을 가능하게 하고, 희소한 교차 모달 단서를 보존하며, 수정 및 종료에 대한 검사 가능한 제어를 제공한다. Omni-Decision은 OmniGAIA에서 45.6%, WorldSense에서 58.3%의 정확도를 달성하여 기준선 대비 각각 +27.3 및 +30.2 퍼센트포인트 향상되었다. 상태 없음 어블레이션 및 궤적 감사는 다단계 전방위 모달 증거 탐색에서 명시적 증거-상태 제어의 역할을 추가로 뒷받침한다.
장기 멀티모달 대화에서 시각 토큰 폭발과 턴 간 참조 불안정 문제를 해결하기 위해, 시각 정보를 에피소딕 시각 메모리로 외재화하고 지각 추상화 엔진·인지 검색 엔진·멀티모달 실행 컨트롤러로 구성된 인지 구조 기반 멀티모달 에이전트를 제안한다. 강화학습 기반 추상화·검색 정책 최적화를 통해 8B 에이전트가 20턴 세션에서 91.4%의 검색 정확도를 달성하여 32B 기준 모델을 +8.2% 상회하면서도 턴당 추론 시간을 절반으로 단축했다.
고대 그리스 도자기 디지털 박물관을 위한 멀티모달 에이전트(agent) 프레임워크 VaseMuseum을 제안하며, VaseAgent가 권위 있는 외부 지식 검색과 출처·응답 수준의 신뢰성 제어를 통해 환각(hallucination)을 줄이고 검증된 근거에 기반한 답변을 생성한다. 학습(training) 없는 GRPO 방식의 응답 선택 메커니즘을 통해 VLM 백본 업데이트 없이도 인용 유효성과 모호한 상황에서의 중립성을 기존 검색 기반 VLM 대비 개선함을 실험으로 입증하였다.
반복적 추론 없이 단일 순전파로 반사적 비디오 이해를 구현하는 멀티모달 에이전트 프레임워크 Light-Omni를 제안하며, 에피소딕 메모리에서 통합된 전역 상태(global state)와 의미론적으로 정렬된 검색 임베딩을 생성하는 잠재 상태(latent state)의 이중 컨텍스트 설계를 통해 M3-Agent 대비 평균 2.4% 정확도 향상, 12.1× 속도 향상, 2.6× GPU 메모리 효율 개선을 달성했다.
복잡한 이미지 생성·편집을 위해 14만 건의 실행 궤적을 포함한 대규모 멀티모달 도구 활용 데이터셋 CanvasCraft와, SFT 및 GRPO 기반 2단계 학습을 통해 생성·분할·합성 등 11가지 이종 시각 도구를 오케스트레이션하는 에이전트 CanvasAgent를 제안한다. CanvasAgent는 다중 턴 상호작용 중 중간 시각 결과를 검사하고 자산을 추적하며, 결과 품질과 궤적 유효성을 결합한 하이브리드 보상으로 복잡한 멀티툴 이미지 워크플로우에서 효과적인 성능을 달성한다.
RS-Agent는 구조화된 작업 계획과 도구 오케스트레이션을 통해 사용자 의도를 전문적인 원격 탐사 워크플로우와 연결하는 도메인 적응형 지능 에이전트로, 중앙 컨트롤러, 동적 툴킷, Solution Space, Knowledge Space의 네 가지 구성요소로 이루어진다. Task-Aware Retrieval과 가중 이중 경로 검색-증강 생성 방법인 DualRAG를 도입하여 9개 데이터셋, 18개 원격 탐사 작업 실험에서 95% 이상의 작업 계획 정확도와 함께 장면 분류, 객체 계수, 시각적 질의응답에서 최신 MLLM 대비 현저히 높은 성능을 달성하였다.
멀티모달 기반 모델과 에이전트 시스템의 최근 발전은 GUI 에이전트를 단일 플랫폼 작업 실행에서 크로스 플랫폼 상호작용으로 나아가게 했다. 그러나 멀티 플랫폼 GUI 에이전트를 구축하는 것은 여전히 어렵다. 한편으로는 고품질의 실행 가능한 크로스 플랫폼 상호작용 궤적이 여전히 부족하며, 기존 데이터는 플랫폼 커버리지가 제한되는 문제를 겪는 경우가 많다. 다른 한편으로는 플랫폼마다 서로 다른 상호작용 관습을 가지고 있어, 공동 또는 지속적 학습 시 행동 패턴 혼합, 플랫폼별 성능 저하, 그리고 치명적 망각(catastrophic forgetting)이 발생하기 쉽다. 이러한 문제를 해결하기 위해, 우리는 고품질 크로스 플랫폼 GUI 상호작용 데이터셋인 Uni-GUI를 구축하고, GUI 에이전트의 지속적 학습에 멀티 교사 온-정책 지식 증류(distillation)를 통합한 최초의 방법인 UI-MOPD를 제안한다. UI-MOPD는 현재 환경에 따라 플랫폼별 교사를 동적으로 선택하고, 플랫폼 조건부 증류를 통해 플랫폼별 행동 사전(behavioral prior)을 공유 정책에 전달함으로써, 기존 플랫폼의 역량을 보존하면서 새로운 플랫폼에 적응할 수 있게 한다. OSWorld와 MobileWorld에서의 실험 결과, UI-MOPD는 각각 38.2%와 12.0%의 태스크 성공률을 달성하여, 크로스 플랫폼 역량 유지와 새로운 플랫폼 적응 간의 균형을 맞추는 데 있어 그 효과를 입증했다. 프로젝트 페이지: https://elispectre.github.io/UI-MOPD/.
다중모달 대규모 언어 모델(MLLM)이 추론과 지각을 동시에 수행하면서 발생하는 부정확한 위치 파악 문제를 해결하기 위해, PixelEyes는 추론기와 전문 지각 도구(SAMTok)를 분리하여 마스크 정밀 지역화와 의미 영역 너비 우선 탐색(BFS)을 결합한 다중 턴 시각 추론 에이전트를 제안한다. PixelEyes-6K 데이터셋으로 학습된 이 모델은 V*, HR-Bench, Pinpoint-Bench 등 다양한 시각 탐색 벤치마크에서 기존 방법 대비 더 적은 턴으로 최고 성능을 달성했다.
Despite rapid progress on coding agents, progress on their multimodal counterparts has lagged behind. A key challenge is the scarcity of evaluation testbeds that combine the complexity of software development with the need for deep multimodal understanding. In game development, agents must navigate large, dense codebases while manipulating intrinsically multimodal assets such as shaders, sprites, and animations within a visual game scene. We present GameDevBench, the first benchmark for evaluating agents on game development tasks. GameDevBench consists of 333 tasks derived from web and video tutorials. Tasks require significant multimodal understanding and are complex: the average solution requires over three times the lines of code and file changes compared to prior software development benchmarks. Agents struggle with game development, with the best agent and method solving only 53.8% of tasks. We find a strong correlation between perceived task difficulty and multimodal complexity, with average success rate dropping from 51.4% on gameplay-oriented tasks to 33.0% on 2D graphics tasks. To improve multimodal capability, we introduce two simple image- and video-based feedback mechanisms for agents. Despite their simplicity, these methods consistently improve performance, increasing GPT-5.4's performance from 41.1% to 52.0% when given visual feedback.
대규모 언어 모델 기반 에이전트는 다중 라운드 반성(multi-round reflection)을 통해 단일 태스크 내 실패를 복구할 수 있지만, 각 태스크는 독립적인 에피소드로 남아 있다: 한 태스크에서 여러 반성 라운드를 통해 얻은 교훈은 다음 태스크가 시작되기 전에 사라진다. 우리는 코드 생성 태스크에서 이 격차를 연구한다. 에이전트는 과학 논문의 한 섹션으로부터 오픈소스 Manim 라이브러리를 이용하여 Python 코드를 작성하고 수학적 애니메이션을 렌더링한다. 우리는 ManimAgent를 제안한다. 이는 자기 진화형 멀티모달 에이전트로, 가중치 업데이트나 인간 시드 없이 자체 태스크 스트림으로부터 완전히 성장하는 이중 채널 에피소딕 메모리 뱅크(Episodic Memory Bank)를 통해 태스크 간 반성 경험을 이어간다. 각 애니메이션이 수렴한 후, 비전-언어 모델이 렌더링된 키프레임을 채점하며, 결과 신호는 성공 근거를 소프트 참조 예시(Reference Examples)로 저장하는 긍정 채널 M+와, 검증된 실패 패턴을 하드 기지 함정(Known Pitfalls)으로 저장하는 부정 채널 M-를 채운다. 메모리 없음, 동일 예산의 검색-증강 생성(RAG), 셔플된 메모리 기준선에 대한 고정 프로브 평가에서, 블라인드 인간 평가자의 Pass@1은 상승하고 반성 라운드 수는 메모리 크기가 증가함에 따라 감소한다. 코드, 고정된 메모리 스냅샷, 태스크 스트림을 공개할 예정이다.
에이전트 기억에 대한 연구는 빠르게 성숙해 왔지만, 거의 전적으로 텍스트 측면에 집중되어 있다. 기존 벤치마크 중 상호작용 환경에서 에이전트가 기록할 수 있는 내용이 아니라 실제로 본 것을 기억해야 하는 순간을 묻는 사례는 거의 없다. 우리는 멀티모달 에이전트 시각 기억을 위한 최초의 상호작용형 벤치마크인 DMV-Bench(Code: https://github.com/yyyujintang/DMV-Bench)를 제안한다. DMV-Bench는 1,000개 제품 변형으로 구성된 통제된 가구·인테리어 전자상거래 카탈로그 위에 구축되며, 텍스트 누출 계약(text-leakage contract)을 통해 각 과제의 판별 신호를 픽셀에만 남긴다. 자율 쇼핑 세션의 연쇄 과정에서 방문한 모든 제품 이미지에는 고유하게 사전 렌더링된 부수적 단서가 포함되며, 이후 에이전트는 특정 단서가 붙은 제품을 회상하고 해당 URL로 이동하도록 요청받는다. 이중 부호화 이론(dual-coding theory)에서 영감을 받아, 시각 코드와 언어 코드를 병렬로 유지하는 기억 아키텍처 DualMem을 제안한다. DMV-Bench에서 DualMem은 Gemini 2.5 Flash와 Qwen2.5-VL-7B 모두에서 체인 길이 J ∈ {5, 10, 15, 50}의 모든 구간에서 캡션 기준선과 최근의 멀티모달 에이전트 기억 시스템 3종을 능가하며, 이 우위는 메모리 뱅크 크기와 인코딩 위치 바이어스에 대한 통제를 거친 뒤에도 유지된다. 또한 시각 채널이 단서를 처음부터 끝까지 담당하고 언어 채널은 더 작은 쿼리 그라운딩(query-grounding) 역할을 하는 비대칭적 이중 부호화 체계가 관찰된다.