재사용 가능한 스킬은 모델(model) 가중치를 업데이트하지 않고도 멀티모달 에이전트(multimodal agent)를 향상시키지만, 그 효과는 제시되는 근거(evidence)와 이를 읽는 데 사용되는 절차 모두에 의존합니다. 본 논문에서는 실행 가능한 근거 인터페이스와 해당 인터페이스의 읽기 절차를 함께 공동 진화시키는 ViewCraft를 소개합니다. 인터페이스는 관측치를 선택, 변환, 구성하며, 리더(reader)는 그 결과로 생성된 뷰(view)를 해석합니다. 실패 추적(failure trace)은 수정을 안내하고, 리플레이 및 쌍체 평가(paired evaluation)는 유용한 변경 사항을 유지하며, 인터페이스 프로젝션은 적격한 기각 공동 제안으로부터 시각적 편집 내용을 복구합니다. 8개 벤치마크(benchmark) 전반에서 ViewCraft는 직접 실행 방식 대비 태스크 점수를 평균 $6.1$점 향상시켰으며, 모든 벤치마크에서 성능 향상을 달성했습니다. 이러한 이점은 일치된 입력 토큰(token) 예산 하에서도 유지됩니다. 5개의 모든 다중 소스 태스크에서 학습된 인터페이스는 초기 스킬보다 8%~15% 더 적은 입력 토큰을 사용합니다. 또한 학습된 스킬은 실행기(executor) 간에 전이되며 평가된 모든 전이 환경에서 직접 실행 방식을 능가하여, 결합된 재사용 가능 스킬로서의 근거 구축 및 읽기 접근법을 뒷받침합니다.
멀티모달 에이전트(multimodal agent)는 데이터 시각화 작업에 점점 더 많이 활용되고 있지만, 자율적 검토 능력에서는 여전히 한계를 보입니다. 인간과 달리 에이전트는 시각화가 잘못된 시점을 인식하지 못하거나, 무엇을 변경해야 할지 결정하지 못하고, 올바른 내용을 훼손하지 않으면서 이를 복구하거나, 수정 작업이 성공했는지 검증하지 못할 수 있습니다. 기존 벤치마크는 차트 생성, 지시 기반 편집, 결함 탐지와 같은 사전 정의된 개별 능력을 주로 평가하므로, 자율적 검토에서의 이러한 격차를 포착하지 못합니다. 이에 본 논문에서는 시각화 진단, 복구 및 검증을 평가하기 위한 벤치마크인 VisAudit을 소개합니다. 렌더링된 차트와 원본 데이터 테이블, 의도된 텍스트 요약, 시각화 코드를 포함하는 설정 가능한 보조 증거가 주어지면, 에이전트는 잠재적 결함을 반복적으로 진단하고, 시각화 코드를 수정 및 실행하며, 실행 및 시각적 피드백을 점검하고, 추가적인 개입이 필요 없는 시점을 판단합니다. VisAudit은 진단 기반 복구, 자율 복구, 오픈월드 검증에 이르는 세 가지 트랙을 정의하며, 21가지 차트 유형과 10가지 결함 범주에 걸친 1,900개의 결함 인스턴스와 함께 300개의 초기 정상 차트를 포함합니다. 우리는 검증된 원본 시각화에 대한 제어된 섭동(perturbation)을 통해 벤치마크를 구축하였으며, 체계적인 검증과 인간 기준에 맞춘 품질 관리를 적용하여 주입된 결함이 명확히 정의되고 가용 증거로부터 복구 가능하도록 보장했습니다. 선도적인 멀티모달 모델을 대상으로 한 실험 결과, 신뢰할 수 있는 자율 검토와는 상당한 격차가 있음이 드러났으며, 평가된 가장 강력한 모델도 자율 복구 환경에서 결함이 있는 차트의 단 $47.4\%$만을 완전히 복구하는 데 그쳤습니다.
웹 에이전트(Web agent)는 주로 라이브 환경에서 평가되는데, 실행 간에 환경 상태와 판정 모델이 드리프트(drift)하여 동일한 체크포인트가 동일한 점수를 재현하기 어렵기 때문에 학습(training) 현상에 대한 통제된 연구가 사실상 불가능합니다. 본 논문에서는 성공적인 WebArena 궤적에서 파생된 541개 태스크와 5,293개 스텝으로 구성된 오프라인 벤치마크인 WebMRE를 제시합니다. 이 벤치마크는 완전히 검증된 테스트 라벨과 환경 없이도 모든 실행에서 체크포인트를 동일하게 평가하는 결정론적 프로토콜을 갖추고 있습니다. 각 스텝은 인간 지향적인 가이드 문장과 그라운딩된(grounded) 행동을 결합하여, 웹 에이전트에서 이 둘 사이의 상호 강화(mutual reinforcement) 효과에 대한 최초의 연구를 가능하게 합니다. 세 개의 시드에 걸쳐 평균을 냈을 때, 이 효과는 두 모델 모두에서 두 디코딩 순서 모두에 걸쳐 유지되며 스케일링에 따라 증가합니다. 즉, 가이드를 공동 디코딩하면 행동 전용 기준선 대비 요소 선택 점수가 Qwen3.5-4B의 경우 0.9 및 0.2 포인트 상승하고, Qwen3.5-9B의 경우 1.7 및 2.2 포인트 상승합니다. 매개 분석(mediation analysis)에 따르면 가이드는 단순한 설명이 아닌 인과적 경로임이 밝혀졌습니다. 정답 가이드를 디코딩 접두 문맥(prefix)으로 강제하면 행동 정확도가 .422에서 .684로 상승하는 반면, 다른 스텝의 가이드를 주면 .055로 급락하며, 타깃을 변경한 패러프레이즈(paraphrase)도 이득의 절반을 회복하므로 이 경로가 라벨 문자열뿐만 아니라 인스트럭션의 의미를 전달함을 보여줍니다. 동일한 경로를 통해 재생 가능한 프로토콜에서만 계산 가능한 오프라인 보상(reward)이 생성되지만, 강력한 체크포인트로부터 이를 최적화하는 것은 아직 이득을 가져오지 못합니다. 본 연구에서 파인튜닝된 모델은 모든 오프라인 지표에서 제로샷(zero-shot)으로 실행된 GPT-5.5, Claude Opus 4.8 및 Gemini 3.5 Flash를 능가합니다.
장기 체감 상호작용에서는 에이전트가 관찰하고 행동하며 변화를 겪는 동안 환경에 대한 정보를 유지하고 지속적으로 갱신해야 한다. 그러나 현재 에이전트는 이러한 메모리를 안정적으로 유지하는 데 어려움을 겪는다. 우리 분석은 이 한계를 네 가지 핵심 결함으로 추적한다: 미세한 시각 메모리의 취약함, 신뢰할 수 없는 동적 세계 상태(world-state) 추적, 상호작용 결과로 드러난 세계 상태 기록 실패, 과거 경험으로부터의 제한된 일반화. 그러나 기존 벤치마크는 장기 체감 상호작용 과정에서 이러한 메모리 역량을 직접 평가하지 않는다. 이 공백을 메우기 위해 우리는 네 가지 과업군에 걸친 2,554개의 상호작용 에피소드로 구성된 EmbodiedMemory-Bench(EMem-Bench)를 제안한다. EMem-Bench는 에이전트가 상호작용 이력으로부터 메모리를 구축·갱신한 뒤, 이를 활용해 환경에서 행동함으로써 이후 과업을 완수하도록 요구한다. 또한 체감 경험을 공간, 사건, 장면 메모리로 구조화하는 외부 메모리 시스템 Embodied-Memorizer(EMem)를 제시한다. 또한 이러한 메모리를 관리하고 활용하는 8B 정책(policy) EMem-8B를 학습한다. 오픈소스 및 독점 MLLM과 대표적인 멀티모달 메모리 시스템을 폭넓게 평가한다. 결과는 현재 모델이 네 가지 과제 전반에 걸쳐 여전히 취약하고 불균형함을 보여준다. 동일 백본(backbone) 조건에서 EMem은 평가된 메모리 시스템 중 최고의 전체 성능을 달성하며 오픈소스와 독점 모델 모두를 개선하고, EMem-8B는 백본 대비 추가로 향상된다. 프로젝트 페이지: https://zju-omniai.github.io/EmbodiedMemoryBench/
장기 지평 멀티모달 에이전트는 지각, 검색, 추론, 검증, 실행을 위해 전문화된 역량에 의존한다. 기존 설계는 일반적으로 고정된 역량 집합을 활성화하거나 사전 정의된 워크플로를 호출하여 상당한 계산 오버헤드를 초래하면서 단계 의존적 역량 수요를 수용하지 못한다. 본 논문에서는 장기 지평 멀티모달 에이전트 시스템을 위한 \textit{combinatorial capability allocation} 문제를 연구한다. 여기서 시스템은 각 상호작용 단계마다 비용 민감한 전문 역량의 부분집합을 선택하는데, 역량 가치가 선택된 부분집합에 따라 달라지고 이전 할당이 이후 결정이 마주하는 상태를 바꾸므로 이는 쉽지 않다. 우리는 희소 조건부 비교로부터 배포 가능한 역량-부분집합 정책을 복구하는 온-정책 학습 프레임워크인 \textsc{CoCA}를 제안한다. 학생 정책이 방문한 상태에서, 더 강한 교사는 현재 선택된 부분집합을 조건으로 후보 역량의 한계 순가치를 비교한다. 그다음 조건부 효용 모델을 채택하여 이러한 비교를 자기회귀 역량-부분집합 정책으로 변환하고 명시적 열거를 피한다. 또한 집합 구성 중 마주하는 부분집합 내부와 환경 상태 전반에 걸친 분포 불일치를 다루기 위해 이중 수준 온-정책 지식 증류를 도입한다. 마지막으로 궤적 수준 강화학습으로 증류된 정책을 과제 성공, 활성화 비용, 할당 안정성 방향으로 정제한다. 추론 시에는 교사 질의나 온라인 갱신 없이 경량 학생 정책만으로 할당이 수행된다. 장기 지평 멀티모달 환경과 통제된 역량 수요 변화에 대한 실험은 우리 방법이 최신 기준선 방법들보다 우수함을 보여준다.
본 논문에서는 실제 환경의 멀티모달 생산성을 위해 설계된 네이티브 멀티모달 에이전트(agent) 모델인 Qwen3.8-Omni-Flash를 소개한다. 주로 인식과 상호작용에 집중했던 기존 옴니 모델들과 비교하여, Qwen3.8-Omni-Flash는 멀티모달 이해 및 추론뿐만 아니라 긴 호흡의(long-horizon) 에이전트 태스크 성능을 대폭 향상했다. 이러한 능력은 강력한 텍스트 도메인 성능을 보존하는 동시에 텍스트에서 오디오 및 비디오 태스크로의 에이전트 능력 전이를 촉진하는 네이티브 멀티모달 공동 학습(co-training) 전략을 통해 뒷받침된다. 이 모델은 Qwen3.8-Next의 희소 전문가 혼합(sparse MoE) 아키텍처를 계승하고 컨텍스트 윈도우(context window)를 100만 토큰(token)으로 확장하여, 긴 컨텍스트의 멀티모달 추론 및 장기적 계획 수립(long-horizon planning)을 지원한다. 이러한 발전 덕분에 본 모델은 주요 에이전트나 특화된 서브 에이전트로서 프로덕션 워크플로에 통합되어, 비디오 편집, 장문 오디오 및 비디오 번역, 음악 기반 뮤직비디오 또는 영화 생성, 비디오 기반 메모 작성이나 옴니 스킬(omni-skill) 생성을 지원할 수 있다. 기존 에이전트 하네스(harness)에서 네이티브 오디오 및 비디오 지원이 부족한 문제를 해결하기 위해, 멀티모달 생산성을 지원하는 경량 오픈소스 플러그인 프레임워크인 Qwen-MM-Plugins를 공개한다. 나아가 실시간 멀티모달 상호작용을 컨텍스트 및 메모리 관리, 도구 사용, 서브 에이전트 위임의 오케스트레이션을 필요로 하는 시스템 수준의 과제로 정의한다. 이에 따라 Qwen3.8-Omni-Flash 기반의 반응형 실시간 멀티모달 에이전트를 구축하기 위한 오픈소스 프레임워크인 Qwen-Live-Harness를 공개한다. 광범위한 평가(evaluation)를 통해 Qwen3.8-Omni-Flash가 멀티모달 이해, 추론, 긴 호흡의 에이전트 실행 및 비디오 생산성 태스크 전반에 걸쳐 강력한 성능을 달성함을 입증한다. 이러한 결과와 함께 제공되는 오픈소스 도구들은 Qwen3.8-Omni-Flash가 연구 및 프로덕션 환경에서 네이티브 멀티모달 에이전트를 배포하기 위한 실용적인 기반임을 뒷받침한다.
멀티모달 에이전틱 검색(Multimodal Agentic Retrieval, MAR)은 에이전트가 외부 도구를 반복적으로 호출하여 복잡한 정보 탐색 작업을 해결할 것을 요구한다. ReAct와 같은 일반적인 프레임워크는 원본 멀티모달 입력과 누적되는 상호작용 이력을 단일한, 계속 커지는 컨텍스트에 유지하며, 이는 컨텍스트 폭발 문제로 이어진다. 기존 방법들은 중복된 텍스트를 압축함으로써 이 문제를 완화하지만, 토큰 소모가 큰 시각적 콘텐츠를 관리하는 효과적인 전략은 여전히 대부분 충분히 연구되지 않았다.
이러한 격차를 해소하기 위해, 우리는 먼저 약 1만 개의 궤적(trajectory)에 대한 체계적인 실증 연구를 수행한다. 그 결과, 시각적 단서가 외부 도구를 통해 점진적으로 추출되어 컨텍스트에 텍스트화됨에 따라 원본 이미지가 점점 더 중복되는 것으로 나타났다. 이미지를 계속 유지하는 것은 더 높은 출력 엔트로피와 관련이 있으며, 심지어 작업 정확도를 저하시킬 수도 있다.
이러한 발견에 착안하여, 우리는 필요할 때만 원본 이미지를 불러오는 학습이 필요 없는(training-free) 프레임워크인 MM-ContextFold를 제안한다. 이 프레임워크는 상위 수준의 계획(planning)을 위해 텍스트만으로 구성된 영속적인 메인 컨텍스트를 유지하며, 이미지에 의존하는 하위 작업을 위해 일시적인 분기 컨텍스트(branch context)를 생성한다. 각 분기 내에서 에이전트는 관련 이미지를 불러와 하위 작업을 완료한 뒤, 그 결과를 간결한 텍스트 요약으로 메인 컨텍스트에 다시 접어 넣는다(fold back); 이후 이미지와 분기 흔적(branch trace)은 폐기된다.
다섯 개의 백본 모델에 걸친 일곱 개의 MAR 벤치마크에서의 실험 결과, MM-ContextFold는 ReAct 대비 평균 정확도를 6.3퍼센트 포인트 향상시키는 동시에 작업 컨텍스트 길이를 27.5% 줄이는 것으로 나타났다.
우리는 시각적으로 그라운딩된 도구 호출 에이전트를 위한 벤치마크 및 평가 프레임워크인 MM-ToolSandBox를 소개한다. 이 프레임워크는 16개 응용 도메인에 걸쳐 500개 이상의 도구를 포괄하는 상태 저장(stateful) 실행 환경을 제공하며, 에이전트가 순차적으로 도착하는 시각적 입력을 실행 가능한 도구 호출로 그라운딩하면서 현실적인 대화 현상(목표 수정, 오류 정정, 상태 변이)을 처리해야 하는 멀티 이미지, 멀티 턴 태스크를 지원한다. 자동화된 시나리오 생성 파이프라인은 정보 흐름 기반 계획 수립과 다단계 품질 필터링을 통해 다양한 시각적 그라운딩 시나리오를 생성하며, 그 결과 258개의 인간 검증 정상 시나리오와 대화형 UI 애플리케이션을 대상으로 한 50개의 변형 시나리오를 산출한다. 4B 오픈 가중치 모델부터 프론티어 상용 시스템까지 12개의 최신 모델을 평가한 결과, 현재 모델들은 여전히 견고한 시각적 도구 호출 능력이 부족함을 보여준다: 최고 성능 모델조차 성공률이 50% 미만이다. 실패 분석을 통해 시각적 정밀도(visual precision)가 계획 수립뿐 아니라 유능한 모델의 주요 병목임을 확인했다: 실패의 53%는 태스크 워크플로 자체는 올바름에도 이미지에서의 잘못된 정보 추출에서 비롯된다. 규모에 따른 계획-정밀도 교차 현상이 나타난다: 소형 모델은 무엇을 해야 할지 결정하는 단계에서 실패하는 반면, 대형 모델은 자신이 보는 것을 인식하는 단계에서 실패하며, 이는 서로 다른 능력 수준의 모델 개선을 위한 근본적으로 상이한 연구 방향을 시사한다. 프레임워크와 벤치마크는 https://github.com/apple/ml-mmtoolsandbox 에서 공개적으로 이용 가능하다.
창작 AI는 단일 단계 에셋 생성에서 장기간(long-horizon) 멀티모달 제작으로 이동하고 있다. 최근 생성 모델은 고품질 이미지, 비디오, 오디오 클립, UI 요소, 스토리보드, 슬라이드 및 기타 창작 에셋을 합성할 수 있지만, 실제 창작 작업은 고립된 프롬프트-출력 상호작용 이상을 요구한다. 참조, 초안, 대안, 편집, 실패한 시도, 버전 관계, 도구 동작, 평가 신호, 인간 피드백이 포함되며, 이들은 함께 진화하는 프로젝트 상태를 형성한다. 기존 프롬프트 기반, 채팅 기반, 노드 기반 생성 시스템은 중간 컨텍스트를 종종 폐기하거나, 선형 대화에 의존하거나, 수동으로 지정된 워크플로를 요구하기 때문에 이러한 상태를 부분적으로만 지원한다. 최근 상용 시스템은 에이전트 지원 창작 제작으로의 전환을 시사하지만, 폐쇄형 아키텍처로 인해 에이전트가 컨텍스트를 어떻게 표현하고, 도구를 선택하고, 산출물을 수정하고, 실패에서 복구하며, 시간에 걸쳐 일관성을 유지하는지 연구하기 어렵다. 이 격차를 해소하기 위해, 장기간 멀티모달 창작을 위한 캔버스-네이티브 창작 에이전트 하네스인 JarvisHub를 제안한다. JarvisHub는 편집 가능한 캔버스를 사용자 작업 공간, 에이전트의 외부 메모리, 행동 공간, 공유 프로젝트 상태로 취급하며, 멀티모달 산출물, 의존성, 버전, 피드백을 타입이 지정된 캔버스 노드와 링크로 표현한다. 캔버스 상태, 프로토콜 브릿지, 에이전트 런타임으로 구성된 3층 아키텍처를 통해 JarvisHub는 에이전트가 검사 가능하고 편집 가능한 창작 상태 내에서 행동할 수 있게 한다. 이 설계는 창작 에이전트를 고립된 도구 사용을 넘어 지속적이고 인간이 조향 가능한(human-steerable) 창작 자동화로 이동시키며, 에이전트가 멀티모달 프로젝트를 점진적으로 계획, 생성, 수정, 조직할 수 있게 하는 동시에 사용자는 전 과정에서 검사, 안내, 개입할 수 있다.
대규모 언어 모델(LLM)은 점점 더 유능한 대화형 에이전트를 가능하게 했지만, 실시간 상호작용 환경에서 그 행동을 안정적으로 제어하는 것은 여전히 중요한 과제로 남아 있다. 기존 접근법은 종종 모델 미세조정이나 정렬(alignment) 절차에 의존하는데, 이는 변화하는 상호작용 요구사항에 적응하기 어렵다. 이 논문은 계층적 시나리오 기반 LLM 제어를 소개하며, 이는 구조화된 프롬프팅을 통해 런타임 행동 제어를 가능하게 하는 프레임워크이다. 지속적 컨텍스트와 시나리오별 제약을 결합함으로써, 이 접근법은 기본 모델을 변경하지 않고도 상호작용 중에 에이전트 행동을 수정할 수 있게 한다. 이 프레임워크는 ARDena에 구현되었으며, ARDena는 음성 상호작용, 시각적 지각, 도구 사용, 아바타 기반 응답 생성을 통합한 실시간 멀티모달 체화 에이전트(embodied agent)이다. 제안된 접근법은 제어 효과, 응답 지연 시간, 운영 안정성 측면에서 평가되었다. 결과는 시나리오 정의만으로도 안정적인 실시간 운영을 유지하면서 상당히 다른 상호작용 행동을 만들어낼 수 있음을 보여주며, LLM 에이전트 제어를 위한 시나리오 기반 프롬프팅의 효과를 부각한다.
이미지를 활용해 사고하는 멀티모달 에이전트는 여러 단계에 걸쳐 시각적 증거를 반복적으로 조작하고 도구를 호출한다. 기존 강화학습 방법들은 궤적을 스칼라 보상으로 축약하여, 정책이 매번 새로운 과제에서 재사용 가능한 도구 사용 패턴을 처음부터 발견하도록 강제한다. 메모리 기반 대안들은 과거 경험을 보존하지만, 테스트 시점 검색에 의존하며 그 경험으로부터 재사용 가능한 패턴을 흡수하기 위해 정책을 갱신하지 않는다. 우리의 핵심 통찰은, 멀티모달 추론 궤적이 보상으로 소비되거나 정적 저장소에서 검색되는 것이 아니라, 학습 동안 정책과 공진화하는 재사용 가능한 스킬로 증류되어야 한다는 점이다. 이를 위해 우리는 궤적을 계층적 스킬 라이브러리로 증류하고 강화학습 전 과정에서 이를 갱신하는 프레임워크인 SPyCE(Skill-Policy Co-evolution)를 제안한다. 실행 스킬은 지역적 시각 연산을 포착하고, 워크플로우 스킬은 도구 사용을 조율하는 상위 수준 사전을 인코딩한다. 학습 동안, 정책 모델은 검색된 스킬을 조건으로 하여 롤아웃을 안내하며, 스킬 라이브러리는 정책이 생성한 가치 있는 롤아웃을 사용하여 진화한다. 이는 개선된 정책이 더 나은 스킬을 생성하고, 진화하는 스킬 라이브러리가 다시 정책 롤아웃에 더 강한 사전을 제공하는 폐루프를 형성한다. 8개 벤치마크에 걸친 실험은 SPyCE가 RL 기반 및 메모리 기반 베이스라인을 모두 일관되게 능가함을 보여준다. 추가 분석은 계층적 스킬 설계와 공진화 메커니즘이 모두 우리 설계에 핵심적임을 밝힌다. 이 결과는 역량 있는 멀티모달 에이전트 구축을 위한 유망한 패러다임으로서 스킬-정책 공동 최적화를 시사한다.
Human intelligence naturally intertwines omni-modal perception -- spanning vision, audio, and language -- with complex reasoning and tool usage to interact with the world. However, current multi-modal LLMs are primarily confined to bi-modal interactions (e.g., vision-language), lacking the unified cognitive capabilities required for general AI assistants. To bridge this gap, we introduce OmniGAIA, a comprehensive benchmark designed to evaluate omni-modal agents on tasks necessitating deep reasoning and multi-turn tool execution across video, audio, and image modalities. Constructed via a novel omni-modal event graph approach, OmniGAIA synthesizes complex, multi-hop queries derived from real-world data that require cross-modal reasoning and external tool integration. Furthermore, we propose OmniAtlas, a native omni-modal foundation agent under tool-integrated reasoning paradigm with active omni-modal perception. Trained on trajectories synthesized via a hindsight-guided tree exploration strategy and OmniDPO for fine-grained error correction, OmniAtlas effectively enhances the tool-use capabilities of existing open-source models. This work marks a step towards next-generation native omni-modal AI assistants for real-world scenarios.
Multimodal agents can now tackle complex reasoning tasks with diverse tools, yet they still suffer from inefficient tool use and inflexible orchestration in open-ended settings. A central challenge is enabling such agents to continually improve without parameter updates by learning from past trajectories. We identify two complementary forms of reusable knowledge essential for this goal: experiences, providing concise action-level guidance for tool selection and decision making, and skills, providing structured task-level guidance for planning and tool use. To this end, we propose XSkill, a dual-stream framework for continual learning from experience and skills in multimodal agents. XSkill grounds both knowledge extraction and retrieval in visual observations. During accumulation, XSkill distills and consolidates experiences and skills from multi-path rollouts via visually grounded summarization and cross-rollout critique. During inference, it retrieves and adapts this knowledge to the current visual context and feeds usage history back into accumulation to form a continual learning loop. Evaluated on five benchmarks across diverse domains with four backbone models, XSkill consistently and substantially outperforms both tool-only and learning-based baselines. Further analysis reveals that the two knowledge streams play complementary roles in influencing the reasoning behaviors of agents and show superior zero-shot generalization.
멀티모달 AI 에이전트에서 텍스트 삭제 후에도 보존된 사용자 이미지로부터 삭제된 사실이 복원되는 정보 누출 문제를 진단하기 위해, 메모리 표현을 삭제 적합성에 따라 분류하는 정보 출처 그래프(IPG)와 벤치마크 MemLeak을 제안한다. 평가 결과, 보존된 이미지로부터 12.0%의 복원율이 관찰되었으며 이 중 47%는 텍스트로는 탐지 불가능했고, 콘텐츠 인식 의미적 삭제 방식을 적용하면 잔류 누출을 2.0%까지 줄일 수 있음을 여러 VLM과 실서비스 메모리 시스템에서 실증했다.
SWE-agent established the action interface as an underexplored design axis for software-engineering agents; we make the analogous case for the observation interface in computer-use (CU) agents. Current CU agents, closed and open-source alike, tie observation to action--one screenshot every 3-5 s, no audio--leaving them blind and deaf between screenshots to video, animations, transient UI events, meetings, and spoken instructions. We introduce the Agent-Computer Observation Interface (AOI), a model-agnostic perception layer that decouples continuous, adaptive observation from discrete actions through three gated components: inter-step keyframe capture, volume-gated audio transcription, and CU-model-generated visual narration that persists as text. Each produces almost nothing on static, silent content, reducing to the standard loop without degrading it. On DynaCU-Bench (100 dynamic browser tasks plus a 50-task static control), CU models from 7B to frontier scale gain +17 to +48 pp over their screenshot baselines with zero retraining, turning tasks that are near-impossible from periodic screenshots into largely solved ones. The gap is starkest on audio: on a spoken-content subset AOI agents solve every task, whereas streaming voice models hear accurately but cannot act on what they hear without the scaffold. The decomposition is as informative as the headline gain: keyframe selection turns out not to matter--the value comes from narrating captured frames into persistent text--and the interface is not a fixed bundle, since on a newer model (Gemini 3 Flash) the keyframe stream actively regresses through image-token dilution, so its components must be selected per model rather than shipped as one configuration.
소형 MLLM 기반 멀티모달 웹 에이전트의 약한 작업 계획과 웹사이트 간 일반화 한계를 해결하기 위해, 환경을 자율 탐험하고 회고적 경험으로 정렬된 고수준 학습 데이터를 합성하는 PEEU(Planning Experience Exploration and Utilization)를 제안한다. 실제 벤치마크에서 Qwen2.5-VL-7B 기반 모델이 30.6% 정확도로 더 큰 Qwen2.5-VL-32B를 능가했으며, TDHAF 분석은 저수준 원자 기술 숙달만으로는 고수준 계획 역량이 보장되지 않고 고수준 작업 학습이 분포 외(OOD) 일반화에 더 효과적임을 보였다.
멀티모달 에이전트가 인터페이스 이해에서 실제 소프트웨어 제어로 확장됨에 따라, 라이브 데스크톱 환경에서 성공적인 궤적 발견이 핵심 과제가 되었다. GUI 작업은 정밀한 마우스 및 키보드 동작의 장기 시퀀스를 요구하며, VM 롤아웃을 통한 피드백은 희소하고 지연되며 획득 비용이 크다. 우리는 정책 최적화 이전에 환경을 활용해 검증된 감독을 구성하는 학습 시점 검색-필터 파이프라인인 Environment-Native Verified Search(ENVS)를 제안한다. ENVS는 라이브 OSWorld VM에서 행동적으로 구별되는 GUI 동작을 분기하고, 성공한 리프를 검증한 뒤, 전역적으로 균형 잡힌 단계 수준 감독으로 학습한다. 실제적인 데스크톱 중단 상황에서의 견고성을 평가하기 위해, 원래 작업을 유지하면서 에이전트가 라이브 교란 하에 재집중, 닫기, 대기 또는 복구할 수 있는지 검증하는 복구 가능한 데스크톱 중단용 동적 벤치마크 OSWorld-Noisy도 도입한다. 300개 작업 OSWorld 풀에서 ENVS는 원래 평가에서 pass@8 30.3, OSWorld-Noisy에서 29.0을 기록하여, 동등 조건의 ARPO 스타일 온라인 강화학습(RL)을 능가하면서 연산량을 184–192 GPU-hours에서 138–153 GPU-hours로 줄였다. 검색 데이터의 30%만 사용해도 ENVS는 pass@8 27.0에 도달하여 기본 모델의 ARPO를 넘선다. 노이즈 환경에서의 학습은 OSWorld-G Refusal(16.7 vs. 1.9) 및 BLINK Functional Correspondence(26.2 vs. 23.1) 등 보조 벤치마크에서 시각적 추론 능력도 더 잘 보존한다.
본 논문은 멀티모달 소형 언어 모델(SLM) 에이전트의 도구 호출 능력을 향상시키기 위한 강화학습(RL) 방법을 조사합니다. 기존 연구에서는 에이전트의 도구 호출 능력을 향상시키기 위해 다양한 보상 설계를 탐색했지만, 이러한 접근 방식들은 특히 멀티모달 시나리오에서 SLM 학습에 있어 본질적인 한계에 직면합니다. 첫째, 많은 기존 방법들은 특정 정답이나 미리 정의된 형식과의 정확한 일치를 통해 도구 사용 정확성을 평가합니다. 그러나 이러한 가정은 여러 도구 사용 경로가 유효할 수 있고 주석이 달린 도구 궤적(trajectories)이 일반적으로 존재하지 않는 멀티모달 작업에서는 종종 부적절합니다. 둘째, 이러한 희소하고 취약한 이진 보상은 기본이 되는 의사 결정 과정을 개선하는 방법에 대한 지침을 거의 제공하지 못하여, 멀티모달 SLM이 이로부터 학습하는 것을 특히 어렵게 만듭니다. 이러한 문제를 해결하기 위해, 우리는 입력 구성 요소에 대한 모델의 귀속(attribution)을 더 강력한 교사(teacher)의 귀속과 정렬시켜 멀티모달 SLM의 도구 사용을 향상시키는 강화학습(RL) 알고리즘인 입력 귀속 인식 정책 최적화(IAPO)를 제안합니다. Qwen2.5-VL-3B에 대한 실험 결과, 제안된 방법은 모델이 가장 관련성 높은 입력 증거에 주의를 기울이도록 도움으로써 기존 시각적 도구 사용 연구와 비교하여 6개의 테스트 세트에서 평균 3%의 시각적 질의응답 정확도 향상을 보여줍니다.