arXiv:2605.27820v2 cs.AI

EgoBench: 도구 사용 에이전트를 위한 상호작용형 1인칭 시점 멀티모달 벤치마크

EgoBench: An Interactive Egocentric Multimodal Benchmark for Tool-Using Agents

Yunqi Liu, Tong Niu, Zitong Wang, Zhenlong Dai, Yuqi Qing, Weiqiang Wang, Jian Liu

제출 2026-05-27

저자 비고

arXiv Comments

Accepted to NeurIPS 2026. Camera-ready version

한국어 초록

AI 에이전트(agent)가 개방된 실세계 환경(environment)에서 동작하는 일이 점점 늘어남에 따라, 멀티모달 인식, 다단계 추론(multi-hop reasoning)을 수반한 도구 호출, 그리고 사용자와의 동적 상호작용 간의 긴밀한 시너지가 요구됩니다. 그러나 기존 벤치마크(benchmark)들은 엄격하게 결합된 다중 능력 과제 설계, 자연스러우면서도 과제 제약적인 사용자 피드백 시뮬레이션, 동적 상호작용에 대한 객관적 평가 보장 등의 어려움으로 인해 이러한 역량들을 종합적으로 평가하지 못하고 있습니다. 이러한 간극을 메우기 위해, 도구 사용 에이전트를 위한 최초의 상호작용형 멀티모달 벤치마크인 EgoBench를 소개합니다. EgoBench는 5가지 일상 시나리오를 아우르는 1,590개의 1인칭 시점(egocentric) 비디오 그라운딩 과제와 함께 평가를 위한 사용자-에이전트-도구 상호작용 환경으로 구성됩니다. 우리는 시각적 인식과 도구 기반 다단계 추론의 결합 적용을 강제하도록 각 과제를 설계하는 3단계 시너지 파이프라인을 구현합니다. 또한 에이전트의 상호작용 역량을 평가하기 위해 고품질의 과제 맞춤형 응답을 에이전트에 생성하는 다중 에이전트 시뮬레이션 사용자를 개발합니다. 나아가 프로세스 기반 및 결과 기반 동등성을 통해 객관적 평가를 보장하는 결정론적 결합 검증(validation) 프레임워크를 구축합니다. EgoBench에서 8종의 비디오 MLLM 에이전트를 벤치마킹한 결과 심각한 성능 한계가 드러났습니다. 최고 성능의 모델(model)조차 3가지 상호작용 모드 전반에서 평균 결합 성공률(Joint Success Rate)이 34.95%에 불과했습니다. 마지막으로 다차원 오류 분석을 수행하여 실패 모드를 분리하고, 미래의 AI 에이전트 발전을 위한 역량 병목 지점을 규명합니다.

원문 초록

As AI agents increasingly operate in open, real-world environments, they require a deep synergy of multimodal perception, tool invocation with multi-hop reasoning, and dynamic interaction with users. However, existing benchmarks fail to jointly evaluate these capabilities due to challenges in designing strictly coupled multi-capability tasks, simulating natural and task-constrained user feedback, and ensuring objective evaluation of dynamic interaction. To bridge this gap, we introduce EgoBench, the first interactive multimodal benchmark for tool-using agents. EgoBench comprises 1,590 egocentric-video-grounded tasks covering five daily scenarios, along with a user-agent-tool interactive environment for evaluation. We implement a three-stage synergistic pipeline through which each task is designed to enforce the joint application of visual perception and tool-augmented multi-hop reasoning. We additionally develop a multi-agent simulated user to evaluate agents' interaction capabilities, which generates high-fidelity, task-aligned responses to agents. Furthermore, we establish a deterministic joint validation framework that guarantees objective assessment through process-based and result-based equivalence. Benchmarking eight video-MLLM agents on EgoBench reveals a severe performance ceiling: the best-performing model achieves only a 34.95% average Joint Success Rate across the three interaction modes. Finally, we conduct a multi-dimensional error analysis to disentangle failure modes, exposing capability bottlenecks for advancing future AI agents.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.27820v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.39378v2cs.CV공통 태그 Benchmarking, Video Understanding, egocentric video

EgoTools: 실세계 1인칭 시점 비디오에서의 도구 중심 추론을 향하여

EgoTools: Towards Tool-Centric Reasoning in Real-World Egocentric Videos

일상적인 활동부터 전문적인 절차에 이르기까지 실세계의 체화된(embodied) 과제는 에이전트(agent)가 물리적 제약 조건 하에서 행동하는 동시에 변화하는 객체 및 작업 상태를 추적할 것을 요구합니다. 많은 일상 및 전문 활동이 도구를 매개로 이루어지므로, 도구 사용은 이러한 과제의 핵심에 위치합니다. 이를 이해하기 위해서는 어포던스(affordance), 손-도구-객체 간의 기하학적 구조, 절차적 진행 상황, 대상 객체에 미치는 인과적 영향에 대한 추론이 필요합니다. 그러나 캡셔닝 및 일반적인 비디오 QA와 같이 인식 지향적인 비디오 과제에서의 우수한 성능에도 불구하고, 현재의 멀티모달 비디오 모델들은 이러한 형태의 도구 중심 체화 추론에서 여전히 한계를 보입니다. 이러한 방향의 발전은 실세계 1인칭 시점(egocentric) 데이터와 진단용 벤치마크(benchmark)의 부재로 인해 제한되어 왔습니다. 이러한 공백을 해결하기 위해, 본 논문에서는 1인칭 시점 도구 사용 이해를 위한 최초의 종합적인 스위트인 EgoTools를 소개합니다. 이는 상호 보완적인 두 가지 구성 요소로 이루어져 있습니다. 동기화된 오디오, 조밀한 캡션, 추론 중심의 내레이션 및 보조 3D 정보를 포함하는 100시간 분량의 도구 중심 1인칭 시점 녹화 대규모 말뭉치인 EgoTools-Data와, 인식 및 기하학적 구조부터 절차 및 인과 추론에 이르는 도구 사용 이해를 다루는 4개 트랙 전반의 1,000개 QA 쌍으로 구성된 진단용 벤치마크인 EgoTools-Bench입니다. 실험 결과는 현재 모델들이 시각적 증거에 기반하여 도구 사용을 그라운딩(grounding)하는 데 여전히 어려움을 겪고 있음을 보여줍니다. Gemini-3.1-Pro는 전반적으로 66.9%의 정확도를 달성했으나 인식 및 그라운딩(Perception & Grounding)에서는 51.7%에 그쳤습니다. 평가를 넘어, 본 연구는 EgoTools-Data가 학습(training) 자원으로서 유효함을 검증합니다. 전체 1,000개 질문 벤치마크에서 엄격한 원본 비디오 분리 조건 하에 전체 지도 미세조정(supervised fine-tuning)을 적용했을 때 Qwen3-VL-8B-Instruct의 성능이 50.0%에서 60.9%로 향상되었습니다. 종합적으로 이러한 결과들은 EgoTools가 실세계 1인칭 시점 도구 사용 이해의 학습과 진단 평가 모두를 위한 통합 자원임을 입증합니다.

arXiv:2610.01461v1cs.AI공통 태그 Benchmarking, Video Understanding, egocentric video

NextMe-800: 수개월의 1인칭 시점 비디오로부터 개인의 행동 예측하기

NextMe-800: Anticipating Personal Behavior from Months of Egocentric Video

우리는 종종 야심 차게 계획을 세우지만 습관적으로 행동하며, 실제로 어떻게 행동할지 알았더라면 다르게 계획했을지 사후에 반추하곤 합니다. 사후 판단(hindsight)은 과거의 결정에 귀중한 통찰을 제공하지만, 우리는 흔히 선택의 순간에 이러한 사후 판단을 시뮬레이션할 수 있기를 바라곤 합니다. 만약 시스템이 개인의 과거 이력으로부터 타당한 행동 궤적을 생성할 수 있다면, 이러한 미리보기는 사람들이 더 현실적인 계획을 세우고 더 나은 정보를 바탕으로 결정을 내리는 데 도움이 될 수 있습니다. 본 연구에서는 한 명의 자원봉사자로부터 126일에 걸쳐 1Hz 이미지, 시선, 오디오를 기록하고 원자 단위 행동부터 주요 활동까지 5단계의 계층적 추상화 수준으로 캡션을 작성한 약 800시간 분량의 1인칭 데이터셋인 NextMe-800을 소개합니다. 우리는 개인화된 행동 예측(action anticipation)을 개방형 어휘(open-vocabulary) K단계 시퀀스 예측 문제로 정의하고, NextMe-800과 다인칭 EgoLife 데이터셋을 결합하여 1,500개 평가 지점으로 구성된 NextAct 벤치마크를 구축합니다. 임베딩 기반의 소프트 편집 거리(soft edit distance)를 지표로 활용하여, 추상화 수준과 예측 기간(horizon) 전반에 걸쳐 다양한 모델이 개인의 행동을 얼마나 잘 예측할 수 있는지 평가합니다. NextMe-800과 NextAct는 1인칭 시점의 관찰로부터 개인의 행동을 얼마나 먼 미래까지 예측할 수 있는지 연구하기 위한 수개월 분량의 자원 및 평가 프레임워크를 제공합니다.

arXiv:2610.02946v2cs.CV공통 태그 Benchmarking, Video Understanding

아무것도 예측하지 않는 것이 SAM 3를 능가할 때: 비디오 객체 분할 평가의 재검토

When Predicting Nothing Beats SAM 3: Revisiting Evaluation in Video Object Segmentation

복잡하고 긴 비디오에서의 비디오 객체 분할(Video Object Segmentation, VOS)은 대상 객체가 긴 시간 지평 내에서 간헐적으로만 나타나는 경우가 많은 실제 응용 분야에서 점차 중요해지고 있습니다. 그러나 기존 벤치마크는 대부분 비디오의 대부분 동안 가시적으로 유지되는 시간적으로 두드러진 객체에 주로 초점을 맞추고 있습니다. 이러한 공백을 해결하기 위해 본 논문에서는 낮은 시간적 가시성 조건에서 VOS 방법을 평가하도록 설계된 벤치마크인 FaVOS(A Benchmark for Video Object Segmentation with Fractional Temporal Visibility)를 소개합니다. 우리는 이러한 조건에서 표준 J&F 지표가 대상이 존재하지 않는 프레임에 대한 빈 예측에 높은 보상을 부여하기 때문에 VOS 평가를 부재 분류(absence classification)로 전락시킬 수 있음을 보입니다. 그 결과, 자명한 빈 마스크 예측기조차 SAM 3와 같은 강력한 모델을 능가할 수 있으며, 이는 현재 지표와 실질적인 VOS 성능 간의 근본적인 불일치를 드러냅니다. 이 문제를 완화하기 위해 마스크 시퀀스를 시공간 볼륨으로 평가하고 분할 품질 및 시간적 구조에 대한 민감도를 유지하면서 대상 부재 보상의 지배력을 줄이는 Volumetric J&F를 제안합니다. 프로젝트 페이지: https://aidaslab.github.io/FaVOS.

arXiv:2610.15722v1cs.CV공통 태그 Benchmarking, Video Understanding

PhySimCode: 물리 비디오-코드 생성을 위한 벤치마크 및 평가 방법

PhySimCode: A Benchmark and Evaluation Method for Physics Video to Code Generation

멀티모달 대규모 언어 모델(MLLM)은 비디오 이해와 코드 생성에 뛰어나지만, 비디오에 내재된 물리 법칙을 복원할 수 있는지는 명확하지 않다. 이는 비디오를 실행 가능한 시뮬레이션으로 변환하고 로보틱스에서 구조화된 물리적 감독(supervision)을 제공하는 데 필수적인 능력이다. 모션 비디오에 대한 캡션 생성이 모델이 그 지배 역학(governing dynamics)을 추론했거나, 정량적 매개변수를 추정했거나, 코드로부터 관찰된 장면을 재생성할 수 있음을 의미하지는 않는다. 기존 비디오-물리 벤치마크는 타당성(plausibility), 속성 추정, 미래 상태 예측을 평가하지만, 모델이 시각적 역학을 실행 가능한 시뮬레이션 코드로 변환할 수 있는지에 대해서는 제한적인 통찰만 제공한다. 우리는 물리 비디오-코드 생성을 위한 벤치마크인 PhySimCode를 소개한다: 원본 비디오만 주어졌을 때, 모델은 관련 물리를 추론하고, 매개변수 값을 복원하며, 입력 비디오를 재현하는 실행 가능한 Python 코드를 생성해야 한다. 이 데이터셋은 해석적(analytic) SciPy 시뮬레이션과 PyBullet으로 렌더링된 강체(rigid-body), 관절체(articulated), 유체(fluid), 접촉이 많은(contact-rich) 장면에 걸친 162개의 물리 현상을 다루는 160.6K개의 절차적으로 생성된 샘플을 포함한다. 각 샘플은 시뮬레이션 코드, 물리적 매개변수, 렌더링된 비디오, 그리고 관찰(observations), 법칙(laws), 상미분방정식(ODE), 수치 방법(numerical methods), 검증(validation) 검사를 다루는 구조화된 사고의 연쇄(chain-of-thought)를 함께 제공한다. 우리는 물리 법칙의 정확성, 시뮬레이션 동등성, 코드 실행 가능성, 매개변수 복원 측면에서 10개의 최신 비공개 및 공개 소스 MLLM을 평가한다. 모델들은 물리 법칙을 안정적으로 서술하지만(5점 만점에 4.27-4.93점), 비디오로부터 이를 추론하는 데에는 5점 만점에 1.51-2.47점만을 기록했으며, 최고 성능 시스템(Claude Sonnet 4.6)도 실제값(ground-truth) 매개변수의 ±20% 이내로 복원한 비율은 7.7%에 불과해, 비디오-시뮬레이션 간의 상당한 격차를 드러냈다. 2,430개 비디오로 구성된 평가 세트는 https://huggingface.co/datasets/SourajaKundu123/PhySimCode 에서, 평가 코드는 https://github.com/SourajaKundu/PhySimCode 에서 확인할 수 있다.

arXiv:2610.02715v1cs.AI공통 태그 Benchmarking, egocentric video

Ego2World: 1인칭 시점 요리 영상을 신념 상태 계획 수립을 위한 실행 가능한 환경으로 컴파일하기

Ego2World: Compiling Egocentric Cooking Videos into Executable Worlds for Belief-State Planning

1인칭(Egocentric) 영상은 사람들이 일상 활동을 수행하는 방식을 포착하지만, 에이전트(agent)를 테스트하려면 에이전트가 스스로 선택한 행동의 결과를 평가해야 합니다. 본 연구에서는 주석이 달린 요리 활동을 부분 관측 환경에서의 실행 가능한 계획 수립(planning) 환경으로 변환하는 벤치마크인 Ego2World를 소개합니다. 이 시스템의 컴파일러는 원본 단계와 객체를 기호적 행동 규칙, 영속적 세계 상태, 명시적 작업 조건에 연결하여, 연구자가 에이전트가 제안한 행동을 실행하고 그 결과를 확인할 수 있도록 합니다. 세계 상태와 에이전트 신념(belief)은 별도로 유지되므로, 지속적인 작업 전반에 걸친 계획 수립 및 정보 재사용에 대한 통제된 연구가 가능합니다. 105개 작업에서 6개의 플래너를 평가한 결과, 승인된 작업이라도 작업 목표를 달성하지 못하는 경우가 많은 것으로 나타났습니다. 실행 추적과 조건 검사는 중단된 실행, 부분적 달성, 목표 달성 없는 완료 실행을 구분합니다. 별도의 대응쌍 Qwen-Plus 연구에서, 지속적인 신념 유지는 행동 유효성을 4.15%포인트 향상시키고 시각적 질의 시도를 90.27% 감소시켰으나, 토큰(token) 사용량이 늘어났고 감지 가능한 완료율 향상은 나타나지 않았습니다. Ego2World는 계획 수립 및 메모리 선택이 실행, 관측 수요, 작업 달성에 미치는 영향을 추적할 수 있는 재사용 가능한 테스트베드를 제공하여, 기록된 인간 활동을 상호작용형 에이전트의 개발 및 평가와 연결합니다.

arXiv:2610.03099v1cs.CV공통 태그 Benchmarking, Video Understanding

단일 비디오를 넘어서: 전자상거래 교차 비디오 추론을 위한 벤치마킹 및 능동적 증거 탐색

Beyond Single Videos: Benchmarking and Active Evidence Seeking for E-Commerce Cross-Video Reasoning

전자상거래 비디오는 정보 밀도가 높으며, 제품을 평가하는 소비자와 마케팅 전략을 평가하는 판매자에 의해 빈번하게 비교됩니다. 그러나 기존의 멀티모달 모델은 주로 단일 비디오 이해에 초점을 맞추고 있어 비디오 전반에 걸친 정보를 비교하는 능력이 제한적입니다. 본 논문에서는 6가지 추론 차원에 걸쳐 2,483개의 비디오와 6,110개의 질문-답변 쌍을 포함하는 최초의 전자상거래 교차 비디오 추론(cross-video reasoning) 벤치마크인 AdsCVR을 소개합니다. 교차 비디오 추론을 수행하려면 모델이 수많은 중복 프레임 사이에서 세밀한 증거를 찾아내고 시각적 세부 사항, 음성, 화면 텍스트를 통합해야 합니다. 이에 따라 저자들은 정적 균일 샘플링을 능동적 증거 수집으로 대체하여 다중 턴 탐험(exploration) 과정에서 시각 및 음향 도구를 동적으로 선택하는 에이전트 프레임워크인 AdSeek을 제안합니다. 강화학습(reinforcement learning, RL)의 희소한 신용 할당(sparse credit assignment) 문제를 해결하기 위해, RL로 생성된 궤적에서 추론 오류와 누락된 멀티모달 증거를 식별하는 오프라인 궤적 교정 메커니즘을 개발했습니다. 교정된 궤적은 RL 과정에서 학습된 편향을 줄이는 지도 미세조정(supervised fine-tuning) 신호를 제공합니다. 이 메커니즘은 초기 RL이 추론 병목을 드러내고, 지도 미세조정이 이를 수정하며, 최종 RL 단계가 정책을 더욱 향상시키는 교정 기반 부트스트래핑 파이프라인을 지원합니다. AdSeek은 AdsCVR 테스트 분할에서 74.30%의 정확도를 달성하여 백본인 Qwen3-VL-8B-Instruct 대비 27.90%p 뛰어난 성능을 보였습니다. 또한 오픈 도메인 CrossVid 벤치마크에도 일반화되어 효과적인 능동적 증거 수집 능력을 입증했습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.