Embodied Web Agents: Bridging Physical-Digital Realms for Integrated Agent Intelligence
한국어 초록
오늘날 AI 에이전트는 대부분 분리되어 운영되고 있습니다. 이들은 온라인에서 획득한 방대한 디지털 정보와 지식을 검색하고 추론하거나, 혹은 구현된 지각, 계획 및 행동을 통해 물리적 세계와 상호작용하지만, 두 가지를 동시에 수행하는 경우는 드뭅니다. 이러한 분리는 온라인 레시피를 활용한 요리, 동적 지도 데이터를 이용한 내비게이션, 웹 지식을 활용한 실제 랜드마크 해석 등 물리적 지능과 디지털 지능의 통합이 필요한 과제 해결 능력을 제한합니다. 본 논문에서는 구현된 지능과 웹 규모 추론을 유기적으로 연결하는 새로운 AI 에이전트 패러다임인 Embodied Web Agents를 제안합니다. 이를 실현하기 위해, 현실감 있는 3D 실내외 환경과 기능적인 웹 인터페이스를 긴밀히 통합한 통합 시뮬레이션 플랫폼인 Embodied Web Agents 과제 환경을 먼저 개발하였습니다. 이 플랫폼을 기반으로 요리, 내비게이션, 쇼핑, 관광, 지리 위치 확인 등 물리적 영역과 디지털 영역 간의 협력적 추론을 요구하는 다양한 과제를 포함하는 Embodied Web Agents 벤치마크를 구축 및 공개합니다. 실험 결과는 최신 AI 시스템과 인간 능력 간에 상당한 성능 격차가 존재함을 보여주며, 구현된 인지와 웹 규모 지식 접근의 교차점에서 도전과 기회를 동시에 제시합니다. 모든 데이터셋, 코드 및 웹사이트는 프로젝트 페이지(https://embodied-web-agent.github.io/)에서 공개되어 있습니다.
원문 초록
AI agents today are mostly siloed - they either retrieve and reason over vast amount of digital information and knowledge obtained online; or interact with the physical world through embodied perception, planning and action - but rarely both. This separation limits their ability to solve tasks that require integrated physical and digital intelligence, such as cooking from online recipes, navigating with dynamic map data, or interpreting real-world landmarks using web knowledge. We introduce Embodied Web Agents, a novel paradigm for AI agents that fluidly bridge embodiment and web-scale reasoning. To operationalize this concept, we first develop the Embodied Web Agents task environments, a unified simulation platform that tightly integrates realistic 3D indoor and outdoor environments with functional web interfaces. Building upon this platform, we construct and release the Embodied Web Agents Benchmark, which encompasses a diverse suite of tasks including cooking, navigation, shopping, tourism, and geolocation - all requiring coordinated reasoning across physical and digital realms for systematic assessment of cross-domain intelligence. Experimental results reveal significant performance gaps between state-of-the-art AI systems and human capabilities, establishing both challenges and opportunities at the intersection of embodied cognition and web-scale knowledge access. All datasets, codes and websites are publicly available at our project page https://embodied-web-agent.github.io/.
요약
현재 AI 에이전트는 주로 디지털 정보 탐색과 물리적 환경 상호작용 중 하나에 집중되어 있어, 두 영역을 통합한 복합적인 문제 해결에 한계가 있습니다. Embodied Web Agents는 이러한 물리적 체현(embodiment)과 웹 기반 대규모 추론을 유기적으로 연결하는 새로운 패러다임을 제안합니다. 이를 위해 3D 실내외 환경과 웹 인터페이스를 통합한 시뮬레이션 플랫폼과 다양한 실제 과제를 포함하는 벤치마크를 개발하여, 물리적·디지털 영역 간 협업 능력을 체계적으로 평가합니다. 실험 결과는 최신 AI 기술과 인간 능력 간 큰 성능 격차를 보여주며, 체현 인지와 웹 지식 접근의 융합 분야에서 도전과 기회를 동시에 제시합니다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.