ABot-AgentOS: 평생 멀티모달 메모리를 갖춘 범용 로봇 에이전트 OS
ABot-AgentOS: A General Robotic Agent OS with Lifelong Multi-modal Memory
최근 VLM 및 VLA 시스템은 로봇의 인식과 행동 예측을 향상시켰지만, 장기 구체화 에이전트(long-horizon embodied agent)는 여전히 추론, 메모리, 도구 사용, 검증, 다중 로봇 실행을 위한 범용 런타임 층(layer)을 필요로 한다. 본 논문에서는 ABot-AgentOS를 제안한다. 이는 저수준 컨트롤러 위에 위치하며, 씬 조건부 계획(scene-conditioned planning), 컨텍스트 격리 스킬 실행(context-isolated skill execution), 다단계 검증, 멀티모달 메모리, 엣지-클라우드 협업을 제공하는 심의적 에이전트 층을 갖춘 범용 로봇 에이전트 운영 체제이다. 이러한 시스템을 평가하기 위해 EmbodiedWorldBench를 도입한다. 이는 실내, 실외, 혼합 씬 16개, 4단계 난이도, 탐색·객체 탐색·NPC 대화·동적 이벤트·트레이스 기반 채점을 포함하는 200개 이상의 태스크로 구성된 실행 가능한 벤치마크이다. ABot-AgentOS는 또한 Universal Multi-modal Graph Memory를 도입한다. 이는 대화, 시각적 관측, 공간 맥락, 시간적 관계, 태스크 트레이스를 타입이 지정된 노드와 에지로 변환하는 지속적 소스 기반 기억 기반(substrate)이다. 실패 기반 자기 진화 루프(failure-driven self-evolution loop)는 진단된 메모리 실패를 게이트 방식의 런타임 evo-asset으로 변환하여, 현재 평가 분할의 정답 누출을 방지하면서 지속적 개선을 가능하게 한다. EmbodiedWorldBench 초기 부분집합에서 ABot-AgentOS는 단일 컨트롤러 기준선(baseline) 대비 태스크 성공률과 목표 완료율 모두에서 향상을 보인다. 메모리 벤치마크 전반에 걸쳐 ABot-AgentOS Static은 LoCoMo에서 87.5, OpenEQA EM-EQA에서 59.9, Mem-Gallery에서 88.6, NExT-QA에서 Acc@All 76.5를 달성하며, 자기 진화를 통해 LoCoMo는 88.7, OpenEQA는 60.4, Mem-Gallery는 89.0으로 추가 향상된다. 이러한 결과는 범용 에이전트 OS 층이 지속적 상호작용을 위한 지속적이고 감사 가능한 메모리를 제공하면서 장기 구체화 실행을 개선할 수 있음을 시사한다.