ACE: 제로샷 워크플로 추론을 통한 체화된 조작을 위한 에이전트 기반 제어
ACE: Agentic Control for Embodied Manipulation via Zero-shot Workflow Reasoning
범용 조작(manipulation)은 작업 제약 조건에 대한 의미론적 추론과 접촉이 빈번한 동작의 신뢰성 있는 실행을 모두 필요로 합니다. 본 논문에서는 상위 수준 언어 에이전트(agent)와 재사용 가능한 마스크 조건부 시각운동 정책(visuomotor policy)을 결합한 에이전트 기반 조작 하네스(harness)인 ACE를 제시합니다. 개방형 지시가 주어지면, 에이전트는 의미론적 제약 조건을 해결하고 물체를 목적지 역할에 바인딩하며, 추적되는 픽앤플레이스(pick-and-place) 마스크로 표현되는 실행 가능한 이동 단위로 작업을 분해합니다. 실행 피드백은 결과 평가, 재그라운딩(re-grounding) 및 재시도를 지원하는 한편, 지속적인 객체 및 작업 컨텍스트는 조작으로 인해 가시적 단서가 변경될 때 이전 연관성을 보존합니다. 저자들은 두 가지 실제 물리적 다단계 테이블탑 작업인 의미론적 공식 조립(Semantic Formula Assembly)과 제약 조건 검색(Constraint Retrieval)에서 ACE를 평가합니다. 시각운동 정책은 일반적인 픽앤플레이스 시연 데이터만으로 학습(training)되며 두 평가 작업에 대한 완전한 시연 없이도 재사용되어 작업 수준의 제로샷(zero-shot) 구성을 가능하게 합니다. 작업당 20회의 무작위 시험에서 ACE는 지속적인 컨텍스트가 없을 때의 55% 및 70%와 비교하여 각각 70% 및 80%의 성공률을 달성합니다. 이러한 결과는 에이전트 기반 하네스가 명시적인 물체-목적지 인터페이스와 폐루프 실행 피드백을 통해 기본 동작으로 학습된 조작 정책을 의미론적으로 상이한 작업으로 확장할 수 있음을 시사합니다.