CoStream: 일반화 가능한 복잡 조작을 위한 단순 행동의 조합
CoStream: Composing Simple Behaviors for Generalizable Complex Manipulation
GPU를 PCIe 슬롯에 장착하는 것과 같은 장기적(long-horizon)이고 접촉이 많은(contact-rich) 복잡 조작 작업은 밀리미터 수준의 높은 정밀도와 새로운 작업에 대한 즉각적인 일반화(out-of-the-box generalization)를 모두 요구한다. 기존 패러다임은 이 둘을 동시에 만족시키기 어렵다. 고전적 파이프라인은 높은 정밀도 제어를 위해 깨지기 쉬운(brittle) 작업별 인터페이스를 사용하지만, 새 작업에 적응하려면 비용이 큰 파이프라인 재설계가 필요하며, 단일(monolithic) end-to-end 정책(policy)은 더 나은 일반화를 제공하지만 복잡한 분포 외(out-of-distribution) 작업에서는 새 데이터로 재학습하지 않으면 높은 정밀도가 부족하다. 두 패러다임 모두 조작 능력을 한번 습득하면 이를 자유롭게 분해하고 재조합하는 것이 아니라, 경직된 파이프라인이나 단일체 전체로 배포해야 한다는 암묵적 가정을 공유한다. 본 논문에서는 복잡한 조작 능력이 단순하고 독립적인 행동들의 조합으로부터 자연스럽게 창발할 수 있음을 보인다. 단일 정책이나 경직된 파이프라인을 배포하는 대신, 우리는 foundation model과 다양한 센싱 모달리티를 여러 개의 조합 가능한(composable) 핵심 행동으로 조율(orchestrating)하는 프레임워크인 CoStream을 제안한다. 의미(semantic) 행동은 foundation model을 통해 공간적 제약을 추출하고, 예측(predictive) 행동은 상상(imagined) 비디오에서 키포인트를 추적하여 궤적을 예측하며, 반응(reactive) 행동은 고주파 촉각 및 힘 보정을 제공한다. 공유된 $SE(3)$ 인터페이스에서 이러한 출력들은 각 제어 단계마다 우측 곱(right-multiplication)으로 단일 포즈(pose) 명령으로 조합되며, 순응(compliant) 제어기에 의해 실행된다. 우리는 일상 조작과 정밀 조립을 아우르는 8개의 실세계 작업에서 CoStream을 시연하고, 접촉이 많은 조립 및 객체 이동에서 가장 큰 향상을 보이며, 실행 중 수동 교란(manual perturbations)으로부터의 견고한 복구를 보여준다. {Website:} https://costream-simple.github.io