휴면기 나무 가지치기는 노동 집약적이지만 현대의 고생산성 과수원을 유지하는 데 필수적이다. 본 연구에서는 줄기와 주지가 대략 평면 벽 형태로 유도되는 현대 평면형 나무 재배 시스템—V-Trellis 사과와 UFO 체리—의 가지치기에 초점을 둔다. 로봇 가지치기를 위한 폐루프 시각-운동(visuomotor) 제어기를 학습하는 end-to-end 파이프라인을 제안한다. 이 제어기는 시뮬레이션과 합성 생성 데이터만으로 전적으로 학습되며, 제로샷(zero-shot) 방식으로 실제 과수원에 배포된다. 파이프라인은 평면형 과수원 나무 메시의 합성 생성, 물리 기반 과수원 시뮬레이터 구축, 모션 플래닝(motion planning)을 통한 성공적인 가지치기 궤적의 자동 수집, 오프라인 시연과 온라인 시뮬레이션 롤아웃(rollout)을 결합하는 새로운 하이브리드 강화학습 알고리즘을 이용한 정책 학습으로 구성된다. 제어기는 손목 장착 카메라의 optical flow 입력을 사용—전체 3D 재구성이 필요 없음—하여 복잡한 가지 환경에서 지정된 절단점까지 올바른 공구 방향으로 절단기를 연속적으로 안내한다. 3,000개 가지치기 지점에 대한 포괄적인 시뮬레이션 작업 공간 평가에서 정책은 V-Trellis 사과에서 49.9%, UFO 체리에서 46.0%의 성공률을 달성한다. 학습된 제어기를 상업 및 실험 과수원에서의 28회 옥외 현장 시험과 10회 실내 실험실 시험을 포함한 38회 물리 시험에서 검증하여 제로샷 sim-to-real 전이를 입증한다. 학습된 정책은 또한 실험실 시험의 물리 하드웨어에서 고전 RRT-Connect 기준선을 능가한다.
로봇공학을 위한 기존 비전 인코더는 근본적인 병목 현상에 직면해 있습니다: 로봇 데이터셋은 대규모 사전학습에 필요한 규모가 부족합니다. 기존 연구는 인터넷 규모의 이미지 및 언어 데이터나 인간 중심(egocentric) 비디오로 전환하여 이러한 데이터 부족 문제를 해결했습니다. 이러한 모델들은 유망해 보이지만, 어느 패러다임도 다운스트림 시각-운동 제어 정책에 필요한 시각-행동 쌍 데이터로부터 학습하지 않습니다. 그러나 이러한 쌍을 이루는 신호의 가장 직접적인 출처인 로봇 궤적은 사전학습 규모로는 구할 수 없어, 대신 풍부한 인간 비디오에서 행동 신호를 추출하도록 동기를 부여받았습니다. 이를 위해 CAIP(Contrastive Action-Image Pre-training)를 소개합니다. CAIP는 대규모 인간 중심(egocentric) 비디오의 인간 손 자세를 엔드 이펙터(end-effector) 행동의 대리 수단으로 간주하는 비전 인코더입니다. 다운스트림 로봇 행동 공간과 자연스럽게 정렬되는 표현인 3D 손 키포인트를 추출함으로써, CAIP는 대조적 목적 함수(objective)를 통해 통합된 행동-이미지 표현을 학습합니다. 32,041시간의 인간 중심(egocentric) 비디오와 단 88시간의 로봇 조작 데이터를 활용하여, CAIP는 DINOv2, SigLIP, MVP 및 R3M을 포함한 최첨단(SOTA) 비전 인코더를 능가합니다. Dexmate Vega 및 Sharpa Wave 손을 사용하는 도전적인 실제 환경의 정교한 조작 설정에서 평가했을 때, CAIP는 접기, 붓기 및 미세 조작이 포함된 작업에서 30% 이상의 성능 향상을 보여주었습니다. 우리의 결과는 대조적 행동 중심 사전학습 방법이 물리적 상호작용에 더 적합한 견고한 시각 표현을 달성하기 위한 확장 가능한 경로를 제공함을 보여줍니다.