뜻밖의 로봇 정책: RoboDojo 및 그 너머에서의 GPT-6 Astra 초기 평가
An Unexpected Robot Policy: Early Evaluations of GPT-6 Astra on RoboDojo and Beyond
체화 AI(Embodied AI) 시스템은 종종 System 1과 System 2로 구성된다. System 1은 일반적으로 높은 빈도로 동작을 생성하는 사전학습된 정책이며, System 2는 고수준 계획을 위해 시각 기능이 갖춰진 언어 모델로 구현되는 경우가 많다. 우리는 과제별 파인튜닝 없이 대규모 언어 모델(LLM)이 로봇 조작을 위한 정책으로 작동할 수 있는지 묻는다. 이 설정을 LLM as policy라고 부른다. 42개 RoboDojo 과제 전부에서 세 LLM을 평가하고 점수를 40개 공개 정책과 비교한다. Astra와 GPT-5.5는 공식 과제당 50 에피소드 프로토콜을 사용하고, DeepSeek-Flash는 과제당 10 에피소드를 사용한다. GPT-6 Astra는 2,100회 시행에서 평균 성공률 22.48%와 Score 28.97을 달성하여 모든 공개 항목보다 높은 순위를 기록한다. 그러나 동일한 후처리를 적용하면 GPT-5.5와 DeepSeek-Flash는 각각 평균 성공률 0.88%와 1.92%에 그친다. Astra는 뚜렷이 양극화된 역량 프로필을 보인다. 의미론적 이해는 필요하지만 고정밀 제어는 필요하지 않은 과제에는 잘 일반화한다. 반면 정밀도, 동적 제어, 복잡한 양손 협조가 필요한 과제에서는 성능이 낮다. 문맥 내 학습(ICL) 실험에서는 원샷(one-shot) 시연으로부터 집계 수준의 이득이 없었고, 선별된 상호작용 trace는 교란(perturbation) 하에서 에피소드 내 수정을 보여준다. 전반적으로 평가된 LLM들은 조작 성능에서 크게 다르다. Astra는 두드러지며 범용 조작 모델의 잠재력에 대한 초기 증거를 제공하지만, 평가된 설정에서는 신뢰할 수 있는 정밀도와 동적 제어가 여전히 한계로 남는다.