액션 청킹 이면의 안정성 가정 측정
Measuring the Stability Assumption Behind Action Chunking
액션 청킹(Action chunking)은 행동 복제(behavioral cloning)로 학습된 정책의 성능을 향상시키며, 이를 설명하기 위해 시간적 일관성, 수평선 축소(horizon reduction), 표현 학습, 오차 누적 감소 등 여러 메커니즘이 제안되어 왔습니다. 본 연구에서는 그 대신 시스템에 액션 오차가 유입되었을 때 어떤 일이 발생하는지를 조사합니다. 연구진은 각 상태에서 작은 액션 오차를 주입하고, 두 가지 실행 체제 하에서 오차가 얼마나 빠르게 커지거나 줄어드는지 측정합니다. 두 실행 체제는 재계획 없이 청크의 나머지 부분을 재생하는 개루프(open-loop) 체제와 섭동(perturbation) 이후 정책이 재계획을 수행하는 폐루프(closed-loop) 체제입니다. 피팅된 변화율을 바탕으로 각 상태를 수축(contracting), 팽창(expanding), 또는 미해결(unresolved) 상태로 분류합니다. 3개의 벤치마크 스위트에 걸친 12개의 조작(manipulation) 태스크 전반에서, 전파율을 판별할 수 있는 상태 중 확실하게 안정적인 상태는 드문 반면 오차 증폭은 흔하게 발생함을 발견했습니다. 나아가 측정된 전파율이 피팅 수평선에 크게 의존한다는 점을 확인했습니다. 증폭은 일반적으로 초기에 집중되므로, 짧은 윈도우는 더 긴 수평선의 전파를 과대평가할 수 있습니다. 마지막으로 이러한 레이블을 바탕으로 예측기를 학습시킨 결과, 카메라 프레임과 고유감각(proprioception) 정보만으로도 상태의 개루프 체제를 복원할 수 있는 반면, 폐루프 전파는 섭동 후 정책이 어떻게 행동하는지에도 의존하기 때문에 부분적으로만 복원 가능하다는 점을 확인했습니다. 이러한 결과는 오차 누적에 관한 주장만으로는 액션 청킹을 완전히 설명할 수 없음을 시사합니다. 즉, 수동적인 개루프 동역학도 정책의 재계획도 주입된 오차를 일관되게 수축시키지 못하며, 재계획이 개루프 증폭을 확실한 수축으로 전환하는 경우는 매우 드뭅니다. 이는 폐루프 반응성을 표준 모방 학습(imitation learning)을 통해 안정적으로 창발되기를 기대하기보다는, 정책이 회복해야 하는 편차에 노출되도록 섭동 및 트리 커버리지 지향 학습(tree-coverage-oriented training)을 사용하여 명시적으로 학습시켜야 함을 시사합니다.