arXiv:2610.01626v1 cs.AI

액션 청킹 이면의 안정성 가정 측정

Measuring the Stability Assumption Behind Action Chunking

Aryan Goyal

제출 2026-10-01

저자 비고

arXiv Comments

18 pages, 9 figures, 18 tables

한국어 초록

액션 청킹(Action chunking)은 행동 복제(behavioral cloning)로 학습된 정책의 성능을 향상시키며, 이를 설명하기 위해 시간적 일관성, 수평선 축소(horizon reduction), 표현 학습, 오차 누적 감소 등 여러 메커니즘이 제안되어 왔습니다. 본 연구에서는 그 대신 시스템에 액션 오차가 유입되었을 때 어떤 일이 발생하는지를 조사합니다. 연구진은 각 상태에서 작은 액션 오차를 주입하고, 두 가지 실행 체제 하에서 오차가 얼마나 빠르게 커지거나 줄어드는지 측정합니다. 두 실행 체제는 재계획 없이 청크의 나머지 부분을 재생하는 개루프(open-loop) 체제와 섭동(perturbation) 이후 정책이 재계획을 수행하는 폐루프(closed-loop) 체제입니다. 피팅된 변화율을 바탕으로 각 상태를 수축(contracting), 팽창(expanding), 또는 미해결(unresolved) 상태로 분류합니다. 3개의 벤치마크 스위트에 걸친 12개의 조작(manipulation) 태스크 전반에서, 전파율을 판별할 수 있는 상태 중 확실하게 안정적인 상태는 드문 반면 오차 증폭은 흔하게 발생함을 발견했습니다. 나아가 측정된 전파율이 피팅 수평선에 크게 의존한다는 점을 확인했습니다. 증폭은 일반적으로 초기에 집중되므로, 짧은 윈도우는 더 긴 수평선의 전파를 과대평가할 수 있습니다. 마지막으로 이러한 레이블을 바탕으로 예측기를 학습시킨 결과, 카메라 프레임과 고유감각(proprioception) 정보만으로도 상태의 개루프 체제를 복원할 수 있는 반면, 폐루프 전파는 섭동 후 정책이 어떻게 행동하는지에도 의존하기 때문에 부분적으로만 복원 가능하다는 점을 확인했습니다. 이러한 결과는 오차 누적에 관한 주장만으로는 액션 청킹을 완전히 설명할 수 없음을 시사합니다. 즉, 수동적인 개루프 동역학도 정책의 재계획도 주입된 오차를 일관되게 수축시키지 못하며, 재계획이 개루프 증폭을 확실한 수축으로 전환하는 경우는 매우 드뭅니다. 이는 폐루프 반응성을 표준 모방 학습(imitation learning)을 통해 안정적으로 창발되기를 기대하기보다는, 정책이 회복해야 하는 편차에 노출되도록 섭동 및 트리 커버리지 지향 학습(tree-coverage-oriented training)을 사용하여 명시적으로 학습시켜야 함을 시사합니다.

원문 초록

Action chunking improves the performance of policies learned by behavioural cloning, and several mechanisms have been proposed to explain why, including temporal consistency, horizon reduction, representation learning, and reduced error compounding. We instead study what happens to an action error once it enters the system. At each state, we inject a small action error and measure how fast it grows or shrinks under two execution regimes: open-loop, where the rest of the chunk is replayed without replanning, and closed-loop, where the policy replans after the perturbation. The fitted rate labels each state as contracting, expanding, or unresolved. Across twelve manipulation tasks from three benchmark suites, we find that confidently stable states are rare, while error amplification is common among states whose propagation rate can be resolved. We further find that the measured propagation rate depends strongly on the fitting horizon: amplification is typically front-loaded, so short windows can overestimate longer-horizon propagation. Finally, we train predictors on these labels and find that a state's open-loop regime can be recovered from camera frames and proprioception alone, while its closed-loop propagation is only partially recoverable because it also depends on how the policy acts after the perturbation. These results suggest that error-compounding arguments alone do not provide a complete account of action chunking: neither passive open-loop dynamics nor policy replanning consistently contracts an injected error, and replanning rarely turns open-loop amplification into confident contraction. This suggests that closed-loop reactivity should be trained explicitly, using perturbation- and tree-coverage-oriented training to expose policies to deviations they must recover from, rather than expected to emerge reliably from standard imitation learning.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.01626v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.09590v1cs.RO공통 태그 Imitation Learning, Robot Manipulation, action chunking

PAC-ACT: 액션 청킹 트랜스포머를 위한 사후 학습 액터-크리틱

PAC-ACT: Post-training Actor-Critic for Action Chunking Transformers

정밀 산업용 접촉 조작(contact manipulation)은 자세 교란(pose perturbations)과 접촉력 제약 조건 하에서 신뢰할 수 있는 로봇 정책을 필요로 한다. 비전-언어-액션(vision-language-action) 모델은 광범위한 일반화를 제공하지만, 높은 추론 지연과 GPU 메모리 비용을 초래하는 경우가 많으며, 비전-액션 청킹 정책은 실시간 산업 제어에 더 적합하다. 그러나 이러한 정책들은 일반적으로 행동 복제(behavior cloning)로 학습되며, 접촉이 많은 작업에서 분포 이동(distribution shift) 문제를 겪는다. 본 논문은 사전학습된 Action Chunking Transformer 정책을 위한 강화학습 기반 사후 학습(post-training) 프레임워크인 PAC-ACT를 제안한다. PAC-ACT는 청크 수준에서 정책 최적화를 재정식화하고, ACT 기반의 액터-크리틱(actor-critic) 아키텍처를 구성하며, 온라인 미세조정(fine-tuning) 과정에서 사전학습된 액션 분포를 보존하기 위한 하이브리드 행동-사전(behavior-prior) 제약을 도입한다. 산업용 정밀 접촉 벤치마크에서의 실험 결과, PAC-ACT는 낮은 지연 시간과 낮은 GPU 메모리 사용량을 유지하면서 작업 성공률, 접촉 안정성, 힘 안전성을 향상시키는 것으로 나타났다. Contour 작업에서 PAC-ACT는 최대 접촉력을 크게 감소시키고, 60 N 이상의 힘 측정 비율을 46배 줄였다. 희소 보상(sparse-reward) 소거 실험은 제안된 행동-사전 제약이 무작위 초기 자세 하에서 효과적인 탐험(exploration)을 가능하게 함을 추가로 보여준다.

arXiv:2610.03391v2cs.CV공통 태그 Imitation Learning, Robot Manipulation

월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습

Native Action-Prior Learning from Videos for World Action Models

월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.