PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2608.23927v3cs.CV

GlanceWAM: 월드-액션 모델을 위한 희소 테스트 타임 시각적 상상

GlanceWAM: Sparse Test-Time Imagination for World-Action Models

Video generative models provide rich physical priors for robot learning, yet existing world-action models (WAMs) face a fundamental trade-off: synchronous video generation at control rate is latency-prohibitive, while abandoning test-time visual imagination sacrifices task success. We show that visual imagination achieves both real-time inference and superior success rates when generated asynchronously off the critical path and consumed directly in latent space. We introduce GlanceWAM, which decouples imagination from control on a single shared video DiT backbone: an asynchronous proposer glances ahead on a slow clock to imagine a single lookahead frame seconds into the future in the background, while an action head decodes action chunks at control rate (48 ms) purely in latent space without blocking. Enabled by a non-interfering attention mask that isolates video representations and staleness-robust horizon training that accommodates asynchronous lookahead aging, GlanceWAM breaks the speed-success dilemma. Trained purely on demonstrations, it attains 72.2% on the 24-task RoboCasa kitchen benchmark (vs. 67.1% for synchronous Cosmos Policy) and 99.0% on LIBERO while cutting per-chunk control latency 24x relative to synchronous world-action models (48 ms on one A100). In single-arm and bimanual real-robot manipulation, it achieves higher average success than $\pi_{0.5}$ without any robot-data pretraining. Code is available at https://github.com/linhanwang/GlanceWAM and real-robot videos at https://linhanwang.github.io/glancewam/.

arXiv:2610.01626v1cs.AI

액션 청킹 이면의 안정성 가정 측정

Measuring the Stability Assumption Behind Action Chunking

액션 청킹(Action chunking)은 행동 복제(behavioral cloning)로 학습된 정책의 성능을 향상시키며, 이를 설명하기 위해 시간적 일관성, 수평선 축소(horizon reduction), 표현 학습, 오차 누적 감소 등 여러 메커니즘이 제안되어 왔습니다. 본 연구에서는 그 대신 시스템에 액션 오차가 유입되었을 때 어떤 일이 발생하는지를 조사합니다. 연구진은 각 상태에서 작은 액션 오차를 주입하고, 두 가지 실행 체제 하에서 오차가 얼마나 빠르게 커지거나 줄어드는지 측정합니다. 두 실행 체제는 재계획 없이 청크의 나머지 부분을 재생하는 개루프(open-loop) 체제와 섭동(perturbation) 이후 정책이 재계획을 수행하는 폐루프(closed-loop) 체제입니다. 피팅된 변화율을 바탕으로 각 상태를 수축(contracting), 팽창(expanding), 또는 미해결(unresolved) 상태로 분류합니다. 3개의 벤치마크 스위트에 걸친 12개의 조작(manipulation) 태스크 전반에서, 전파율을 판별할 수 있는 상태 중 확실하게 안정적인 상태는 드문 반면 오차 증폭은 흔하게 발생함을 발견했습니다. 나아가 측정된 전파율이 피팅 수평선에 크게 의존한다는 점을 확인했습니다. 증폭은 일반적으로 초기에 집중되므로, 짧은 윈도우는 더 긴 수평선의 전파를 과대평가할 수 있습니다. 마지막으로 이러한 레이블을 바탕으로 예측기를 학습시킨 결과, 카메라 프레임과 고유감각(proprioception) 정보만으로도 상태의 개루프 체제를 복원할 수 있는 반면, 폐루프 전파는 섭동 후 정책이 어떻게 행동하는지에도 의존하기 때문에 부분적으로만 복원 가능하다는 점을 확인했습니다. 이러한 결과는 오차 누적에 관한 주장만으로는 액션 청킹을 완전히 설명할 수 없음을 시사합니다. 즉, 수동적인 개루프 동역학도 정책의 재계획도 주입된 오차를 일관되게 수축시키지 못하며, 재계획이 개루프 증폭을 확실한 수축으로 전환하는 경우는 매우 드뭅니다. 이는 폐루프 반응성을 표준 모방 학습(imitation learning)을 통해 안정적으로 창발되기를 기대하기보다는, 정책이 회복해야 하는 편차에 노출되도록 섭동 및 트리 커버리지 지향 학습(tree-coverage-oriented training)을 사용하여 명시적으로 학습시켜야 함을 시사합니다.

arXiv:2604.16683v2cs.RO

Rewind-IL: 모방 학습을 위한 온라인 실패 감지 및 상태 리스폰

Rewind-IL: Online Failure Detection and State Respawning for Imitation Learning

모방 학습(imitation learning)은 로봇이 시연(demonstration)으로부터 복잡한 시각-운동 제어 조작 기술을 습득할 수 있도록 해주었으나, 특히 긴 주기의 액션 청킹(action-chunked) 정책에서 실제 배포 시 발생하는 실패는 여전히 큰 장애물로 남아 있습니다. 실행이 시연 다양체(demonstration manifold)를 벗어나 드리프트되면, 이러한 정책은 실패로부터 복구되지 못한 채 국소적으로만 그럴듯한 행동을 계속 생성하는 경우가 많습니다. 기존의 런타임 모니터는 실패 데이터를 요구하거나, 무해한 특징(feature) 드리프트에도 과도하게 감지를 트리거하거나, 복구 메커니즘을 제공하지 않은 채 실패 감지에만 그칩니다. 본 논문에서는 생성형 액션 청킹 모방 정책을 위한 추가 학습(training)이 필요 없는 온라인 안전장치 프레임워크인 Rewind-IL을 제안합니다. Rewind-IL은 분할 등각 예측(split conformal prediction)으로 보정된 시간적 청크 간 불일치 추정(TIDE) 기반의 제로샷(zero-shot) 실패 감지기와, 의미론적으로 검증된 안전한 중간 상태로 로봇을 되돌리는 상태 리스폰(state-respawning) 메커니즘을 결합합니다. 오프라인에서는 비전-언어 모델(VLM)이 시연 내에서 복구 체크포인트(checkpoint)를 식별하고, 동결된 정책 인코더를 사용하여 압축된 체크포인트 특징 데이터베이스를 구축합니다. 온라인에서는 Rewind-IL이 겹치는 액션 청크 간의 자기 일관성을 모니터링하고, 체크포인트 라이브러리와의 유사도를 추적하며, 실패가 발생하면 깨끗한 정책 상태에서 추론(inference)을 재시작하기 전에 가장 최근에 검증된 안전한 상태로 실행을 되감습니다(rewind). 플로우 매칭(flow-matching) 액션 청킹 정책으로의 전이를 포함하여 실제 환경 및 시뮬레이션 환경의 긴 주기 조작 태스크에 대한 실험을 통해, 의미론적으로 그라운딩(grounding)된 리스폰과 결합된 정책 내부 일관성이 모방 학습의 신뢰성을 향상시키는 실용적인 경로를 제공함을 입증합니다. 추가 자료는 https://sjay05.github.io/rewind-il 에서 확인할 수 있습니다.

arXiv:2609.27167v1cs.RO

중간값 시간 앙상블: 액션 청크 시각-운동 정춌을 위한 무학습 강건 집계

Median Temporal Ensembling: Training-Free Robust Aggregation for Action-Chunked Visuomotor Policies

액션 청크(action-chunked) 시각-운동(visuomotor) 정책은 서로 겹치는 궤적을 예측하므로, 실행되는 모든 액션은 여러 예측에 의해 커버된다. 시간 앙상블(temporal ensembling)은 지수 가중 평균으로 이들 예측을 결합해 실행을 평활화한다. 하나의 오염된 예측이 집계값을 무한히 이동시킬 수 있으며, 그 붕괴점(breakdown point)은 0이다. 우리는 배포된 이 집계기를 스트레스 테스트하기 위해 적대적 오염을 사용하고, 두 종류의 보장을 비교한다. 메트릭 보장(metric guarantee)은 주어진 크기의 perturbation에 대한 응답을 한정한다. 조합론적 보장(combinatorial guarantee)은 대신 한 timestep을 커버하는 M개 후보 중 최대 q개가 오염되었을 때(크기와 무관하게) 피해를 한정한다. 인코더 적대적 미세조정(fine-tuning)은 공개된 patch attack 하에서 손실(loss)의 44%를 회복하지만, 공격자의 step size를 키우면 7.3%에 불과하다. 반면 동일 후보 집합의 좌표별 중간값(coordinate-wise median)은 공격 최적화가 증가해도 회복 비율을 일정하게 유지한다. 중간값 시간 앙상블(Median temporal ensembling)은 한 줄이면 되며 재학습이 필요 없다. 25개의 (구성, 오염 수준) 조합 전반에서 평균보다 나쁜 경우는 없었고 15개에서 유의하게 더 좋았다. 또한 두 번째 정책 클래스에도 전이되며, 공격자가 전혀 없는 실패—빈(blank) 상태로 도착하는 카메라 프레임—에서도 성능을 회복한다. 깨끗한(clean) 데이터에 대한 영향은 구성에 따라 -0.04에서 +0.07까지 다양하다. 우리는 또한 경계를 제시한다: 커버하는 모든 예측을 동일한 양만큼 이동시키는 오염은 이 통계군 전체에 보이지 않으며, 어떤 equivariant 집계기도 이를 제거할 수 없다.

arXiv:2605.11567v4cs.CV

Dynamic Execution Commitment of Vision-Language-Action Models

Vision-Language-Action (VLA) models predominantly adopt action chunking, i.e., predicting and committing to a short horizon of consecutive low-level actions in a single forward pass, to amortize the inference cost of large-scale backbones and reduce per-step latency. However, committing these multi-step predictions to real-world execution requires balancing success rate against inference efficiency, a decision typically governed by fixed execution horizons tuned per task. Such heuristics ignore the state-dependent nature of predictive reliability, leading to brittle performance in dynamic or out-of-distribution settings. In this paper, we introduce A3, an Adaptive Action Acceptance mechanism that reframes dynamic execution commitment as a self-speculative prefix verification problem. A3 first computes a trajectory-wise consensus score of actions via group sampling, then selects a representative draft and prioritizes downstream verification. Specifically, it enforces: (1) consensus-ordered conditional invariance, which validates low-consensus actions by judging whether they remain consistent when re-decoded conditioned on high-consensus actions; and (2) prefix-closed sequential consistency, which guarantees physical rollout integrity by accepting only the longest continuous sequence of verified actions starting from the beginning. Consequently, the execution horizon emerges as the longest verifiable prefix satisfying both internal model logic and sequential execution constraints. Experiments across diverse VLA models and benchmarks demonstrate that A3 eliminates the need for manual horizon tuning while achieving a superior trade-off between execution robustness and inference throughput.

arXiv:2607.20834v1cs.LG

계층적 액션 청킹을 이용한 오프라인 강화학습

Offline RL with Hierarchical Action Chunking

오프라인 목표 조건 강화학습(RL)은 정적 데이터셋으로부터 범용 정책을 학습할 수 있다는 가능성을 제공한다. 그러나 이러한 방법을 장기(horizon) 과제로 확장하는 것은 여전히 어려운 과제인데, 이는 horizon의 저주(curse of horizon) 때문이다. 여기서는 가치 추정 오류가 부트스트랩 Bellman 백업의 긴 연쇄를 통해 누적될 수 있다. 기존의 계층적 접근법은 과제를 하위 목표(subgoal)로 분해함으로써 이를 완화하지만, 종종 단기적(myopic) 실행과 편향된 가치 추정을 겪는 저수준(low-level) 제어기에 의존한다. 본 연구에서는 고수준 잠재 계획(latent planning)과 저수준 액션 청킹(action chunking)을 결합한 오프라인 목표 조건 RL 알고리즘인 계층적 암시적 Q-청킹(Hierarchical Implicit Q-Chunking, HiQC)을 제안한다. 저수준 critic을 시간적으로 확장된 액션 시퀀스에 조건화함으로써, HiQC는 편향되지 않은 k-step 가치 백업을 가능하게 하고, 계획 및 실행 수준 모두에서 horizon을 압축한다. 우리는 이 이중 분해가 표준 계층 구조나 평탄(flat) 청킹만 사용하는 경우와 비교하여, 백업당 오류가 유한하게 경계된 모델 하에서 가치 오류에 대한 더 타이트한(tighter) 상한을 가져온다는 것을 이론적으로 보인다. 실험적으로 HiQC는 OGBench 스위트에서 비교된 방법들 중 최고의 종합 성능을 달성했으며, humanoid-giant와 같은 장기 탐색(navigation) 과제에서 가장 큰 이득을 보였다.

arXiv:2607.09590v1cs.RO

PAC-ACT: 액션 청킹 트랜스포머를 위한 사후 학습 액터-크리틱

PAC-ACT: Post-training Actor-Critic for Action Chunking Transformers

정밀 산업용 접촉 조작(contact manipulation)은 자세 교란(pose perturbations)과 접촉력 제약 조건 하에서 신뢰할 수 있는 로봇 정책을 필요로 한다. 비전-언어-액션(vision-language-action) 모델은 광범위한 일반화를 제공하지만, 높은 추론 지연과 GPU 메모리 비용을 초래하는 경우가 많으며, 비전-액션 청킹 정책은 실시간 산업 제어에 더 적합하다. 그러나 이러한 정책들은 일반적으로 행동 복제(behavior cloning)로 학습되며, 접촉이 많은 작업에서 분포 이동(distribution shift) 문제를 겪는다. 본 논문은 사전학습된 Action Chunking Transformer 정책을 위한 강화학습 기반 사후 학습(post-training) 프레임워크인 PAC-ACT를 제안한다. PAC-ACT는 청크 수준에서 정책 최적화를 재정식화하고, ACT 기반의 액터-크리틱(actor-critic) 아키텍처를 구성하며, 온라인 미세조정(fine-tuning) 과정에서 사전학습된 액션 분포를 보존하기 위한 하이브리드 행동-사전(behavior-prior) 제약을 도입한다. 산업용 정밀 접촉 벤치마크에서의 실험 결과, PAC-ACT는 낮은 지연 시간과 낮은 GPU 메모리 사용량을 유지하면서 작업 성공률, 접촉 안정성, 힘 안전성을 향상시키는 것으로 나타났다. Contour 작업에서 PAC-ACT는 최대 접촉력을 크게 감소시키고, 60 N 이상의 힘 측정 비율을 46배 줄였다. 희소 보상(sparse-reward) 소거 실험은 제안된 행동-사전 제약이 무작위 초기 자세 하에서 효과적인 탐험(exploration)을 가능하게 함을 추가로 보여준다.

arXiv:2606.22540v3cs.CV

PolicyTrim: 비전-언어-행동 모델의 내재적 정책 효율성 향상

PolicyTrim: Boosting Intrinsic Policy Efficiency of Vision-Language-Action Models

VLA 모델은 행동 청크 후반부 예측 저하와 중복 물리 단계로 인해 추론 호출이 늘어나는 내재적 정책 비효율에 취약하다. PolicyTrim은 강화학습 기반 사후학습으로 신뢰 가능한 청크 길이를 늘리고 중복 행동을 줄여, 세 벤치마크와 세 VLA 모델에서 청크 활용도 3배 향상·물리 단계 51.4% 감소·성공률 유지하에 최대 5.83배 배포 가속을 달성했다.