한국어 초록
장기 수평(long-horizon) 로봇 조작은 점진적으로 실패하는 경향이 있습니다. 하나의 잘못된 단계가 상태를 악화시키고, 정책이 회복 불가능한 분지(basin)로 나선형으로 빠져들게 됩니다. 이러한 실패는 종종 발생하기 전에 감지할 수 있습니다. 우리는 AEGIS(Activation-probe Early-warning, Gated Inference Switching)를 소개합니다. 이는 약한 정책의 동결된 활성화(activations)에 경량 프로브를 적용하여, 아직 대응할 시간이 있을 때 고위험 단계를 탐지하는 선택적 에스컬레이션 방법입니다. 프로브가 특정 단계를 위험 신호로 표시하면, 제어권이 더 강한 별도의 정책으로 전환되지만, 이는 필요한 단계에서만 이루어집니다. LIBERO-Spatial에서 AEGIS는 약한 정책 단독으로 실패하는 궤적의 10.1%를 복구하는 반면, 예산이 동일한 블라인드 에스컬레이션은 4.6%, 무작위 트리거 플라시보는 5.1%에 불과합니다. 이러한 향상은 세 가지 사전 등록된 비교에 대해 Holm-Bonferroni 조정을 적용한 단측 정확 쌍별 McNemar 검정에서 유의미합니다: 블라인드 에스컬레이션 대비 +5.4pp(p=8.5e-6), 무작위 트리거링 대비 +5.0pp(p=1.0e-4), 쌍별 궤적 부트스트랩 신뢰구간은 0을 포함하지 않습니다. AEGIS는 전체 단계의 38%에서만 더 강한 정책을 활성화하므로, 핵심은 컴퓨팅 자원보다 타이밍에 있습니다. 프로브는 어떠한 핸드오프가 발생하기 전, 궤적 단계의 첫 30% 구간에서 약한 정책 경로를 통해 측정된 초기 구간 AUROC 0.764(95% CI [0.70, 0.84])로 사전 조건을 충족합니다. 우리는 조건부 복구 과제 비율 추정량과 명시적 중단 기준을 포함한 전체 분석 계획을 사전 등록하고, 각 군당 700회의 공통 난수 에피소드(nA-fail=646)에서 결과를 확인합니다.
원문 초록
Long-horizon robot manipulation tends to fail gradually: one bad step degrades the state, and the policy spirals into a basin from which it cannot recover. The failure is often visible before it happens. We introduce AEGIS (Activation-probe Early-warning, Gated Inference Switching), a selective escalation method that uses a lightweight probe on a weak policy's frozen activations to detect high-risk steps while there is still time to act. When the probe flags a step, control switches to a stronger separate policy, but only for the steps that need it. On LIBERO-Spatial, AEGIS recovers 10.1% of the trajectories the weak policy alone loses, versus 4.6% for budget-matched blind escalation and 5.1% for a random-trigger placebo. These gains are significant under one-sided exact paired McNemar tests with Holm-Bonferroni adjustment over three pre-registered contrasts: +5.4pp over blind escalation, p=8.5e-6; +5.0pp over random triggering, p=1.0e-4; paired-trajectory bootstrap CIs exclude zero. AEGIS activates the stronger policy on only 38% of steps, so the lever is timing rather than compute. The probe clears its precondition with an early-window AUROC of 0.764, 95% CI [0.70, 0.84], read from the weak-policy path over the first 30% of trajectory steps before any handoff. We pre-register the full analysis plan, including a conditional recovered-task-rate estimand and explicit kill criteria, and confirm the result on 700 common-random-number episodes per arm, with nA-fail=646.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.06660v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Screw Attention: 트랜스포머 내부의 강체 대수학
Screw Attention: Rigid-Body Algebra Inside a Transformer
학습 기반 조작 정책(learned manipulation policy)은 강체 역학(rigid-body mechanics)이 닫힌 형식(closed form)으로 제공하는 공간적 관계를 데이터로부터 다시 학습하므로, 기하학적 변화에 취약해집니다. 본 논문에서는 두 강체 간의 관계를 그래프 에지 대신 공간 변환(spatial transform)으로 다루는 트랜스포머 층인 Screw Attention을 제안합니다. 각 토큰 쌍은 상대적 포즈(pose)를 지니며, 로봇 관절의 경우 관절 스크루(joint screw)도 함께 포함합니다. 메시지는 이러한 관계를 따라 수신자의 좌표계(frame)로 변환되어 전달되는 반면, 어텐션 스코어는 좌표계 불변(frame-invariant) 수치만을 참조합니다. 설계상 메시지는 모든 토큰에서 독립적인 좌표계 변환에 대해 동변(equivariant)성을 가지며, 단일 층만으로도 강체 역학의 속도 재귀(velocity recursion)를 표현할 수 있습니다. 물체 포즈만으로 학습된 16k 파라미터 정책은 LIBERO-Spatial에서 97.3%의 성공률을 달성하여, 동일한 크기의 그래프, 트랜스포머, 플랫(flat) 네트워크뿐만 아니라 27배 더 많은 파라미터를 가진 플랫 네트워크보다 뛰어난 성능을 보였습니다. 절제 연구(ablation study)에 따르면 이러한 성능 향상은 올바른 관계를 전달하는 데서 기인하며, 다른 방식으로는 제공되지 않는 좌표계 간 관계를 요구하는 작업일수록 이러한 구조의 효과가 가장 두드러졌습니다. 이러한 동변성 덕분에 좌표계 규약이 변경될 때 다른 모든 학습 기반 네트워크가 실패하는 상황에서도 정책이 로봇 기술 방식에 강건하게 유지됩니다. 나아가 이 정책은 해석적 제어기(analytic controller) 못지않게 포즈 노이즈와 캘리브레이션 오차를 견뎌냅니다. 해석적 제어기에 게이트 잔차(gated residual) 형태로 적용했을 때, 접촉이 많은 삽입 작업의 성능 또한 향상되었습니다. 코드와 학습된 정책은 공개될 예정입니다.
효율적인 VLA를 만드는 요소는 무엇인가? 액션 헤드 설계, 스케일링, 지연시간
What Makes an Efficient VLA? Navigating Action-Head Design, Scaling, and Latency
비전-언어-행동(VLA) 모델은 사전학습된 비전 인코더, 언어 백본, 액션 헤드를 결합하지만, 통제된 지연시간-쌍(latency-paired) 조건에서 각 구성 요소의 상대적 기여는 확립되지 않았다. 우리는 백본 계열(SigLIP2 및 Qwen2.5)과 학습 파이프라인을 고정하고, 액션 헤드 설계와 모듈 규모를 sweep하며, 각 구성을 측정된 온디바이스 지연시간과 짝짓는다. 연구는 세 가지 발견을 낳는다. 첫째, 액션 헤드 성능은 디코더 아키텍처, 손실, 또는 추론 예산보다 주로 초기화에 의해 좌우된다. 언어 백본의 마지막 트랜스포머 레이어를 헤드로 복사하는 것이 지연시간 비용 없이 단일 최대 레버이며, 모든 모듈 규모에서 도움이 되는 유일한 축이다. 정렬(alignment) 또한 다른 축들을 설명한다. flow matching과 더 무거운 디코더는 헤드가 정렬되지 않았을 때만 이득이 있고 정렬되면 역전되며, 추가 추론 패스는 측정 가능한 이득을 주지 않는다. 표현력(expressiveness)은 부족한 정렬을 대체하는 것으로 보인다. 우리는 이를 표현 전환(representation transfer)으로 해석한다. 정렬된 헤드는 지시문의 객체 명사에 계속 어텐션(attention)하고, 처음부터 행동을 재학습하기보다 가중치 공간에서 백본에 가깝게 유지된다. 정렬에 초기화를 통해서만 도달하기 때문에, 우리는 이를 입증된 원인이 아니라 측정값을 가장 잘 정리하는 설명으로 제시하고, 이를 확정할 통제 실험을 명명한다. 둘째, 용량(capacity)은 정렬 이후에만 효과가 있다. 정렬된 액션 헤드는 스케일링할 때 수익률이 가장 높은 모듈이다. 셋째, 그 수익은 오늘날 $\pi$-계열 VLA가 이미 사용하는 규모 근처에서 급격히 감소하므로, 더 키우는 것은 그 지연시간 대비 in-domain 정확도에서 거의 이득을 주지 않는다. 이를 바탕으로 EffVLA를 제안한다. EffVLA는 표준 LIBERO에서 최강 오픈소스 VLA와 맞먹는 소형 모델로, 더 낮은 지연시간으로 LIBERO-Plus 교란(perturbation) 축 대부분에서 선두이며, 레시피를 바꾸지 않고 실제 SO-ARM101 암에 전이된다.
vla.simd: 언어 조건부 조작을 위한 효율적인 CPU 추론
vla.simd: Efficient CPU Inference for Language-Conditioned Manipulation
전용 GPU 없이 언어 조건부 조작을 배포하려면 효율적인 추론과 정책 쿼리 간 지연을 메워주는 액션 청크(action chunk)가 필요합니다. 본 논문에서는 공유 SIMD 마이크로 커널, 재사용 가능한 연산, 타깃 맞춤형 최적화를 결합한 CPU 추론 엔진인 vla.simd를 소개합니다. 지연(lagged) 및 시간 정렬(time-aligned) 실행 환경에서 쿼리 지연 시간과 실행 구간(execution horizon)을 액션 가용성과 연계하여 액션 공급과 피드백 빈도를 구분합니다. 6개 정책과 4개 CPU 전반에서, vla.simd는 fp32 수치적 충실도를 유지하면서 컴파일된 PyTorch 레퍼런스 대비 중앙값 기준 약 1.4배의 속도 향상을 달성합니다. 또한 캐시된 텍스트 표현과 언어 변조된 시각적 특징을 활용하는 ACT 기반 정책인 IMPACT를 소개합니다. IMPACT는 평가된 세트 중 라즈베리 파이 5(Raspberry Pi 5)에서 최소 30 actions/s를 공급하는 유일한 언어 조건부 정책으로, 90초간 열 포화(thermal soak) 후 fp32에서 33.5 actions/s, int8에서 81.2 actions/s를 공급합니다. 별도의 GPU 평가에서는 로봇 사전학습 없이 4개의 LIBERO 제품군 전반에서 76.4%의 평균 성공률을 기록했으며, 인스트럭션 셔플링(instruction-shuffling) 테스트를 통해 익숙한 목표 중 선택이 가능함을 보였습니다. SO-101 로봇 팔을 활용한 IMPACT 실험 및 Robotiq 그리퍼가 장착된 UR10e 환경에서의 SmolVLA 실험을 통해 두 가지 로봇 임바디먼트(embodiment)에서의 CPU 배포를 입증합니다.
SmoLSTM: 지속되는 순환 메모리를 갖춘 소형 비전-언어-행동 모델
SmoLSTM: A Compact Vision-Language-Action Model with Recurrent Memory that Persists
비전-언어-행동(Vision-Language-Action, VLA) 모델은 현재의 관측만을 바탕으로 행동을 예측하는 경우가 많아, 에피소드 이력이 없으면 객체 가림(occlusion)이나 시각적으로 동일한 객체가 포함된 작업에서 모호함이 발생할 수 있습니다. 관측 윈도우를 넓히는 일반적인 대응책은 시계(horizon)를 하이퍼파라미터로 만들며 이에 따라 스텝당 비용이 증가하게 합니다. 본 연구에서는 대신 순환 상태(recurrent state)에 에피소드를 포착합니다. SmoLSTM은 동결된 256M 매개변수의 SmolVLM 백본을 행렬-메모리 LSTM 제어 층과 결합하며, 이 제어 층에서는 전체 에피소드 동안 전혀 리셋되지 않는 단일 인과적 스트림(causal stream) 내에 관측 토큰과 행동 쿼리가 통합됩니다. 따라서 순환 상태의 저장은 에피소드 길이에 대해 O(1) 복잡도를 가집니다. 흐름 정합(flow-matching) 행동 헤드는 각 제어 스텝에서 10개의 말단 장치(end-effector) 포즈 변화량과 그리퍼 명령 청크를 예측합니다. 140개 작업에 걸친 7,461개의 시연 데이터로 공동 학습되고 미확인 초기 상태에서 평가된 본 연구의 단일 정책은 0.04B의 학습 가능한 매개변수만으로 LIBERO-Mem에서 85.1%의 서브골 도달률과 77.5%의 전체 작업 성공률을 기록하며 최고의 성능을 달성하여, 벤치마크 자체의 객체 중심 기준선과 최근의 메모리 기반 접근법을 모두 능가했습니다. 매 제어 스텝마다 순환 상태를 리셋하면 전체 작업 성공률이 7.0%로 감소하여, 학습된 정책이 의사결정 간에 전달되는 문맥에 의존함을 보여줍니다. 동일한 모델이 표준 LIBERO에서도 평균 79.6%의 성공률을 달성합니다.
월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습
Native Action-Prior Learning from Videos for World Action Models
월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.
호라이즌 불변 행동 복제를 위한 자기 지도 키프레임 발견
Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.