폐루프 주행 시뮬레이터는 대부분 규칙 기반이든 학습 기반이든 비슷하게 행동하는 교통 에이전트로 환경을 채운다. 주행 스타일을 제어하는 최근 방법은 기존 주행 기록에서 추론한 레이블, 각 스타일을 반영하도록 생성한 합성 데이터, 또는 대규모 언어 모델(LLM)이 추정한 보상 가중치로부터 스타일을 학습한다. 이는 모두 해당 스타일로 운전하도록 지시받은 사람들의 기록이 아닌 스타일에 대한 간접적 추정이다. 본 논문은 검색된 인간 시연에서 스타일을 가져오는 비전-언어-행동(VLA) 주행 에이전트 PersonaDrive를 소개한다. 시연은 참가자 15명이 보수적, 중립적, 공격적 지시 아래 주행 시뮬레이터에서 CARLA 경로를 운전한 새로운 데이터셋에서 얻었다. PersonaDrive는 고정된 이미지 인코더의 특징과 스타일별 데이터베이스에 대한 제어 신호로 경량 검색 헤드를 학습하고, 검색된 시연을 바탕으로 하나의 VLA 백본을 미세 조정한다. 스타일을 바꾸려면 다른 FAISS 인덱스를 검색하기만 하면 되며 재학습은 필요 없다. 스타일 조건화가 없는 Bench2Drive 벤치마크에서 PersonaDrive는 Driving Score를 SimLingo보다 4.6%, HiP-AD보다 2.5% 향상시키며, 검색 없는 미세 조정으로는 이 이득이 재현되지 않는다. 스타일 조건화를 적용하면 PersonaDrive는 모든 스타일에서 가장 강력한 기준선인 Drive My Way를 능가하며 Driving Score가 6.7%에서 11.6% 더 높다. 또한 평균 속도가 보수적 스타일에서 공격적 스타일로 갈수록 19.8% 상승하므로 주행이 지시를 따른다. 각 교통 에이전트는 주행 정책으로서 개별적으로 평가된다. 데이터셋과 모델 가중치는 프로젝트 페이지 https://pervasiveautonomylab.github.io/personadrive-landpage/ 에서 이용할 수 있다.
대규모 비전-언어-행동 모델에서 자기회귀 정책의 실시간 실행을 위해 토큰화 수평 조정과 제한된 디코딩을 적용하여 엄격한 지연 시간 경계를 보장한다. 이 방식은 시뮬레이션과 실제 환경에서 동기식 추론 대비 작업 완료 속도를 획기적으로 개선하며 동급의 흐름 일치 정책보다 우수한 성능을 보여준다.
사전 학습된 비전-언어-행동(VLA) 모델은 로봇 조작을 위한 의미적·공간적 사전 지식을 제공하지만, 평행 그리퍼 인터페이스에서는 다지 손가락의 접촉 조정이 암묵적으로 남는다. 이러한 모델을 적응시키려면 시의적절한 파지 전환과 임바디먼트에 특화된 손 궤적이 모두 필요하다. 본 논문은 이 두 요구 사항을 연결하는 의도 조건부 프레임워크인 InDex를 제안한다. 리타기팅된 시연에서 도출한 정규화된 개구 신호가 전체 손 행동 지도를 유지하면서 스칼라 파지 의도를 지도한다. 1단계는 동기화된 엔드 이펙터-의도 청크를 학습하고, 2단계는 이러한 예측, 시각-언어 맥락, 고유 수용 감각에 조건화된 확산 손 디코더를 학습한다. 순차적 최적화는 저속 공동 적응을 통한 능숙한 제어를 학습하기 전에 상류 인터페이스를 확립한다. 네 가지 시뮬레이션 과제 전반에서 $\pi_{0.5}$를 사용한 InDex는 평균 과제 성공률 85.8%를 달성하여 기본 정책보다 35.5%p 향상시켰으며, 미세조정이나 재보정 없이 유사한 형상의 미학습 물체에서 69.0%에 도달한다. 개선은 세 가지 VLA 백본과 별도로 학습한 실제 환경 정책에서도 유지되며, 실제 환경에서는 평균 성공률이 71.0%에서 83.0%로 증가한다. 구성 요소 절제 실험과 타이밍 개입은 명시적인 파지 의도 조건화와 표현력 있는 손 생성의 가치를 뒷받침한다. 이러한 결과는 평행 그리퍼 사전 지식을 능숙한 조작에 적응시킬 때 팔-손 조정이 실행 가능한 병목임을 보여 준다.
벤치마크 성능과 신뢰할 수 있는 실세계 운용 사이의 격차를 좁히는 것은 실행 오류, 분포 이동(distribution shift), 환경 변동성을 처리해야 하는 비전-언어-행동(VLA) 휴머노이드 로봇의 핵심 과제로 남아 있다. 본 논문은 DEED(Data-Efficient Post-Training and Experience-Driven Learning, 데이터 효율적 사후 학습 및 경험 기반 학습)를 제안하며, 이는 Unitree G1-Edu 휴머노이드 로봇과 GR00T N1.6 파운데이션 모델을 사용한 슈퍼마켓 과자 재입고 작업에서 평가된 시스템 수준 접근법이다. DEED는 세 가지 핵심 구성 요소로 이루어진다: (1) 제어 주파수 정렬, 데이터 큐레이션, 작업 관련 시각적 강조, VLA 의존도 감소를 포함하는 데이터 효율적 사후 학습 파이프라인; (2) 텍스트 기반 advantage 접두 문맥과 비전-언어 가치 함수를 통해 RECAP에서 적용한 경험 기반 정제의 실세계 연구; (3) 분포 내(in-distribution) 및 분포 외(out-of-distribution) 행동을 연구하기 위한 잠재 공간(latent-space) 분석 도구. 우리의 결과는 실험실-매장 격차를 메우는 것이 주로 아키텍처 문제가 아니라 시스템 통합 과제임을 시사한다. 신중한 데이터 설계와 표적화된 사후 학습은 단순 미세조정에서 실패하는 정책을 단일 GPU만으로 유능한 실세계 시스템으로 변환할 수 있다.
비전-언어-행동 모델(VLA)은 사전학습된 VLM으로부터 의미적 능력을 물려받지만, 로봇 데이터에 대한 대규모 후학습과 구조 변경이 백본을 광범위하게 변형시켜 VLM이 제어에 기여하는 바를 분리하기 어려워진다. 구조 변경을 최소화하여 사전학습된 VLM을 직접 VLA로 변환하면 모델 규모 전반에서 VLM 능력이 어떻게 전이되는지 이해하는 더 투명한 경로를 제공한다. 핵심 장애물은 출력 분포 불일치이다. 행동을 단순한 숫자 토큰 시퀀스로 예측하면 생성이 VLM의 사전학습된 언어 분포에서 멀어져, 보존하려는 능력이 저하된다. 이를 해결하기 위해 각 숫자 행동 시퀀스 앞에 자연어 행동 설명을 덧붙여, 백본 구조를 수정하지 않고도 정밀한 행동 토큰 예측이 언어-행동 계획에 인과적으로 조건화되도록 하는 CLAP(Causal Language-Action Prediction)을 제안한다. 4~5시간의 학습만으로 2B CLAP은 LIBERO에서 90.8%를 달성하여 VLA-0 대비 14.9%p 높으며, 언어, 객체, 공간 교란 하의 LIBERO-PRO에서 강건성을 개선한다. 절제 실험은 성능 향상이 행동에 근거한 언어 의미에서 비롯됨을 보이며, 실제 UR5e 로봇에서 2B CLAP은 동일 조건의 VLA-0의 15%에 비해 60%의 성공률에 도달한다. 단일 VLM 계보에서 나온 개방 가중치 다중 규모 소형 VLA 계열로서 CLAP을 0.8B, 2B, 4B로 공개하여, VLM-VLA 능력 전이에 대한 통제된 분석을 가능하게 한다.
양팔 로봇 시스템은 조작 능력을 크게 확장하지만, 두 팔을 조율하는 것은 기존 벤치마크가 충분히 포착하지 못하는 추가적인 제어 복잡성과 실패 모드를 초래한다. 우리는 FR3 Duo 플랫폼에서 양팔 조작 정책을 평가하기 위한 확장 가능한 벤치마킹 프레임워크인 DuoBench를 소개한다. DuoBench는 네 가지 조율 범주에 걸친 11개의 과제로 구성되며, 시뮬레이션으로 구현되고 3D 프린팅이 가능한 자산을 갖춘 재현 가능한 과제 레시피를 통해 실제 환경에서도 부분적으로 재현된다. 또한 우리는 이진 성공 여부를 넘어 세밀한 의미론적 실패 분석을 지원하는 단계 기반 평가 방식을 제안한다. 이는 신뢰구간을 포함한 단계 조건부 통과율과 모든 벤치마크 과제에 대한 사람이 원격 조종한 데이터셋을 포함한다. 우리는 시뮬레이션과 실제 하드웨어에서 여러 모방 학습 및 비전-언어-행동 정책을 벤치마킹한다. 실험 결과, 현재의 정책은 특히 상호작용 초반, 팔의 병렬 실행 중, 그리고 시뮬레이션-실제 전이 환경에서 양팔 조작에 여전히 어려움을 겪는 것으로 나타났다. 또한 시뮬레이션이 실제 실험과 동일한 실패 모드를 드러낸다는 것을 확인했다. DuoBench는 이러한 실패 모드를 분석하고 향후 양팔 정책 학습 방법을 연구하기 위한 재현 가능한 테스트베드를 제공한다. 코드, 데이터셋, 영상은 https://duobench.github.io 에서 이용할 수 있다.
적대적 패치(adversarial patch)는 시각적 관측을 조작하여 비전-언어-행동(VLA) 모델을 교란함으로써 로봇 제어 실패를 초래할 수 있습니다. 그러나 이러한 실패의 기저에 어떤 내부 메커니즘이 존재하는지, 표적화된 개입을 통해 이를 어떻게 완화할 수 있는지는 여전히 명확히 이해되지 않았습니다. 본 연구에서는 희소 오토인코더(SAE)를 사용하여 VLA 표현을 기제론적으로 분석하고, 활성화 정도가 적대적 패치의 존재와 강하게 상관되는 특징(feature)을 식별합니다. 이 분석을 바탕으로, 선형 탐침(linear probe)이 공격을 탐지할 때에만 추론(inference) 시점에 식별된 특징을 억제합니다. 이러한 개입은 VLA를 미세조정(fine-tuning)하는 비용 없이도 견고성을 향상합니다. 저자들은 LIBERO-10에서 VLA 적대적 패치 공격에 대해 제안 방식을 평가합니다. 조건부 개입은 간헐적인 공격 상황에서 성공률을 향상하는 반면, 동일한 개입을 지속적으로 적용할 경우 정책(policy) 성능이 크게 저하됩니다. 이러한 결과는 공격 관련 내부 표현이 VLA 적대적 방어를 위한 유용한 표적이 될 수 있음을 보여주며, 정상적인 정책 동작에 대한 방해를 제한하기 위해서는 개입 시점을 제어하는 것이 중요하다는 점을 시사합니다.
Finetuning a pretrained vision-language model (VLM) on robot demonstrations via behavior cloning (BC) has become the standard recipe for vision-language-action (VLA) policies. However, BC finetuning progressively overwrites the pretrained representations that support visual and semantic generalization. Co-training on web image-text data, a common remedy, applies language and action losses to separate observations, leaving VLAs with language-action misalignment that standard manipulation benchmarks do not expose. We propose Anchor-Align, which augments BC with two objectives: Vision-Language Anchoring distills layer-wise representations from a frozen VLM copy to prevent this drift, while Language-Action Alignment converts each action target into a discrete motion-direction label and jointly trains language and action prediction on the same robot observation. We conduct real-world evaluations across eight manipulation settings on single-arm xArm7 and bimanual YAM robots, using two VLA architectures with regression and flow-matching action heads. Across these settings, Anchor-Align consistently improves over BC on novel targets, layouts, and motion-sensitive bimanual tasks requiring coordinated control. At scale in simulation, we demonstrate consistent improvements on OOD perturbations, perceptual robustness, and long-horizon control across LIBERO-PRO, LIBERO-Plus, and CALVIN, respectively, suggesting that preserving pretrained representations and effective action learning are not fundamentally at odds. Project page: anchoralignvla.github.io