PyTorchKR Papers

최신 논문

총 137편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.13355v2cs.RO

자기회귀 정책을 활용한 실시간 실행

Real-Time Execution with Autoregressive Policies

대규모 비전-언어-행동 모델에서 자기회귀 정책의 실시간 실행을 위해 토큰화 수평 조정과 제한된 디코딩을 적용하여 엄격한 지연 시간 경계를 보장한다. 이 방식은 시뮬레이션과 실제 환경에서 동기식 추론 대비 작업 완료 속도를 획기적으로 개선하며 동급의 흐름 일치 정책보다 우수한 성능을 보여준다.

arXiv:2607.20345v2cs.RO

실험실-매장 격차 해소: 소매 휴머노이드를 위한 데이터 효율적 사후 학습 및 경험 기반 학습 VLA 프레임워크

Closing the Lab-to-Store Gap: A Data-Efficient Post-Training and Experience-Driven Learning VLA Framework for Retail Humanoids

벤치마크 성능과 신뢰할 수 있는 실세계 운용 사이의 격차를 좁히는 것은 실행 오류, 분포 이동(distribution shift), 환경 변동성을 처리해야 하는 비전-언어-행동(VLA) 휴머노이드 로봇의 핵심 과제로 남아 있다. 본 논문은 DEED(Data-Efficient Post-Training and Experience-Driven Learning, 데이터 효율적 사후 학습 및 경험 기반 학습)를 제안하며, 이는 Unitree G1-Edu 휴머노이드 로봇과 GR00T N1.6 파운데이션 모델을 사용한 슈퍼마켓 과자 재입고 작업에서 평가된 시스템 수준 접근법이다. DEED는 세 가지 핵심 구성 요소로 이루어진다: (1) 제어 주파수 정렬, 데이터 큐레이션, 작업 관련 시각적 강조, VLA 의존도 감소를 포함하는 데이터 효율적 사후 학습 파이프라인; (2) 텍스트 기반 advantage 접두 문맥과 비전-언어 가치 함수를 통해 RECAP에서 적용한 경험 기반 정제의 실세계 연구; (3) 분포 내(in-distribution) 및 분포 외(out-of-distribution) 행동을 연구하기 위한 잠재 공간(latent-space) 분석 도구. 우리의 결과는 실험실-매장 격차를 메우는 것이 주로 아키텍처 문제가 아니라 시스템 통합 과제임을 시사한다. 신중한 데이터 설계와 표적화된 사후 학습은 단순 미세조정에서 실패하는 정책을 단일 GPU만으로 유능한 실세계 시스템으로 변환할 수 있다.

arXiv:2610.03498v2cs.RO

탐지 및 억제: VLA 모델의 적대적 패치에 대한 기제론적 방어

Detect and Suppress: A Mechanistic Defense against Adversarial Patches in VLA Models

적대적 패치(adversarial patch)는 시각적 관측을 조작하여 비전-언어-행동(VLA) 모델을 교란함으로써 로봇 제어 실패를 초래할 수 있습니다. 그러나 이러한 실패의 기저에 어떤 내부 메커니즘이 존재하는지, 표적화된 개입을 통해 이를 어떻게 완화할 수 있는지는 여전히 명확히 이해되지 않았습니다. 본 연구에서는 희소 오토인코더(SAE)를 사용하여 VLA 표현을 기제론적으로 분석하고, 활성화 정도가 적대적 패치의 존재와 강하게 상관되는 특징(feature)을 식별합니다. 이 분석을 바탕으로, 선형 탐침(linear probe)이 공격을 탐지할 때에만 추론(inference) 시점에 식별된 특징을 억제합니다. 이러한 개입은 VLA를 미세조정(fine-tuning)하는 비용 없이도 견고성을 향상합니다. 저자들은 LIBERO-10에서 VLA 적대적 패치 공격에 대해 제안 방식을 평가합니다. 조건부 개입은 간헐적인 공격 상황에서 성공률을 향상하는 반면, 동일한 개입을 지속적으로 적용할 경우 정책(policy) 성능이 크게 저하됩니다. 이러한 결과는 공격 관련 내부 표현이 VLA 적대적 방어를 위한 유용한 표적이 될 수 있음을 보여주며, 정상적인 정책 동작에 대한 방해를 제한하기 위해서는 개입 시점을 제어하는 것이 중요하다는 점을 시사합니다.

arXiv:2610.13945v1cs.RO

Splat2Act: 캡처된 장면에서 개인화된 VLA 조작으로

Splat2Act: From Captured Scenes to Personalized VLA Manipulation

범용 조작 정책(manipulation policy)을 가정이나 사무실에 도입하는 사용자는 로봇이 선반, 조리대, 테이블에서 자신의 물체를 집어 올리기를 원합니다. 그러나 $π_{0.5}$와 같은 강력한 범용 정책조차도 적응(adaptation) 없이는 우리가 캡처한 배포 장면에서 0%의 집기 성공률을 보이며, 모든 사용자의 환경에서 실제 시연(demonstration) 데이터를 수집하는 것은 비용이 지나치게 많이 듭니다. 본 논문에서는 휴대폰 스캔과 사용자의 물체 이미지만을 활용하여 사전학습된 비전-언어-행동(VLA, Vision-Language-Action) 정책을 특정 장면 및 물체 세트에 맞게 개인화하는 자동화된 real-to-sim-to-real 파이프라인인 Splat2Act를 제안합니다. 개별 테이블탑만 재구성하던 기존 real-to-sim 연구와 달리, Splat2Act는 건물 규모의 실내 환경에서 작동합니다. 즉, 3D 가우시안 스플래팅(3D Gaussian Splatting)과 충돌 기하학을 통해 사실적인 디지털 트윈을 구축하고, 테이블탑 및 비-테이블탑 수납 공간(receptacle)을 자동으로 감지하며, 실행 가능한 집기 작업을 생성하고, 특권 시뮬레이션 오라클(privileged simulation oracle)을 통해 성공적인 시연 데이터를 생성하므로 사람에게는 장면 및 물체 캡처 작업만 요구됩니다. 이동 가능한 중앙 면적이 104.87 m$^2$이고 7개의 수납 공간을 가진 101개의 스캔된 캠퍼스 환경에 적용했을 때, 이 파이프라인은 852개의 수납 공간과 68,000개 이상의 집기 시연 데이터를 생성했습니다. 우리는 $π_{0.5}$를 두 단계로 파인튜닝합니다. 1단계는 배포 장면 단독 또는 101개 전체 장면에서 가져온 수백 개의 공개 물체 에셋에 적응하고, 2단계는 배포 장면의 수납 공간에 놓인 사용자 고유의 물체에 맞춰 개인화합니다. 가장 강력한 개인화 정책은 목표 장면에서 62.5%의 종합 집기 성공률을 달성했습니다. 실제 Stretch 3에 배포했을 때, 동일한 정책은 12개 작업 하위 집합에서 63.9%의 성공률을 달성하여 해당 작업의 시뮬레이션 성공률인 66.7%를 근접하게 따랐습니다. 이러한 결과는 자동화된 real-to-sim-to-real 학습이 시뮬레이션 오라클 데이터만을 사용하여 VLA 조작 정책을 개인화할 수 있음을 시사합니다.

arXiv:2610.13732v1cs.CV

LAPT-Scale: 인간 비디오 기반 잠재 행동 사전학습을 통한 체화된 정책의 스케일링

LAPT-Scale: Scaling Embodied Policies with Latent Action Pre-Training on Human Videos

범용 로봇 정책의 스케일링(scaling)은 체화된(embodied) 상호작용 데이터 수집의 높은 비용으로 인해 한계를 겪고 있습니다. 대규모 1인칭 시점(egocentric) 인간 비디오는 풍부한 대안을 제공하지만 로봇 행동 레이블이 결여되어 있으며, 기존의 행동 어노테이션 방법은 실제 환경의 시각적 복잡성과 다양한 조작 동역학 환경에서 노이즈가 발생하는 경우가 많습니다. 본 논문에서는 두 가지 구성 요소로 이루어진 확장 가능한 잠재 행동 사전학습 패러다임인 LAPT-Scale을 소개합니다. LAPT-Scale-LAM은 인간 비디오의 프레임 간 시각적 전이(visual transition)를 설명하여 연속적인 잠재 행동을 학습하고 이를 인간 유래 지도 신호로 활용하며, LAPT-Scale-Policy는 인간 비디오 잠재 행동 사전학습, 타깃 로봇 체화 정렬(embodiment alignment), 그리고 태스크 특화 사후 학습을 거쳐 VLA(Vision-Language-Action) 정책을 학습합니다. 이전의 벡터 양자화 LAM과 달리, LAPT-Scale-LAM은 세밀한 모션 및 상호작용 동역학을 보존하기 위해 연속 잠재 공간(continuous latent space)을 사용합니다. 나아가 픽셀 재구성을 넘어 전이 수준의 지도 신호를 향상하기 위해 지각적, 의미적, 광학 흐름(optical-flow) 정렬 신호를 결합합니다. 23,300시간의 1인칭 비디오로 학습된 LAPT-Scale-LAM은 정책 사전학습을 위한 암시적 행동 지도 신호를 제공하여 일관된 스케일링 이득을 달성하며, 어노테이션된 인간 비디오가 1,000시간에서 5,000시간으로 증가함에 따라 실제 로봇 성공률을 63.3%에서 85.0%로 향상시킵니다. 학습된 정책은 또한 이전에 본 적 없는 시각적 조건으로도 일반화됩니다.

arXiv:2610.13628v1cs.RO

JitterVLA: VLA 기반 인간-로봇 조작에서 모션 품질 평가를 위한 재생 벤치마크

JitterVLA: A Replay Benchmark for Motion Quality in VLA-Driven Human-Robot Manipulation

비전-언어-행동(VLA) 정책은 희소한(sparse) 목표 명령을 생성하며, 이러한 명령이 로봇 제어기에 도달하는 과정에서 지연과 불규칙성이 발생합니다. 따라서 합리적으로 예측된 동작이라 할지라도 사람 근처에서 급격한 움직임을 유발할 수 있습니다. 기존의 해결책들은 서로 다른 데이터 스트림, 지연 시간 및 평가 지표 하에서 평가되어 왔습니다. JitterVLA는 동일한 명령 및 도달 흔적(trace)을 대체 제어기에 그대로 재생(replay)함으로써 제어기만의 효과를 분리하여 검증합니다. 본 연구는 이를 합성 도달 동작, 20명의 사람 손 궤적, 3개의 오픈 소스 VLA 파이프라인(838개 에피소드), 그리고 실제 UR3 로봇에 적용했습니다. 보간(interpolation)은 모든 데이터 소스에서 모델링된 p99 저크(jerk)를 감소시켰으며, 200ms 지연이 발생한 인간 모션에서는 2.0cm의 추적 오차를 대가로 저크를 83%(615에서 106m/s^3) 줄였고, 이러한 효과는 598개의 새로운 에피소드에서도 동일하게 재현되었습니다. 저크 제한 생성은 더 큰 오차 비용을 수반하면서 저크를 더욱 낮추었습니다. 엔트로피와 불연속성 간의 상관관계는 두 파이프라인에서 반대 부호로 일관되게 나타났으며, 엔트로피 게이팅은 한 파이프라인에서는 효과가 있었으나 다른 파이프라인에서는 그렇지 않았습니다. 실제 UR3 로봇에서 보간 기법은 6개의 탐색적 쌍 모두에서 가속도계 기반 저크를 3.0~14.0% 낮춘 반면, 위치 기반 지표는 이러한 차이를 분해해 내지 못했습니다. JitterVLA는 인간 중심 연구에 앞서 사전 스크리닝을 지원하며, 코드와 데이터는 공개될 예정입니다.

arXiv:2610.13578v1cs.RO

RARA: 로봇 조작을 위한 검색 고정 표상 정렬 기반의 강건한 정책 미세조정

RARA: Robust Policy Fine-Tuning through Retrieval-Anchored Representation Alignment for Robotic Manipulation

비전-언어-행동(VLA, Vision-Language-Action) 모델과 같은 사전학습된 로봇 정책은 범용 로봇 조작을 위한 강력한 기반을 제공하지만, 소수의 시연(demonstration)만으로 이를 새로운 태스크에 적응시키는 것은 여전히 어렵습니다. 사전학습된 정책을 직접 미세조정(fine-tuning)하면 대개 강력한 분포 내(in-distribution) 성능을 달성할 수 있지만, 사전학습 중에 학습된 표상을 왜곡하여 분포 외(out-of-distribution) 변화에 대한 모델의 일반화 능력을 약화시킬 수 있습니다. 우리는 이러한 문제를 해결하기 위해 2단계 적응 방식인 검색 고정 표상 정렬(RARA, Retrieval-Anchored Representation Alignment)을 제안합니다. 첫째, RARA는 유사한 태스크 의도 및 동작을 가진 사전학습 시기의 표상 특징을 검색하고, 타깃 시연에 대한 정책의 표상을 검색된 시연의 사전학습된 표상과 정렬합니다. 둘째, RARA는 미세조정 과정에서 검색된 시연에 대한 정책 표상이 변화하는 정도를 제한하면서 타깃 시연에 대해 정책을 미세조정합니다. 행동 학습 전 표상 불일치를 줄이고 적응 과정에서 사전학습된 지식을 보존함으로써, RARA는 미세조정 중 불필요한 표상 표류(representation drift)를 제한합니다. RoboTwin, RoboCasa의 13개 태스크 및 실제 로봇에서 Diffusion Policy와 GR00T를 사용해 진행한 실험 결과, RARA는 미세조정의 평균 성공률을 분포 내에서 9.5%p, 분포 외에서 13.6%p 향상시켰으며 비교 대상이 된 모든 베이스라인을 능가함을 보여줍니다. 프로젝트 페이지: https://shua-kang.github.io/RARA_robot/

arXiv:2610.13516v1cs.RO

RESCUE: 이 알람은 대응할 가치가 있는가? VLA 런타임 모니터의 반사실적 평가

RESCUE: Is This Alarm Worth Acting On? Counterfactual Evaluation of VLA Runtime Monitors

로봇 정책(policy)에 대한 런타임 실패 모니터는 일반적으로 실패한 실행과 성공한 실행을 얼마나 정확하게 구분하는지로 평가된다. 그러나 정확한 알람도 복구하기에는 너무 늦게 도착할 수 있으며, 불필요한 개입(intervention)은 그렇지 않았다면 성공했을 실행을 방해할 수 있다. 우리는 모니터의 알람이 유용한 개입을 가능하게 하는지 평가하기 위한 반사실적(counterfactual) 프레임워크인 RESCUE를 소개한다. 실행 체크포인트에서 시뮬레이터와 정책 상태를 복원함으로써, RESCUE는 대안적 행동을 비교하고 지정된 복구 기준을 만족하는 가장 마지막 체크포인트를 식별하며, 알람에 따라 행동하는 것이 예상 작업 완료 비용을 줄이는지를 평가한다. 우리는 LIBERO-Spatial과 LIBERO-Plus에서 OpenVLA-OFT와 $π_{0.5}$를 사용하여 128,340개의 반사실적 분기로 RESCUE를 평가한다. 복구 가능성은 로봇 상태만이 아니라 상태-개입 쌍에 의존한다: $τ=0.5$에서 OpenVLA-OFT/LIBERO-Plus 실패 66건 중 14건은 계속(continuation) 조건에서 복구 가능한 체크포인트를 포함하는 반면, 계속 또는 스크립트 기반 복구 조건에서는 66건 중 34건이 그러하며, 다른 조건에서는 복구가 오히려 복구 가능성을 감소시킨다. 주요 강한 정책 조건에서는 우수한 탐지 점수가 더 낮은 개입 비용을 보장하지 않는다. 평가된 정지 후 재설정 모델 하에서는, 이상적인 탐지기조차도 불필요한 재설정으로 인한 비용이 실패를 조기에 멈춤으로써 얻는 절감 효과를 상회하기 전까지 2.0~3.3%의 오탐 비율만을 감당할 수 있다. 이러한 결과는 모니터의 가치가 사용 가능한 개입과 그것이 배치되는 작업 부하에 공동으로 의존한다는 것을 보여준다.

arXiv:2610.10912v1cs.RO

듣는 것이 더 쉬워질 때: 지름길 없는 VLA를 위한 시각적 단서 스크러빙

When Listening Becomes Easier: Scrubbing Visual Cues for Shortcut-Free VLAs

지름길 학습(shortcut learning)은 로봇 학습에서 널리 발생하는 문제입니다. 로봇 시연(demonstration) 데이터셋의 제한된 다양성은 정책이 시점이나 배경과 같은 무관한 특징과 작업 간의 가짜 상관관계(spurious correlation)를 악용하도록 오도할 수 있습니다. 충분히 다양한 로봇 시연을 수집하는 것은 비용이 많이 들고 비효율적이므로, 알고리즘적 대안이 요구됩니다. 본 연구에서는 비전-언어-행동(vision-language-action, VLA) 모델에 초점을 맞추어, 서로 다른 비전-언어 모델 백본이 시각적 지름길 학습에 대해 실질적으로 서로 다른 취약성 수준을 보임을 발견했습니다. 또한 모델의 행동이 정책 롤아웃(rollout)을 필요로 하지 않는 제안된 표현 수준 지표인 액션 마진(action margin)과 상관관계가 있음을 밝혔습니다. 시각적 지름길은 일관되게 초기 계층에서 행동 표현에 진입하며, 이후 계층에서 언어 정보를 통합하여 이를 수정하는 정도는 모델마다 달랐습니다. 모델의 언어에 대한 어텐션을 높이기 위해, 본 논문에서는 모델이 시각적 지름길을 사용할 가능도를 줄이고 VLA의 일반화를 향상시키는 새로운 도메인 적대적 학습 방법인 태스크 스크러빙(task scrubbing)을 도입합니다. 여러 VLA 및 시각적 단서에 대해 시뮬레이션과 실제 환경 모두에서 수행된 실험은 태스크 스크러빙이 분포 외(out-of-distribution) 강건성을 개선하고 종종 시각적 지름길 학습을 제거함을 보여줍니다.

arXiv:2610.10787v1cs.RO

NavGPT-3: 계층적 내비게이션 런타임에서 문맥 활용하기

NavGPT-3: Harnessing Context in a Hierarchical Navigation Runtime

장기적(long-horizon) 에이전트 강화학습(RL)으로 학습된 언어 모델은 추론을 통해 지식을 일반화하고, 정밀한 행동을 표현하며, 여러 단계에 걸쳐 목표를 추구할 수 있어 임바디드 에이전트(embodied agent)가 이해하고 결정할 수 있는 한계를 끌어올립니다. 그러나 물리적 상호작용은 조밀하고 지연 시간이 짧은 제어를 제공하는 행동 정책(action policy)의 영역으로 남아 있습니다. 본 논문에서는 두 모델을 연결하는 하네스(harness)이자 그 위에 구축된 OS 유사 런타임을 갖춘 NavGPT-3을 제시합니다. 추론, 행동 및 모니터링은 자체 문맥, 도구 및 권한을 가진 스레드로 실행되며, 런타임은 이를 스케줄링하고 로봇의 모션을 제어할 스레드를 결정하여 인터럽트 및 스레드 전환을 통해 로봇이 갑작스러운 현실 세계의 이벤트에 반응할 수 있도록 합니다. 그 아래에서 1,928만 개의 예제로 학습된 당사의 행동 정책인 NavGPT VLA는 코덱 할당을 사용하여 장면 변화에 비례하여 시각 토큰을 할당합니다. 8B 모델 단독으로도 R2R-CE에서 74.51 SR을 달성하고 RxR-CE에서 78.19 SR로 선두를 달립니다. 완전한 하네스를 갖춘 NavGPT-3은 R2R-CE에서 최고 성능(SOTA, 81.51 SR)을 기록하며 최초로 자율 에이전트를 인간 수준으로 끌어올렸습니다. 즉, RxR-CE에서 에피소드당 인간의 약 3분 대비 1분 22초 만에 성공률(90.43 대 90.4 SR)과 경로 충실도(78.47 대 77.7 nDTW) 모두 인간 팔로워와 일치하는 성능을 보였습니다. 본 연구는 하네스 설계와 두 모델 간의 상호작용을 포괄적으로 제거(ablation) 분석하여, 도구와 행동 정책이 언어 모델 추론에서 물리적 제어로 이어지는 경로를 어떻게 형성하는지 보여줍니다. NavGPT VLA가 경로를 실행할 때 추론 루프가 단축되고 시스템의 최소 반응 시간은 언어 모델 결정당 3~19초에서 행동 정책 단계당 0.5~1초(1~2 Hz)로 감소합니다. 이러한 결과는 이러한 임바디드 인터페이스 설계가 프론티어 언어 모델 지능과 저수준 물리적 제어를 연결하는 데 핵심적임을 보여줍니다. 모든 모델, 코드 및 평가 기록을 공개할 예정입니다.

arXiv:2610.02626v2cs.CV

미래를 상상하고 핵심을 내면화하기: 내면화된 시공간 상상을 통한 효율적인 VLA 추론

Imagine the Future, Internalize the Gist: Efficient VLA Reasoning via Internalized Spatiotemporal Imagination

비전-언어-행동(Vision-Language-Action, VLA) 모델은 로봇 조작 능력을 향상시키기 위해 중간 추론(intermediate reasoning)을 점진적으로 통합하고 있으나, 기존 접근법들은 미래 장면의 변화를 명시적으로 예측하지 않고 주로 관찰된 상태만을 바탕으로 추론합니다. 그러나 이러한 추론을 모든 추론(inference) 단계에서 명시적인 미래 롤아웃(rollout)으로 확장하는 것은 상당한 연산 오버헤드를 유발합니다. 본 논문에서는 모델이 미래를 상상하고 핵심(gist)을 내면화할 수 있도록 하는 VLA 추론 프레임워크인 IG-VLA를 제안합니다. 제안하는 잠재 시공간 추론(Latent Spatiotemporal Reasoning)은 시각적 표현 공간에서 직접 작업과 관련된 미래 장면 변화를 상상하도록 학습하여, 비용이 많이 드는 픽셀 수준의 비디오 생성 없이도 행동 예측을 유도합니다. 추론 오버헤드를 더욱 줄이기 위해, 추론을 통해 도출된 장면-행동 연관성을 컴팩트한 장면 요약 토큰(Scene Gist Token)으로 내면화하는 장면 요약 메모리(Scene Gist Memory)를 도입하여, 추론 시 명시적인 미래 상상을 거치지 않으면서도 미래 추론의 이점을 유지하도록 합니다. LIBERO, LIBERO-Plus 및 VLABench에 대한 광범위한 실험은 IG-VLA의 효과성과 효율성을 입증합니다. LIBERO-Plus Language 제품군에서 추론 정책과 요약 정책 모두 성공률 면에서 가장 강력한 기준선(baseline) 대비 약 6% 높은 성능을 보였습니다. 또한 요약 정책은 기준선 대비 최대 6.38배의 속도 향상을 달성하여, 단일 NVIDIA A6000 GPU에서 액션 청크당 추론 지연 시간을 1081ms에서 169.5ms로 단축했습니다. 이러한 결과는 효율적인 VLA 배포를 위해 미래 시공간 추론이 효과적으로 내면화될 수 있음을 보여줍니다.

arXiv:2609.25562v2cs.RO

IndustrialVLA-Bench: 오픈 로봇 정책 모델에 대한 추적 가능한 다축 평가

IndustrialVLA-Bench: A Traceable Multi-Axis Evaluation of Open Robot Policy Models

오픈 로봇 정책은 점차 두 가지 패러다임을 따르고 있습니다. 비전-언어-행동 모델(VLA)은 관측값과 지시사항을 행동으로 직접 매핑하는 반면, 월드-행동 모델(WAM)은 학습된 비디오 또는 월드 역학을 정책 학습이나 행동 생성에 통합합니다. 두 방식 모두 동일한 조작 작업을 목표로 하며 대안적인 설계 선택을 나타내지만, 일반적으로 서로 다른 평가 프로토콜 하에서 보고되어 능력, 강건성, 언어 민감도 및 배포 비용 간의 트레이드오프가 불명확한 상태로 남아 있습니다. 본 연구에서는 통합된 보고 체계 하에서 공개된 6개의 VLA 및 WAM 시스템에 대한 근거 인식(evidence-aware) 평가인 IndustrialVLA-Bench를 제시합니다. 이는 LIBERO에서의 기본 능력, LIBERO-Plus에서의 비언어적 강건성, LIBERO-Para에서의 지시사항 민감도, 관측된 실행 비용을 분리하여 평가합니다. 보고된 작업 점수는 고정된 체크포인트와 추론 구성 하에서 서로 다른 무작위 시드를 사용한 3회의 완전한 평가를 집계한 결과입니다. 6개 시스템 전체에서 기본 LIBERO 평균 점수 차이는 1.58점에 불과한 반면, 강건성 및 패러프레이즈 요약 점수의 차이는 각각 14.62점과 31.08점에 달합니다. 프로토콜을 충실히 따른 3개 시스템으로 비교를 한정하더라도 이러한 양상(1.36, 14.62, 23.10점)이 유지되므로, 여기서 보고된 진단적 분리는 더 낮은 근거 계층에 의존하지 않습니다. 또한 모든 시스템에 대해 관측된 추론 지연 시간, 최대 메모리, 런타임 모드 및 근거 상태를 함께 보고합니다. 프로토콜 준수, 준재현, 검증 대기 항목은 명확히 구분되어 유지되며, 프로토콜 준수 항목만이 엄격한 비교를 뒷받침합니다. 어느 한 패러다임의 보편적 우월성을 주장하기보다는, IndustrialVLA-Bench는 공유된 실용적 기준에 따라 공개된 로봇 정책을 비교할 수 있는 추적 가능한 근거를 제공합니다. 코드와 평가 기록은 https://github.com/xiaoqi-7/IndustrialVLA-Bench 에서 확인할 수 있습니다.

arXiv:2609.20659v2cs.RO

HIL-UMI: 범용 조작 인터페이스(Universal Manipulation Interface)를 활용한 비전-언어-행동 모델의 인간 참여형 사후 학습

HIL-UMI: Bringing Human-in-the-Loop Post-Training of Vision-Language-Action Models to Universal Manipulation Interface

대규모 비전-언어-행동(VLA, Vision-Language-Action) 모델은 로봇 조작을 위한 강력한 사전 지식을 제공하지만, 특정 실제 환경에 이를 적용하는 것은 여전히 어려운 과제입니다. 태스크별 시연 데이터에 대한 지도 미세조정(SFT)은 배포를 위한 한 걸음을 제공하지만 두 가지 지속적인 한계에 직면합니다. 정적 데이터는 분포 외(OOD, out-of-distribution) 상태에 대한 커버리지가 제한적이며, 표준 모방 학습 목적 함수는 진전을 보이는 행동과 덜 유용한 데이터를 구별하지 못합니다. 대화형 사후 학습(interactive post-training)은 이러한 한계를 해결할 수 있지만, 일반적으로 물리적 로봇에서 반복적인 정책 실행 및 인간의 개입을 필요로 합니다. 본 논문에서는 로봇 없이도 인간 참여형(human-in-the-loop) VLA 사후 학습을 가능하게 하는 정책 기반 범용 조작 인터페이스(UMI, Universal Manipulation Interface) 프레임워크인 HIL-UMI를 소개합니다. 휴대형 UMI 시연 도중, HIL-UMI는 정책의 예측을 직접 실행하지 않으면서 동일한 관측 스트림에 대해 현재 정책을 쿼리합니다. 에너지 점수(Energy Score)는 인간의 행동 궤적과 정책 추론을 비교하여, 그 불일치가 분포 외 영역을 나타낼 때 데이터 수집을 유도합니다. 별도의 피드백 루프에서는 낮은 온라인 어드밴티지(advantage) 예측을 통해 진행도 기반 어드밴티지 추정기를 개선하는 데 필수적인 세그먼트를 식별합니다. 이렇게 업데이트된 추정기는 기본 시연 데이터와 새로운 정책 데이터의 균형 잡힌 혼합을 사용하여 어드밴티지 조건부 행동 복제(behavioral cloning)를 안내합니다. 이러한 설계는 데이터 수집을 로봇 배포와 분리하면서도 인간 참여형 학습의 반복적이고 정책 인식적인 특성을 유지합니다. 긴 수평선(long-horizon) 및 정밀 조작을 아우르는 4가지 실제 환경 태스크에 대한 실험 결과, HIL-UMI는 SFT 대비 일관된 성능 향상을 달성하며 목표 지향적 수집과 어드밴티지 개선 모두에서 이점을 얻음을 보여줍니다. 또한 HIL-UMI는 Clean Up Table 태스크에서 더 낮은 프레임당 수집 시간으로 HG-DAgger보다 우수한 성능을 보여, 다양한 작업자와 위치 전반에서 확장 가능한 VLA 사후 학습 경로를 제시합니다.

arXiv:2608.25757v5cs.RO

LM-X: 진행도, 이벤트 및 불확실성 예측을 통한 설명 가능한 비전-언어-행동 모델링

LM-X: Explainable Vision--Language--Action Modeling via Progress, Event, and Uncertainty Prediction

대규모 비전-언어-행동(VLA, Vision-Language-Action) 정책은 범용 로봇 제어를 발전시켰으나, 대부분은 자극-행동 간 블랙박스로 남아 있습니다. 즉 행동은 표출되지만 그 설명적 상태는 드러나지 않습니다. 이들은 작업 진행도, 다음 의미적 전이(semantic transition), 국소 명령 신뢰도라는 세 가지 설명 신호를 본질적으로 제공하지 못합니다. 선행 연구는 진행도와 이벤트 구조가 장기 과제 제어(long-horizon control)에 도움을 주고 불확실성이 모니터링을 지원함을 보여주지만, 이러한 기능들은 일반적으로 행동 사전학습(pre-training) 이후에야 추가되거나 추출됩니다. 따라서 학계에는 설명적 상태가 제어와 함께 공동 사전학습되는 VLA 파운데이션 모델이 부재한 상황입니다. 결과 민감적이고 이벤트 분절적이며 확률론적인 예측이 행동을 구조화하는 생물학적 감각운동 체계에 착안하여, 본 연구는 LM-X를 제안합니다. LM-X는 직접 지도 학습되는 세 가지 온라인 신호를 학습합니다. 잔여 보상(RTG, Return-To-Go)은 가시적 진행도와 상태 품질을 추정하고, 잔여 이벤트(ETG, Event-To-Go)는 다음 의미적 이벤트까지의 행동 시퀀스를 예측하며, 이분산 행동 흐름 분산(heteroscedastic action-flow variance)은 국소 명령 신뢰도를 보고합니다. RTG는 ETG의 조건으로 작용하고 둘 모두 행동 생성의 조건이 되며, 불확실성은 행동 전문가 내부에서 추정되어 사후 설명이 아닌 제어의 일부로서 설명이 이루어집니다. 본 연구는 실패한 1,000시간 이상의 롤아웃을 포함해 20,000시간 이상의 이종 실제 로봇 궤적을 대상으로 LM-X를 사전학습했습니다. LM-X는 무작위 고난도 RoboTwin2.0 과제 50개에서 74.1%, 실제 로봇 과제 7개에서 73.5%의 성공률을 달성하여, 각각 55.4%와 50.7%를 기록한 GR00T N1.7을 앞섰습니다. 본 모델의 신호는 진행과 퇴행을 추적하고, 이벤트 단위의 움직임을 예측하며, 높은 오차의 행동을 감지하고, 실패를 사전에 경고합니다. 이러한 결과는 LM-X가 투명한 예측 상태를 더욱 강력한 범용 제어와 결합한 설명 가능한 VLA 파운데이션 모델임을 입증합니다. Github: https://github.com/loongOpen/LoongWu-LM-X-VLA

arXiv:2607.04517v2cs.AI

VLA Grounder: 블랙박스 VLA 모델을 위한 언어 조건화 공간 최적화

VLA Grounder: Language-Conditioning Space Optimization for Black-Box VLA Models

비전-언어-행동(Vision-Language-Action, VLA) 모델은 일반적으로 자연어로 된 작업 설명에 조건화된 종단간(end-to-end) 행동 정책으로 취급된다. 그러나 실제로는 이러한 모델의 동작이 지시문이 표현되는 방식에 따라 크게 달라지는 경우가 많으며, 이는 언어가 단순한 작업 레이블이 아니라 최적화 가능한 조건화 입력임을 시사한다. 본 연구에서는 고정된(frozen) VLA 정책을 행동 가중치를 업데이트하지 않고 언어 공간을 최적화함으로써 개선할 수 있는지를 연구한다. 제안하는 방법은 사람의 지시문을 객체의 외형, 공간적 관계, 타겟 그라운딩(target-grounding) 신호를 활용하여 짧은 VLA 그라운딩(VLA-grounded) 명령으로 변환하는 언어 조건화 공간 정책(language-conditioning space policy)을 도입한다. 이 언어 조건화 공간 정책은 희소한(sparse) 작업 완료 보상으로부터의 강화학습을 통해 최적화되며, 다운스트림 VLA는 완전히 고정된 상태로 유지된다. RL4VLA와 VL-Think에 대한 실험 결과, 언어 조건화 공간 최적화가 지시문에 민감한(instruction-sensitive) 작업, 기호적(symbolic) 작업, 다중 객체 조작(multi-object manipulation) 작업에서의 성공률을 향상시킴을 보여주며, 이는 언어가 로봇 파운데이션 모델(foundation model)의 최적화 가능한 변수로 활용될 수 있음을 입증한다. 웹사이트: https://cognitiveaisystems.github.io/VLA-Grounder/

arXiv:2606.17924v2cs.RO

PearlVLA: 잠재 공간에서의 점진적 체화 행동-계획 정제

PearlVLA: Progressive Embodied Action-Plan Refinement in Latent Space

현재의 비전-언어-행동(VLA, Vision-Language-Action) 모델은 효율적인 행동 생성과 명시적인 심사숙고 사이의 트레이드오프에 직면해 있습니다. 비전-언어 백본 표현에서 직접 행동을 디코딩하면 저지연 제어가 가능해지는 반면, 텍스트 기반 추론, 픽셀 수준 서브골(subgoal), 또는 디코딩된 행동에 대한 월드 모델 평가는 계획 수립을 개선할 수 있지만 상당한 지연 시간과 계산 비용을 초래합니다. 본 논문에서는 각 중간 계획의 예측된 결과로부터 얻은 피드백을 활용하여 VLM 유래 잠재 계획을 점진적으로 정제하는 VLA 프레임워크인 PearlVLA를 제안합니다. PearlVLA는 행동 정보가 없는(action-free) 비디오로 사전학습된 고정된 잠재 월드 모델(LaWM, Latent World Model)을 사용합니다. 각 정제 라운드마다 현재 계획은 연속적인 잠재 행동 코드를 생성하고, LaWM은 이에 대응하는 잠재 시각적 서브골을 예측합니다. 미래 유도형 계획 정제기는 이 서브골을 사용하여 계획을 업데이트하므로, 각 수정은 다음 LaWM 쿼리를 재구성합니다. K번의 라운드를 거친 후, 정제된 계획은 호스트 정책의 행동 인터페이스로 한 번 전달되어 행동 청크(action chunk)를 생성합니다. 나아가 동일한 정제 상태에서 이루어진 계획 편집의 더 긴 지평(longer-horizon)으로 상상된 미래에서 얻은 보상을 비교함으로써 잠재 정제를 최적화하는 인과 정제-그룹화 프로세스-보상 강화학습(Causal Refinement-Grouped Process-Reward RL)을 소개합니다. LIBERO 및 RoboCasa 벤치마크 실험을 통해 PearlVLA가 기존의 강력한 방법들에 비해 경쟁력 있는 성능을 보임을 확인했습니다.

arXiv:2606.16253v2cs.CV

비전-언어-행동 모델을 위한 학습 기반 이미지 압축

Learned Image Compression for Vision-Language-Action Models

비전-언어-행동(VLA) 모델은 점점 더 고주파(high-frequency) 멀티 카메라 관측에 의존하고 있으며, 이로 인해 대역폭이 제한되거나 분산된 배포 환경에서 실시간 로봇 제어를 위한 시각 정보 전달이 주요 병목으로 작용하고 있다. 그러나 기존 이미지 및 비디오 코덱은 다운스트림 VLA 정책(policy)의 제어 성능보다는 일반적인 시각적 충실도(fidelity)를 보존하도록 설계되어 있다. 본 연구에서는 VLA 기반 로봇에 특화된 학습 기반 이미지 압축 프레임워크인 SPARC(SPatially Adaptive Rate Control)를 제안한다. 우리의 핵심 관찰은 시각 정보의 중요도가 카메라 뷰(view)와 이미지 내 공간적 영역(spatial region) 모두에 걸쳐 상당히 다르게 나타난다는 것이다. 이러한 관찰을 바탕으로, SPARC는 시간적 맥락(temporal context)을 활용하면서 작업 관련성(task relevance)에 따라 잠재 표현(latent representation)에 비트레이트(bitrate)를 적응적으로 할당하는 경량 시간적 마스크 선택기(temporal mask selector)를 사용한다. 또한 우리는 엔트로피 기반 목적함수(entropy-based objective)가 드물지만 작업에 결정적인(task-critical) 시각 패턴을 과도하게 억제하는 경향을 줄여 학습을 안정화하는 기울어진 비트레이트 손실(tilted rate loss)을 도입한다. RoboCasa365, VLABench, LIBERO를 포함한 다양한 로봇 벤치마크 실험에서 SPARC는 동일한 비트레이트 예산 하에서 기존 이미지/비디오 코덱 및 최근의 학습 기반 압축 기법보다 일관되게 더 강력한 제어 성능을 달성함을 보인다. 또한 우리는 원격 제어(remote-control) 환경에서의 실세계 배포 이점을 입증하며, 이 환경에서 우리의 방법은 비트레이트-성공률(bitrate-success) 트레이드오프를 크게 개선한다.

arXiv:2603.17524v2cs.RO

ExecVLA: 2단계 행동 표현을 통해 비전-언어-행동 모델에서 세분화된 실행 제약 조건을 따르기

ExecVLA: Following Fine-Grained Execution Constraints in Vision-Language-Action Models with Bi-Level Action Representation

본 연구에서는 비전-언어-행동(VLA) 모델에서 세분화된 실행 제약 조건(fine-grained execution constraint)을 따르는 문제를 다룹니다. 불변하는 작업 목표가 주어졌을 때, 정책은 상호작용 대상, 모션 패턴, 공간적 관계, 최종 구성을 포함하여 지시사항에 명시된 실행 제약 조건을 따라야 합니다. 이러한 설정은 목표 지향적 VLA의 한계를 드러냅니다. 지시사항이 작업을 실행하는 방식을 명시할 경우, 동일한 작업을 완수하는 궤적이라 하더라도 서로 대체될 수 없다는 점입니다. 우리는 2단계(bi-level) 행동 표현과 지도 학습 기반의 2단계 추론 토큰을 통해 목표 지향 컴포넌트와 실행 특화 컴포넌트를 분리하는 프레임워크인 ExecVLA를 제안합니다. 더 나아가 명시적인 목표 불변성 및 실행 예측 가능성 목적 함수를 도입하여, 동일한 목표의 여러 실행 전반에서 목표 수준 표현은 안정적으로 유지되는 반면, 실행 수준 표현은 각 실행을 구분 짓는 제약 조건을 보존하도록 합니다. 우리는 목표 및 세분화된 추론 주석을 포함하여 시뮬레이션 환경과 Realman-75 로봇에서 실행 제약 조건 추종 데이터셋을 구축했습니다. LIBERO 및 실제 로봇을 대상으로 한 실험 결과, 목표 완수율이 향상되었을 뿐만 아니라 지시사항에 명시된 실행 제약 조건을 훨씬 더 안정적으로 준수함을 보여줍니다.

arXiv:2603.12717v3cs.RO

변화된 생각, 변화된 행동: 비전-언어-행동 정책을 위한 제어 표면으로서의 추론 연쇄

Altered Thoughts, Altered Actions: Reasoning Chain as Control Surface for a Vision-Language-Action Policy

비전-언어-행동(Vision-Language-Action, VLA) 정책은 카메라 이미지와 자연어 지시문을 로봇의 모터 동작에 매핑합니다. 이러한 정책 중 일부는 행동하기 전에 텍스트로 추론하도록 설계되어, 추론 연쇄(reasoning chain)를 생성하고 해당 연쇄를 조건으로 동작을 디코딩합니다. 이 설계를 도입한 연구들은 추론 연쇄를 사람이 읽고 편집하여 정책을 교정할 수 있는 텍스트 형태의 감독 인터페이스로 제시합니다. 그러나 편집된 추론 연쇄가 정책의 모터 동작에 어떤 영향을 미치는지, 즉 동작을 복구하는지 아니면 훼손하는지는 지금까지 부분적으로만 측정되었습니다. 본 연구에서는 정책이 받는 지시문과 정책이 생성하는 추론 연쇄에 적용되는 결정론적 개체 교체(entity swap)를 통해 복구와 훼손이라는 두 방향을 모두 측정합니다. 4개의 LIBERO 시뮬레이션 스위트 전반에 걸친 40개 태스크의 관찰 결과에 따르면, 추론 연쇄 훼손으로 인한 비용은 언어만으로 목표가 결정되는 영역에 집중됩니다. 이에 따라 우리는 추론 연쇄가 일반 텍스트로 노출되어 있는 DeepThinkVLA를 선택하여 LIBERO-Goal에서 반사실적 개입(counterfactual intervention)을 수행합니다. 정책은 훼손된 지시문을 수신하지만, 추론 연쇄는 해당 지시문이 온전할 때 생성되는 연쇄로 대체됩니다. 사전 등록된 확인 테스트에서 이 반사실적으로 올바른 추론 연쇄는 손실된 성공률의 47.8%p를 회복했습니다. 만약 연쇄가 카메라 이미지가 이미 결정한 내용을 단순히 재진술한 것에 불과했다면, 대체로 인해 아무것도 바뀌지 않았을 것입니다. 그러나 10개 태스크 모두가 예측된 방향으로 이동했습니다. 다만 성공률은 온전한 실행 대비 38.0%p 미치지 못했으며, 이는 우리가 5~15%p로 예상했던 격차보다 컸습니다. 따라서 추론 연쇄는 유효한 제어 표면(control surface)으로 작동합니다. 즉, 추론 연쇄에 작성된 텍스트가 로봇을 움직이며, 텍스트가 올바를 때는 행동을 복구하고 잘못되었을 때는 이를 훼손합니다. 이러한 제어 표면을 노출할지 여부는 배포 시의 트레이드오프이며, 이제 그 일부를 정량적으로 측정할 수 있습니다.

arXiv:2602.15397v2cs.RO

ActionCodec: 무엇이 좋은 액션 토크나이저를 만드는가

ActionCodec: What Makes for Good Action Tokenizers

비전-언어 모델(VLM)의 고유한 자기회귀(autoregressive) 패러다임을 활용하는 비전-언어-행동(VLA) 모델은 뛰어난 인스트럭션 추종(instruction-following) 능력과 학습 효율성을 입증해 왔습니다. 이 패러다임의 핵심은 액션 토큰화(action tokenization)이지만, 기존 설계는 주로 재구성 충실도(fidelity)에만 집중하여 VLA 최적화에 미치는 직접적인 영향을 다루지 못했습니다. 그 결과, '무엇이 좋은 액션 토크나이저를 만드는가'라는 근본적인 질문은 여전히 답을 찾지 못한 채 남아 있습니다. 본 논문에서는 VLA 최적화의 관점에서 구체적인 설계 원칙을 정립함으로써 이러한 격차를 해소합니다. 정보이론적 통찰을 바탕으로 시간적 토큰 중첩 극대화, 어휘 중복 최소화, 다중 모달(multimodal) 상호 정보량 강화, 토큰 독립성을 포함한 모범 사례들을 식별합니다. 이러한 원칙에 따라, 다양한 시뮬레이션 및 실제 환경 벤치마크 전반에서 학습 효율성과 VLA 성능을 모두 크게 향상시키는 고성능 액션 토크나이저인 ActionCodec을 소개합니다. 특히 LIBERO에서 ActionCodec으로 파인튜닝된 SmolVLM2-2.2B는 어떠한 로보틱스 사전학습 없이도 95.5%의 성공률을 달성합니다. 고급 아키텍처 개선을 적용하면 97.4%에 도달하여, 로보틱스 사전학습이 없는 VLA 모델에 대한 새로운 SOTA를 기록합니다. 본 연구에서 정립한 설계 원칙과 공개된 모델이 연구 커뮤니티가 더 효과적인 액션 토크나이저를 개발할 수 있도록 명확한 로드맵을 제공할 것으로 기대합니다.