arXiv:2606.20246v1 cs.RO

비전-언어-행동 모델의 미세조정은 생각보다 적은 층만 필요로합니다

Finetuning Vision-Language-Action Models Requires Fewer Layers Than You Think

Gia-Binh Nguyen, Trong-Bao Ho, Thien-Loc Ha, Khoa Vo, Philip Lund Møller, Quang T. Nguyen, Long Dinh, Tuan Dam, Vu Duong, Tung M. Luu, Trung Le, Tran Nguyen Le, Minh Vu, An Thai Le, Ngan Le 외 5명

제출 2026-06-18

한국어 초록

대규모 비디오-로봇 데이터셋에서 사전학습된 비전-언어-행동(VLA) 모델은 로봇 조작 분야에 혁명을 일으켰으나, 수십억 개의 매개변수로 구성된 아키텍처로 인해 다운스트림 미세조정 및 실시간 추론 시 과도한 계산 부담을 초래합니다. 본 연구에서는 이러한 연속 제어 기본 정책(예: pi_0, GR00T-N1.5)의 매우 비자명한 아키텍처 특성을 밝혀냅니다. 다양한 물리 궤적에서 학습되었음에도 불구하고, 이들은 심각한 층별 표현 중복성을 보입니다. 이를 활용하기 위해 우리는 전적으로 학습이 필요 없는 구조적 압축 파이프라인을 도입하여, 최적화된 토큰 축소나 동적 층 선택기를 학습하기 위해 전체 규모 모델을 로드해야 하는 기존 방식의 필요성을 제거했습니다. 대신, 중심화된 커널 정렬(Centered Kernel Alignment)을 통한 단일 순전파만을 사용하여 중복된 층 특징을 식별하고, 쌍둥이 층(twin layers)을 제거하여 VLM 백본과 연속 제어 정책 헤드 모두에서 모델 깊이를 최대 50%까지 영구적으로 압축합니다. 이 간소화된 아키텍처의 다운스트림 미세조정은 학습 시간 40-50% 단축 및 실시간 추론 속도 최대 30% 향상이라는 이중 가속 이점을 제공하며, 전체 규모 기본 모델의 성능과 대등하거나 이를 능가합니다. 우리는 3개의 시뮬레이션 벤치마크(LIBERO, RoboCasa, SimplerEnv)와 4가지 독특한 로봇 형태에 걸친 10가지 다양한 실제 환경 조작 작업에서 본 방법을 포괄적으로 검증했습니다. 이러한 결과는 고급 VLA가 기존에 가정했던 것보다 훨씬 적은 층만을 필요로 한다는 것을 입증하며, 확장 가능한 로봇 학습을 위한 매우 계산 효율적인 패러다임을 제공합니다.

원문 초록

Vision-Language-Action (VLA) models pre-trained on massive video-robot datasets have revolutionized robotic manipulation, yet their multi-billion parameter architectures impose prohibitive computational burdens during downstream fine-tuning and real-time inference. In this work, we reveal a highly non-trivial architectural characteristic of these continuous control foundation policies (e.g., pi_0, GR00T-N1.5): despite being trained on diverse physical trajectories, they exhibit severe layer-wise representational redundancy. To exploit this, we introduce a structural compression pipeline that is entirely training-free, bypassing the need of existing methods to load full-scale models to learn optimized token reductions or dynamic layer selectors. Instead, using only a single forward pass via Centered Kernel Alignment to identify redundant layer features, we remove twin layers to permanently compress the model depth by up to 50% across both the VLM backbone and the continuous control policy head. Downstream fine-tuning of this streamlined architecture yields a dual acceleration benefit: a 40-50% reduction in training time and up to 30% faster real-time inference, while matching or exceeding full-scale base model performance. We comprehensively validate our method across three simulation benchmarks (LIBERO, RoboCasa, SimplerEnv) and 10 diverse real-world manipulation tasks across 4 unique robotic embodiments. These results prove that advanced VLAs require significantly fewer layers than previously assumed, offering a highly compute-efficient paradigm for scalable robot learning.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.20246v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02666v1cs.CV공통 태그 Continuous Control, Model Compression, Vision-Language-Action

CHASE-VLA: 청크 인식 스케일 추정을 적용한 비전-언어-행동 모델용 사후 학습 양자화 프레임워크

CHASE-VLA: Post-Training Quantization Framework for Vision-Language-Action Models with Chunk-Aware Scale Estimation

비전-언어-행동(Vision-Language-Action, VLA) 모델은 시각적 관측과 언어 지시문을 연속적인 로봇 동작에 매핑하지만, 확산(diffusion) 기반 동작 전문가(Action Expert, AE)는 저비트 사후 학습 양자화(PTQ)에서 핵심적인 난제를 제기합니다. AE는 노이즈 제거(denoising) 단계 및 정책 질의에 걸쳐 반복적으로 호출되는데, 고정된 캘리브레이션 스케일은 노이즈 제거 진행 상황 및 의도된 모션에 따라 변하는 활성화 범위와 불일치할 수 있습니다. 본 논문에서는 정책에서 손쉽게 얻을 수 있는 VLA 고유의 신호인 생성된 동작 청크(실행되지 않은 미래 접미사 포함)를 활용하는 청크 인식 PTQ 방법인 CHASE-VLA를 제안합니다. CHASE-VLA는 AE 레이어에 대한 정적 스케일 매칭에만 의존하는 대신, 이전에 생성된 청크를 인과적 동작 컨텍스트로 노이즈 제거 단계 그룹 정보와 결합하여 AE 활성화 스케일을 적응시킵니다. 이를 통해 사전학습된 정책을 수정하지 않고도 반복 호출되는 AE의 MLP 및 어텐션 프로젝션 모두에 대해 W4A4 양자화를 가능하게 합니다. LIBERO에서 CHASE-VLA는 AE의 MLP 및 어텐션 프로젝션이 모두 W4A4로 양자화되었을 때 $π_{0.5}$에서 97.3%의 평균 성공률을 달성하여 FP16 수준의 성능을 복원합니다. 또한 CHASE-VLA는 양자화된 AE 선형 레이어의 가중치 저장 공간을 73.4% 줄이고, 절약된 저장 공간의 최대 1.26%에 불과한 예측기 오버헤드만으로 $π_{0.5}$ 및 GR00T N1.6에서 단일 청크 메모리 트래픽을 각각 70.9%와 71.2% 감소시킵니다.

arXiv:2609.24433v1cs.RO공통 태그 Continuous Control, Model Compression, Vision-Language-Action

FoldQuantVLA: 일관된 폴딩을 통한 비전-언어-행동 모델의 네이티브 저비트 양자화

FoldQuantVLA: Native Low-Bit Quantization of Vision-Language-Action Models via Consistent Folding

저비트 비전-언어-행동(VLA) 추론은 로봇의 동작을 보존하면서 관측-행동 간 지연 시간을 줄여야 합니다. 본 논문에서는 캘리브레이션, 가중치 반올림, 네이티브 정수 실행 전반에 걸쳐 일관된 활성화 표현을 유지하는 사후 학습 양자화 프레임워크인 FoldQuantVLA를 제시합니다. 이는 정책 재학습 없이 채널 스케일링 및 블록 아다마르 변환을 동적 토큰별 양자화와 결합합니다. 커스텀 TensorRT 플러그인은 Ada GPU 및 Jetson AGX Orin 환경에서 언어 백본과 반복적 행동 전문가 모두의 프로젝션을 4비트 가중치 및 활성화(W4A4)로 실행합니다. 평가는 LIBERO, SimplerEnv 및 두 개의 로봇 플랫폼에 걸쳐 수행됩니다. 세 개의 GR00T 체크포인트와 $\pi_{0.5}$ 전반에서, W4A4는 부동소수점 TensorRT 대비 Orin에서 $1.20$~$1.33\times$, 데스크톱에서 $1.25$~$1.52\times$의 속도 향상을 달성합니다. 언어 어텐션 출력 및 피드포워드 다운 프로젝션을 8비트(W8A8)로 유지하면 네 개의 모든 체크포인트에서 미확인(held-out) 행동 충실도가 향상됩니다. 4개의 실제 로봇 작업 전반에서, 이 구성은 구성당 80회의 시험 동안 GR00T N1.7의 관측 성공률을 균일 W4A4의 $80.0\%$에서 $92.5\%$로 높였으며, 이때 Orin에서 측정된 추가 지연 시간은 1 ms에 불과했습니다.

arXiv:2607.24148v1cs.AI공통 태그 Continuous Control, Model Compression, Vision-Language-Action

효율적 VLA 추론을 위한 중심점 재사용 기반 모션 인식 벡터 양자화 프레임워크

A Motion-Aware Vector Quantization Framework with Centroid Reuse for Efficient VLA Inference

비전-언어-액션(VLA) 모델은 구현형 AI(embodied AI)에서 강한 잠재력을 보여왔지만, GPU에서의 높은 추론 지연이 실시간 배포를 제한한다. 기존 가속기(예: Dadu-Corki)는 효율을 개선하지만 VLA 모델을 전정밀(full-precision) 워크로드로 취급하여, 메모리와 연산 모두에서 상당한 중복성을 충분히 활용하지 못한다. 본 논문에서는 가중치 유사성과 실행 동역학(execution dynamics)을 활용하여 VLA 추론을 가속하는 알고리즘-하드웨어 공동 설계 프레임워크인 VQVLA를 제안한다. 먼저 로봇의 실행 상태에 따라 양자화 정밀도를 동적으로 조절하여 메모리 접근을 줄이면서 과제 성공률을 유지하는 모션 인식 벡터 양자화 방식인 MotionVQ를 도입한다. 다음으로 코드북 인덱스 표현(codebook-index representation)에서 동작하는 병합 중심점(merged-centroid) 벡터화 GEMM 패러다임을 제안하여, 공간적 집계(spatial aggregation)와 중심점의 시간적 재사용(temporal reuse)을 통해 중복 곱셈을 제거한다. 이러한 최적화를 구현하기 위해 동적 정밀도 선택과 중심점 재사용 연산을 효율적으로 지원하는 가속기를 설계한다. 실험 결과, VQVLA는 A100 GPU, Dadu-Corki, LUT-DLA, CodeGEMM, ShiftAddLLM 대비 각각 6.5배, 2.8배, 1.9배, 3.3배, 4.3배의 속도 향상을 달성하며 정확도 저하는 미미하다.

arXiv:2607.20345v2cs.RO공통 태그 Continuous Control, Vision-Language-Action

실험실-매장 격차 해소: 소매 휴머노이드를 위한 데이터 효율적 사후 학습 및 경험 기반 학습 VLA 프레임워크

Closing the Lab-to-Store Gap: A Data-Efficient Post-Training and Experience-Driven Learning VLA Framework for Retail Humanoids

벤치마크 성능과 신뢰할 수 있는 실세계 운용 사이의 격차를 좁히는 것은 실행 오류, 분포 이동(distribution shift), 환경 변동성을 처리해야 하는 비전-언어-행동(VLA) 휴머노이드 로봇의 핵심 과제로 남아 있다. 본 논문은 DEED(Data-Efficient Post-Training and Experience-Driven Learning, 데이터 효율적 사후 학습 및 경험 기반 학습)를 제안하며, 이는 Unitree G1-Edu 휴머노이드 로봇과 GR00T N1.6 파운데이션 모델을 사용한 슈퍼마켓 과자 재입고 작업에서 평가된 시스템 수준 접근법이다. DEED는 세 가지 핵심 구성 요소로 이루어진다: (1) 제어 주파수 정렬, 데이터 큐레이션, 작업 관련 시각적 강조, VLA 의존도 감소를 포함하는 데이터 효율적 사후 학습 파이프라인; (2) 텍스트 기반 advantage 접두 문맥과 비전-언어 가치 함수를 통해 RECAP에서 적용한 경험 기반 정제의 실세계 연구; (3) 분포 내(in-distribution) 및 분포 외(out-of-distribution) 행동을 연구하기 위한 잠재 공간(latent-space) 분석 도구. 우리의 결과는 실험실-매장 격차를 메우는 것이 주로 아키텍처 문제가 아니라 시스템 통합 과제임을 시사한다. 신중한 데이터 설계와 표적화된 사후 학습은 단순 미세조정에서 실패하는 정책을 단일 GPU만으로 유능한 실세계 시스템으로 변환할 수 있다.

arXiv:2610.13628v1cs.RO공통 태그 Continuous Control, Vision-Language-Action

JitterVLA: VLA 기반 인간-로봇 조작에서 모션 품질 평가를 위한 재생 벤치마크

JitterVLA: A Replay Benchmark for Motion Quality in VLA-Driven Human-Robot Manipulation

비전-언어-행동(VLA) 정책은 희소한(sparse) 목표 명령을 생성하며, 이러한 명령이 로봇 제어기에 도달하는 과정에서 지연과 불규칙성이 발생합니다. 따라서 합리적으로 예측된 동작이라 할지라도 사람 근처에서 급격한 움직임을 유발할 수 있습니다. 기존의 해결책들은 서로 다른 데이터 스트림, 지연 시간 및 평가 지표 하에서 평가되어 왔습니다. JitterVLA는 동일한 명령 및 도달 흔적(trace)을 대체 제어기에 그대로 재생(replay)함으로써 제어기만의 효과를 분리하여 검증합니다. 본 연구는 이를 합성 도달 동작, 20명의 사람 손 궤적, 3개의 오픈 소스 VLA 파이프라인(838개 에피소드), 그리고 실제 UR3 로봇에 적용했습니다. 보간(interpolation)은 모든 데이터 소스에서 모델링된 p99 저크(jerk)를 감소시켰으며, 200ms 지연이 발생한 인간 모션에서는 2.0cm의 추적 오차를 대가로 저크를 83%(615에서 106m/s^3) 줄였고, 이러한 효과는 598개의 새로운 에피소드에서도 동일하게 재현되었습니다. 저크 제한 생성은 더 큰 오차 비용을 수반하면서 저크를 더욱 낮추었습니다. 엔트로피와 불연속성 간의 상관관계는 두 파이프라인에서 반대 부호로 일관되게 나타났으며, 엔트로피 게이팅은 한 파이프라인에서는 효과가 있었으나 다른 파이프라인에서는 그렇지 않았습니다. 실제 UR3 로봇에서 보간 기법은 6개의 탐색적 쌍 모두에서 가속도계 기반 저크를 3.0~14.0% 낮춘 반면, 위치 기반 지표는 이러한 차이를 분해해 내지 못했습니다. JitterVLA는 인간 중심 연구에 앞서 사전 스크리닝을 지원하며, 코드와 데이터는 공개될 예정입니다.

arXiv:2608.25757v5cs.RO공통 태그 Continuous Control, Vision-Language-Action

LM-X: 진행도, 이벤트 및 불확실성 예측을 통한 설명 가능한 비전-언어-행동 모델링

LM-X: Explainable Vision--Language--Action Modeling via Progress, Event, and Uncertainty Prediction

대규모 비전-언어-행동(VLA, Vision-Language-Action) 정책은 범용 로봇 제어를 발전시켰으나, 대부분은 자극-행동 간 블랙박스로 남아 있습니다. 즉 행동은 표출되지만 그 설명적 상태는 드러나지 않습니다. 이들은 작업 진행도, 다음 의미적 전이(semantic transition), 국소 명령 신뢰도라는 세 가지 설명 신호를 본질적으로 제공하지 못합니다. 선행 연구는 진행도와 이벤트 구조가 장기 과제 제어(long-horizon control)에 도움을 주고 불확실성이 모니터링을 지원함을 보여주지만, 이러한 기능들은 일반적으로 행동 사전학습(pre-training) 이후에야 추가되거나 추출됩니다. 따라서 학계에는 설명적 상태가 제어와 함께 공동 사전학습되는 VLA 파운데이션 모델이 부재한 상황입니다. 결과 민감적이고 이벤트 분절적이며 확률론적인 예측이 행동을 구조화하는 생물학적 감각운동 체계에 착안하여, 본 연구는 LM-X를 제안합니다. LM-X는 직접 지도 학습되는 세 가지 온라인 신호를 학습합니다. 잔여 보상(RTG, Return-To-Go)은 가시적 진행도와 상태 품질을 추정하고, 잔여 이벤트(ETG, Event-To-Go)는 다음 의미적 이벤트까지의 행동 시퀀스를 예측하며, 이분산 행동 흐름 분산(heteroscedastic action-flow variance)은 국소 명령 신뢰도를 보고합니다. RTG는 ETG의 조건으로 작용하고 둘 모두 행동 생성의 조건이 되며, 불확실성은 행동 전문가 내부에서 추정되어 사후 설명이 아닌 제어의 일부로서 설명이 이루어집니다. 본 연구는 실패한 1,000시간 이상의 롤아웃을 포함해 20,000시간 이상의 이종 실제 로봇 궤적을 대상으로 LM-X를 사전학습했습니다. LM-X는 무작위 고난도 RoboTwin2.0 과제 50개에서 74.1%, 실제 로봇 과제 7개에서 73.5%의 성공률을 달성하여, 각각 55.4%와 50.7%를 기록한 GR00T N1.7을 앞섰습니다. 본 모델의 신호는 진행과 퇴행을 추적하고, 이벤트 단위의 움직임을 예측하며, 높은 오차의 행동을 감지하고, 실패를 사전에 경고합니다. 이러한 결과는 LM-X가 투명한 예측 상태를 더욱 강력한 범용 제어와 결합한 설명 가능한 VLA 파운데이션 모델임을 입증합니다. Github: https://github.com/loongOpen/LoongWu-LM-X-VLA

토론

이 논문과 연결된 포럼 글이 아직 없습니다.