arXiv:2610.02666v1 cs.CV

CHASE-VLA: 청크 인식 스케일 추정을 적용한 비전-언어-행동 모델용 사후 학습 양자화 프레임워크

CHASE-VLA: Post-Training Quantization Framework for Vision-Language-Action Models with Chunk-Aware Scale Estimation

Jin Hyun, Jung Gyu Min, Gyuhyun Jung, Youngjoo Lee

제출 2026-10-02

저자 비고

arXiv Comments

Accepted at ACCV 2026. 22 pages, including references and supplementary material

한국어 초록

비전-언어-행동(Vision-Language-Action, VLA) 모델은 시각적 관측과 언어 지시문을 연속적인 로봇 동작에 매핑하지만, 확산(diffusion) 기반 동작 전문가(Action Expert, AE)는 저비트 사후 학습 양자화(PTQ)에서 핵심적인 난제를 제기합니다. AE는 노이즈 제거(denoising) 단계 및 정책 질의에 걸쳐 반복적으로 호출되는데, 고정된 캘리브레이션 스케일은 노이즈 제거 진행 상황 및 의도된 모션에 따라 변하는 활성화 범위와 불일치할 수 있습니다. 본 논문에서는 정책에서 손쉽게 얻을 수 있는 VLA 고유의 신호인 생성된 동작 청크(실행되지 않은 미래 접미사 포함)를 활용하는 청크 인식 PTQ 방법인 CHASE-VLA를 제안합니다. CHASE-VLA는 AE 레이어에 대한 정적 스케일 매칭에만 의존하는 대신, 이전에 생성된 청크를 인과적 동작 컨텍스트로 노이즈 제거 단계 그룹 정보와 결합하여 AE 활성화 스케일을 적응시킵니다. 이를 통해 사전학습된 정책을 수정하지 않고도 반복 호출되는 AE의 MLP 및 어텐션 프로젝션 모두에 대해 W4A4 양자화를 가능하게 합니다. LIBERO에서 CHASE-VLA는 AE의 MLP 및 어텐션 프로젝션이 모두 W4A4로 양자화되었을 때 $π_{0.5}$에서 97.3%의 평균 성공률을 달성하여 FP16 수준의 성능을 복원합니다. 또한 CHASE-VLA는 양자화된 AE 선형 레이어의 가중치 저장 공간을 73.4% 줄이고, 절약된 저장 공간의 최대 1.26%에 불과한 예측기 오버헤드만으로 $π_{0.5}$ 및 GR00T N1.6에서 단일 청크 메모리 트래픽을 각각 70.9%와 71.2% 감소시킵니다.

원문 초록

Vision-Language-Action (VLA) models map visual observations and language instructions to continuous robot actions, but a diffusion-based action expert (AE) poses a key challenge for low-bit post-training quantization (PTQ). The AE is repeatedly invoked across denoising steps and policy queries, where fixed calibration scales can be mismatched with activation ranges that vary with denoising progress and intended motion. We propose CHASE-VLA, a chunk-aware PTQ method that exploits a VLA-specific signal readily available from the policy: the generated action chunk, including its unexecuted future suffix. Rather than relying only on static scale matching for AE layers, CHASE-VLA combines the previously generated chunk as causal action context with denoising step group information to adapt AE activation scales. This enables W4A4 quantization of both MLP and attention projections in the repeated AE without modifying the pretrained policy. On LIBERO, CHASE-VLA achieves 97.3% average success rate on $π_{0.5}$ when both MLP and attention projections in the AE are quantized to W4A4, restoring FP16-level performance. CHASE-VLA also reduces the weight storage of the quantized AE linear layers by 73.4% and their single-chunk memory traffic by 70.9% and 71.2% on $π_{0.5}$ and GR00T N1.6, respectively, with a predictor overhead of at most 1.26% of the saved storage.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.02666v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24433v1cs.RO공통 태그 Quantization, Continuous Control, Model Compression, Vision-Language-Action

FoldQuantVLA: 일관된 폴딩을 통한 비전-언어-행동 모델의 네이티브 저비트 양자화

FoldQuantVLA: Native Low-Bit Quantization of Vision-Language-Action Models via Consistent Folding

저비트 비전-언어-행동(VLA) 추론은 로봇의 동작을 보존하면서 관측-행동 간 지연 시간을 줄여야 합니다. 본 논문에서는 캘리브레이션, 가중치 반올림, 네이티브 정수 실행 전반에 걸쳐 일관된 활성화 표현을 유지하는 사후 학습 양자화 프레임워크인 FoldQuantVLA를 제시합니다. 이는 정책 재학습 없이 채널 스케일링 및 블록 아다마르 변환을 동적 토큰별 양자화와 결합합니다. 커스텀 TensorRT 플러그인은 Ada GPU 및 Jetson AGX Orin 환경에서 언어 백본과 반복적 행동 전문가 모두의 프로젝션을 4비트 가중치 및 활성화(W4A4)로 실행합니다. 평가는 LIBERO, SimplerEnv 및 두 개의 로봇 플랫폼에 걸쳐 수행됩니다. 세 개의 GR00T 체크포인트와 $\pi_{0.5}$ 전반에서, W4A4는 부동소수점 TensorRT 대비 Orin에서 $1.20$~$1.33\times$, 데스크톱에서 $1.25$~$1.52\times$의 속도 향상을 달성합니다. 언어 어텐션 출력 및 피드포워드 다운 프로젝션을 8비트(W8A8)로 유지하면 네 개의 모든 체크포인트에서 미확인(held-out) 행동 충실도가 향상됩니다. 4개의 실제 로봇 작업 전반에서, 이 구성은 구성당 80회의 시험 동안 GR00T N1.7의 관측 성공률을 균일 W4A4의 $80.0\%$에서 $92.5\%$로 높였으며, 이때 Orin에서 측정된 추가 지연 시간은 1 ms에 불과했습니다.

arXiv:2607.24148v1cs.AI공통 태그 Quantization, Continuous Control, Model Compression, Vision-Language-Action

효율적 VLA 추론을 위한 중심점 재사용 기반 모션 인식 벡터 양자화 프레임워크

A Motion-Aware Vector Quantization Framework with Centroid Reuse for Efficient VLA Inference

비전-언어-액션(VLA) 모델은 구현형 AI(embodied AI)에서 강한 잠재력을 보여왔지만, GPU에서의 높은 추론 지연이 실시간 배포를 제한한다. 기존 가속기(예: Dadu-Corki)는 효율을 개선하지만 VLA 모델을 전정밀(full-precision) 워크로드로 취급하여, 메모리와 연산 모두에서 상당한 중복성을 충분히 활용하지 못한다. 본 논문에서는 가중치 유사성과 실행 동역학(execution dynamics)을 활용하여 VLA 추론을 가속하는 알고리즘-하드웨어 공동 설계 프레임워크인 VQVLA를 제안한다. 먼저 로봇의 실행 상태에 따라 양자화 정밀도를 동적으로 조절하여 메모리 접근을 줄이면서 과제 성공률을 유지하는 모션 인식 벡터 양자화 방식인 MotionVQ를 도입한다. 다음으로 코드북 인덱스 표현(codebook-index representation)에서 동작하는 병합 중심점(merged-centroid) 벡터화 GEMM 패러다임을 제안하여, 공간적 집계(spatial aggregation)와 중심점의 시간적 재사용(temporal reuse)을 통해 중복 곱셈을 제거한다. 이러한 최적화를 구현하기 위해 동적 정밀도 선택과 중심점 재사용 연산을 효율적으로 지원하는 가속기를 설계한다. 실험 결과, VQVLA는 A100 GPU, Dadu-Corki, LUT-DLA, CodeGEMM, ShiftAddLLM 대비 각각 6.5배, 2.8배, 1.9배, 3.3배, 4.3배의 속도 향상을 달성하며 정확도 저하는 미미하다.

arXiv:2610.13628v1cs.RO공통 태그 Continuous Control, Vision-Language-Action

JitterVLA: VLA 기반 인간-로봇 조작에서 모션 품질 평가를 위한 재생 벤치마크

JitterVLA: A Replay Benchmark for Motion Quality in VLA-Driven Human-Robot Manipulation

비전-언어-행동(VLA) 정책은 희소한(sparse) 목표 명령을 생성하며, 이러한 명령이 로봇 제어기에 도달하는 과정에서 지연과 불규칙성이 발생합니다. 따라서 합리적으로 예측된 동작이라 할지라도 사람 근처에서 급격한 움직임을 유발할 수 있습니다. 기존의 해결책들은 서로 다른 데이터 스트림, 지연 시간 및 평가 지표 하에서 평가되어 왔습니다. JitterVLA는 동일한 명령 및 도달 흔적(trace)을 대체 제어기에 그대로 재생(replay)함으로써 제어기만의 효과를 분리하여 검증합니다. 본 연구는 이를 합성 도달 동작, 20명의 사람 손 궤적, 3개의 오픈 소스 VLA 파이프라인(838개 에피소드), 그리고 실제 UR3 로봇에 적용했습니다. 보간(interpolation)은 모든 데이터 소스에서 모델링된 p99 저크(jerk)를 감소시켰으며, 200ms 지연이 발생한 인간 모션에서는 2.0cm의 추적 오차를 대가로 저크를 83%(615에서 106m/s^3) 줄였고, 이러한 효과는 598개의 새로운 에피소드에서도 동일하게 재현되었습니다. 저크 제한 생성은 더 큰 오차 비용을 수반하면서 저크를 더욱 낮추었습니다. 엔트로피와 불연속성 간의 상관관계는 두 파이프라인에서 반대 부호로 일관되게 나타났으며, 엔트로피 게이팅은 한 파이프라인에서는 효과가 있었으나 다른 파이프라인에서는 그렇지 않았습니다. 실제 UR3 로봇에서 보간 기법은 6개의 탐색적 쌍 모두에서 가속도계 기반 저크를 3.0~14.0% 낮춘 반면, 위치 기반 지표는 이러한 차이를 분해해 내지 못했습니다. JitterVLA는 인간 중심 연구에 앞서 사전 스크리닝을 지원하며, 코드와 데이터는 공개될 예정입니다.

arXiv:2610.13767v1cs.LG공통 태그 Quantization, Model Compression

DualQuant: LLM을 위한 이중 스케일 캘리브레이션 프리 가중치 및 활성화 양자화

DualQuant: Dual-scale Calibration-free Weight-and-Activation Quantization for LLMs

네이티브 4비트를 지원하는 가속기에서 저비트 추론(inference)을 수행할 때 해당 포맷이 제공하는 전체 처리량 향상을 온전히 달성하려면 가중치(weight)와 활성화(activation)를 모두 양자화해야 합니다. 사후 학습(post-training) 가중치 양자화는 광범위하게 연구되어 왔지만, 활성화 양자화는 여전히 훨씬 더 까다로우며 일반적으로 캘리브레이션 데이터를 필요로 합니다. 본 연구에서는 가중치 재구성 평균 제곱 오차(MSE)를 직접 최소화하고, 그 직접적인 부산물로서 활성화 양자화에 앞서 채널별 활성화 재스케일링을 생성하는 이중 스케일(dual-scale) 캘리브레이션 프리 사후 학습 양자화 프레임워크인 DUALQUANT를 소개합니다. 우리의 핵심 관찰은 가중치 재구성 오차를 최소화하여 얻은 스케일링 팩터가 효과적인 활성화 재스케일링을 제공하여, 캘리브레이션 데이터 없이도 경쟁력 있는 활성화 양자화를 가능하게 한다는 점입니다. 우리는 DUALQUANT를 미분 불가능한 가중치 재구성 문제로 공식화하고, 각 하위 문제가 닫힌 형식의 해(closed-form update)를 갖는 변수 분할(variable splitting) 및 블록 좌표 강하법(block coordinate descent) 기반의 효율적인 솔버를 개발했습니다. DUALQUANT는 전체 MX 패밀리와 NVFP4를 포함한 광범위한 포맷을 지원하는 통합 알고리즘을 제공합니다. 우리가 아는 한, DUALQUANT는 MX 및 NV 블록 포맷을 공식적으로 지원하는 최초의 이중 스케일링 기법입니다. WikiText-2, C4 및 제로샷(zero-shot) 다운스트림 태스크에서 평가된 Llama 및 Qwen 모델 전반에 걸쳐, DUALQUANT는 대부분의 모델 및 포맷에서 캘리브레이션 기반 SmoothQuant의 정확도에 필적하거나 이를 능가하며, 캘리브레이션 프리 베이스라인들을 크게 능가하고 MX 및 NV 블록 포맷에 대해 큰 폭의 향상을 달성했습니다. 우리는 RTX 4090 환경에서 Llama-3.1-8B에 대한 실제 패킹된 W4A4 추론 경로를 통해 이러한 성능 향상을 검증했습니다. 그 결과 구현체는 가상 양자화(fake quantization)의 정확도와 거의 일치하면서도 BF16 대비 최대 2.61배의 메모리 절감과 최대 2.46배의 처리량 속도 향상을 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.