arXiv:2610.05745v3 cs.LG

증류하기 전에 생각하라: 선택적 정책 증류를 통한 양자화 VLA의 일반화 회복

Think Before You Distill: Generalization Recovery in Quantized VLAs via Selective Policy Distillation

Shen Ruan, Wenchang Gao, Jin Wang, Siao Liu, Zhaxizhuoma, Dongchun Ren, Xin Zheng

제출 2026-11-19

한국어 초록

사후 학습 양자화(post-training quantization)는 표준 평가 조건에서 VLA의 성능을 유지하는 것으로 알려져 있으나, 전정밀도 모델의 견고성과 일반화 능력까지 유지하는지는 아직 충분히 연구되지 않았다. 본 연구에서는 환경 교란 하에서 사후 양자화된 VLA 정책의 견고성과 일반화를 체계적으로 분석한다. 실험 결과, 양자화된 정책은 분포 내 성능이 비슷하게 유지됨에도 미세한 환경 변화에 취약해질 수 있음을 확인하였다. 또한 행동 불일치가 롤아웃 상태의 작은 부분집합에 집중되어 있으며, 교사의 안내는 불일치 정도에 따라 반대의 효과를 낸다는 점을 관찰하였다. 즉 불일치가 큰 상태에서는 성능을 향상시키지만 불일치가 작은 상태에서는 오히려 성능을 저하시킬 수 있다. 이러한 결과는 효과적인 사후 양자화 회복을 위해서는 학생 모델을 전역적으로 증류하기보다 취약한 상태에 선택적으로 개입해야 함을 보여준다. 따라서 본 논문은 고정된 전정밀도 정책을 교사로 사용하여 양자화된 학생의 롤아웃 중 마주치는 취약한 상태를 선택적으로 교정하는, 취약성 인식 온폴리시 증류(On-Policy Distillation, OPD) 프레임워크인 PIVOT-Q(Policy-Induced Vulnerability-Oriented Tuning)를 제안한다. PIVOT-Q는 짧은 구간에 대한 할인 누적 불일치를 사용하여 취약한 상태를 식별하고, 단계 균형 희소 지도를 적용하며, 의도치 않은 변화를 방지하기 위해 행동 앵커(Behavioral Anchor)를 사용한다. 일곱 가지 LIBERO-Plus 환경 변화에 대한 실험에서 여러 VLA 백본과 양자화 방법에 걸쳐 일관된 회복이 나타났다. 특히 PIVOT-Q는 상태 수준 증류 예산의 20%만 사용하면서도 평가된 모든 설정에서 더 작은 분산으로 전체 상태 증류를 능가한다. 코드는 https://github.com/ruanruan-andy/PIVOT-Q 에서 확인할 수 있다.

원문 초록

Post-training quantization has been shown to preserve VLA performance under standard evaluation conditions, but whether it preserves the full-precision model's robustness and generalization remains underexplored. In this study, we systematically study the robustness and generalization of post-quantized VLA policies under environmental disturbances. Empirical results show that quantized policies can become fragile to subtle environmental variations despite retaining comparable in-distribution performance. We further observe that action discrepancies are concentrated in a small subset of the rollout states, while teacher guidance has opposite effects depending on discrepancy: it improves performance at high-discrepancy states but can degrade it at low-discrepancy states. These findings reveal that effective post-quantization recovery requires selective intervention on vulnerable states rather than globally distilling the student. We therefore propose Policy-Induced Vulnerability-Oriented Tuning (PIVOT-Q), a vulnerability-aware On-Policy Distillation (OPD) framework that selectively corrects vulnerable states encountered during quantized-student rollouts using the frozen full-precision policy as a teacher. PIVOT-Q identifies vulnerable states using discounted accumulated discrepancies over a short horizon, applies phase-balanced sparse supervision, and uses a Behavioral Anchor to prevent unintended changes. Experiments under seven LIBERO-Plus environmental variations demonstrate consistent recovery across multiple VLA backbones and quantization methods. Notably, PIVOT-Q outperforms full-state distillation with smaller variance across evaluated settings while using only 20\% of its state-level distillation budget. Our code is available at https://github.com/ruanruan-andy/PIVOT-Q.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.05745v3제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.