PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.22293v1cs.CV

샘플링이 아닌 검증: 비전-언어 및 비전-언어-액션 모델의 영역 수준 강건성

Validating, Not Sampling: Region-Level Robustness of Vision-Language and Vision-Language-Action Models

비전-언어 모델(VLM)과 비전-언어-액션 모델(VLA)은 실제 응용 환경에 점점 더 많이 배포되고 있다. 이러한 환경에서는 기록된 카메라 이미지에 가해진 작은 교란(perturbation)이 결정을 크게 바꿀 수 있다. 그러나 이들 모델에 대한 기존 벤치마크는 교란을 샘플링하는 데 그치기 때문에, 테스트되지 않은 영역에서 실패가 존재하지 않음을 보장하지 못한다. 우리는 밝기 변화, 카메라 회전, 그리고 이들의 조합으로 이루어진 광도(photometric) 및 기하학적(geometric) 이미지 교란의 전체 연속 영역에 걸쳐, 6개의 VLM(Gemma, InternVL, LLaVA, Qwen 계열)과 5개의 VLA(GR00T, OpenVLA, π 계열)에 대한 최초의 강건성 검증을 제시한다. 이를 위해 우리는 검증 프레임워크 H²V를 기반으로, 320억 매개변수(32B parameter) 규모에서도 검증을 실용적으로 가능하게 하는 마진 인지(margin-aware) 수렴 규칙인 H²V-M을 도입한다. 우리는 H²V-M이 모델 질의(query) 횟수 측면에서 H²V보다 한 자릿수(order of magnitude) 더 우수하며, 건전성(soundness) 보장을 제공하면서도 무작위 샘플링보다 더 빠르게 반례(counterexample)를 찾아낸다는 것을 보인다. VLM 및 VLA 강건성 검증 결과, 강건성은 모델보다는 교란 유형에 주로 의존하며, VLM이 큰 카메라 회전에 대해 VLA보다 더 강건하다는 것을 알 수 있다. VLA의 경우, ±1°만큼 작은 교란조차도 많은 경우 명령된 행동(action)을 바꿀 수 있다. 또한 우리는 강건성이 모델 크기보다는 모델 계열(model family)에 더 크게 의존한다는 것을 보인다.