arXiv:2606.16253v2 cs.CV

비전-언어-행동 모델을 위한 학습 기반 이미지 압축

Learned Image Compression for Vision-Language-Action Models

Hyeonjun Kim, Jegwang Ryu, Sangbeom Ha, Junhyeok Lee, Jun-Hyuk Kim, Hyemin Ahn, Jaeho Lee

제출 2026-06-15

한국어 초록

비전-언어-행동(VLA) 모델은 점점 더 고주파(high-frequency) 멀티 카메라 관측에 의존하고 있으며, 이로 인해 대역폭이 제한되거나 분산된 배포 환경에서 실시간 로봇 제어를 위한 시각 정보 전달이 주요 병목으로 작용하고 있다. 그러나 기존 이미지 및 비디오 코덱은 다운스트림 VLA 정책(policy)의 제어 성능보다는 일반적인 시각적 충실도(fidelity)를 보존하도록 설계되어 있다. 본 연구에서는 VLA 기반 로봇에 특화된 학습 기반 이미지 압축 프레임워크인 SPARC(SPatially Adaptive Rate Control)를 제안한다. 우리의 핵심 관찰은 시각 정보의 중요도가 카메라 뷰(view)와 이미지 내 공간적 영역(spatial region) 모두에 걸쳐 상당히 다르게 나타난다는 것이다. 이러한 관찰을 바탕으로, SPARC는 시간적 맥락(temporal context)을 활용하면서 작업 관련성(task relevance)에 따라 잠재 표현(latent representation)에 비트레이트(bitrate)를 적응적으로 할당하는 경량 시간적 마스크 선택기(temporal mask selector)를 사용한다. 또한 우리는 엔트로피 기반 목적함수(entropy-based objective)가 드물지만 작업에 결정적인(task-critical) 시각 패턴을 과도하게 억제하는 경향을 줄여 학습을 안정화하는 기울어진 비트레이트 손실(tilted rate loss)을 도입한다. RoboCasa365, VLABench, LIBERO를 포함한 다양한 로봇 벤치마크 실험에서 SPARC는 동일한 비트레이트 예산 하에서 기존 이미지/비디오 코덱 및 최근의 학습 기반 압축 기법보다 일관되게 더 강력한 제어 성능을 달성함을 보인다. 또한 우리는 원격 제어(remote-control) 환경에서의 실세계 배포 이점을 입증하며, 이 환경에서 우리의 방법은 비트레이트-성공률(bitrate-success) 트레이드오프를 크게 개선한다.

원문 초록

Vision-language-action (VLA) models increasingly rely on high-frequency multi-camera observations, making visual communication a major bottleneck for real-time robotic control in bandwidth-constrained or distributed deployment settings. Existing image and video codecs, however, are designed to preserve generic visual fidelity rather than the control performance of downstream VLA policies. In this work, we introduce SPARC (SPatially Adaptive Rate Control), a learned image compression framework tailored for VLA-driven robots. Our key observation is that the importance of visual information varies substantially across both camera views and spatial regions within an image. Based on this observation, SPARC employs a lightweight temporal mask selector that adaptively allocates bitrate over latent representations according to task relevance while leveraging temporal context. We further introduce a tilted rate loss that stabilizes training by reducing the tendency of entropy-based objectives to over-suppress rare yet task-critical visual patterns. Experiments on diverse robotic benchmarks, including RoboCasa365, VLABench, and LIBERO, show that SPARC consistently achieves stronger control performance than conventional image/video codecs and recent learned compression methods under the same bitrate budget. We additionally demonstrate real-world deployment benefits in remote-control settings, where our method substantially improves the bitrate-success tradeoff.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.16253v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.13366v1cs.CV공통 태그 Image Compression, rate-distortion

운용 비트율-왜곡-인지 최적화를 위한 이중 제약 디퓨전 이미지 압축

Dual-Constrained Diffusion Image Compression for Operational Rate-Distortion-Perception Optimization

비트율-왜곡-인지(RDP) 트레이드오프는 복원 결과에 분포 제약(distributional constraint)을 적용하여 고전적인 비트율-왜곡 이론을 확장함으로써, 충실도와 지각적 사실감을 동시에 제어하는 신경망 기반 이미지 압축을 위한 통합 프레임워크를 제공합니다. 기존 연구는 거의 최적의 비트율-인지 트레이드오프를 달성했으나, 전체 RDP 곡면을 명시적으로 실현하는 실용적 프레임워크는 여전히 드물며, 이는 주로 디코더에서 공통 난수(common randomness)를 도입하는 데 따른 어려움 때문입니다. 본 연구에서는 왜곡 및 멱등성(idempotence) 제약에 의해 제어되는 디퓨전 기반 디코더와 학습 가능한 코덱을 통합한 DCIC(Dual-Constrained Diffusion Image Compression)를 제안합니다. 왜곡 제약은 기본 코덱 출력에 대한 복원 충실도를 제한하며, 멱등성 제약—복원된 이미지를 재인코딩했을 때 기본 코덱의 복원 결과를 복구해야 한다는 조건—은 분포적 인지 요구사항에 대한 처리 가능한 대리 수단 역할을 합니다. 이 두 제약은 일관된 노이즈 주입을 통한 반복적 최적화로 역 노이즈 제거 과정을 유도하여, 추가 비트율 오버헤드 없이 공통 난수를 실현합니다. 고정 비트율에서 이중 감쇠 계수 $(K_D, K_P)$는 왜곡-인지 평면의 파레토 프론티어(Pareto frontier)를 공동 탐색하여, 단일 비트스트림으로부터 연속적으로 조절 가능한 충실도-사실감 트레이드오프를 가능하게 합니다. DCIC$_{RD}$ ($K_P{=}0$)와 DCIC$_{RP}$ ($K_D{=}0$)는 경계 곡선으로 나타나며, DCIC$_{RDP}$ ($K_D = K_P=1$)는 최적의 내부 운용 지점을 실현합니다. CNN, Transformer, 하이브리드 아키텍처에 걸쳐 CelebA-HQ, CLIC2020, ImageNet-1K 데이터셋에서 수행된 실험을 통해, DCIC$_{RDP}$는 모든 지각 코덱 대비 우수한 BD-PSNR을 달성함과 동시에 DCIC$_{RP}$는 BD-FID 지표에서 인지 지향 전용 방법과 대등한 성능을 보여, 전체 RDP 곡면 탐색의 실용적 가치를 검증했습니다.

arXiv:2505.12224v5cs.RO공통 태그 Vision-Language-Action공식 코드 · Papers with Code

RoboFAC: 로봇 실패 분석 및 수정을 위한 포괄적 프레임워크

RoboFAC: A Comprehensive Framework for Robotic Failure Analysis and Correction

비전-언어-행동(Vision-Language-Action, VLA) 모델은 자연어 지시와 시각적 관측을 제어 행동으로 변환함으로써 최근 로봇 조작(robotic manipulation) 분야를 발전시켰습니다. 그러나 기존 VLA는 주로 성공적인 전문가 시연 데이터를 기반으로 학습(training)되어 실패 진단 및 복구를 위한 구조화된 지도(supervision)가 부족하며, 이는 개방형 환경(open-world) 시나리오에서의 강건성(robustness)을 제한합니다. 이러한 한계를 해결하기 위해 본 논문에서는 로봇 실패 분석 및 수정(RoboFAC) 프레임워크를 제안합니다. 시뮬레이션 및 실제 환경의 53개 장면에서 체계적으로 분류된 실패 유형과 함께 9,440개의 오류 조작 궤적과 78,623개의 QA 쌍으로 구성된 대규모 실패 중심 데이터셋을 구축합니다. 이 데이터셋을 활용하여 태스크 이해, 실패 분석 및 실패 수정을 전문으로 하는 경량 멀티모달 모델을 개발함으로써, 대규모 상용 모델과 견줄 만한 성능을 유지하면서도 효율적인 로컬 배포를 가능하게 합니다. 실험 결과에 따르면 RoboFAC은 GPT-4o 대비 34.1% 더 높은 실패 분석 정확도를 달성합니다. 나아가 실제 VLA 제어 파이프라인에 RoboFAC을 외부 감독자로 통합하여 4개 태스크 전반에서 29.1%의 상대적 성능 향상을 이끌어내는 동시에 GPT-4o 대비 지연 시간(latency)을 크게 줄였습니다. 이러한 결과는 RoboFAC이 체계적인 실패 진단 및 복구를 가능하게 하여 VLA 복구 능력을 크게 향상시킴을 입증합니다. 모델과 데이터셋은 https://github.com/MINT-SJTU/RoboFAC 에서 공개되어 있습니다.

arXiv:2507.04447cs.CV공통 태그 Vision-Language-Action공식 코드 · Papers with Code

DreamVLA: A Vision-Language-Action Model Dreamed with Comprehensive World Knowledge

최근 비전-언어-행동(VLA) 모델의 발전은 이미지 생성과 행동 예측을 통합하여 로봇 조작에서의 일반화 및 추론 능력을 향상시키는 가능성을 보여주고 있습니다. 그러나 기존 방법들은 중복된 정보가 많고 동적, 공간적, 의미적 정보를 포함한 포괄적이고 중요한 세계 지식이 부족한 어려운 이미지 기반 예측에 한정되어 있습니다. 이러한 한계를 극복하기 위해, 본 논문에서는 역동역학 모델링을 가능하게 하는 포괄적 세계 지식 예측을 통합한 새로운 VLA 프레임워크인 DreamVLA를 제안합니다. 이를 통해 조작 작업을 위한 지각-예측-행동 루프를 구축합니다. 구체적으로 DreamVLA는 동적 영역 안내 세계 지식 예측을 도입하며, 공간적 및 의미적 단서와 통합하여 행동 계획에 대해 간결하면서도 포괄적인 표현을 제공합니다. 이러한 설계는 인간이 행동하기 전에 추상적 다중모달 사고의 연쇄를 형성하는 방식과 일치합니다. 학습 과정에서 동적, 공간적, 의미적 정보 간 간섭을 완화하기 위해, 상호 어텐션을 차단하여 정보 누출을 방지하고 각 표현을 깨끗하고 분리된 상태로 유지하는 블록 단위 구조화 어텐션 메커니즘을 채택하였습니다. 또한 미래 행동에 대한 조건부 분포를 모델링하기 위해, 공유 잠재 특징으로부터 행동 표현을 분리하는 diffusion 기반 트랜스포머를 활용합니다. 실제 및 시뮬레이션 환경에서의 광범위한 실험 결과, DreamVLA는 실제 로봇 작업에서 76.7%의 성공률과 CALVIN ABC-D 벤치마크에서 평균 4.44의 길이를 달성함을 입증하였습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.