PyTorchKR Papers

최신 논문

총 309편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2603.14604v2cs.RO

비전-언어-행동 모델을 위한 촉각 모달리티 융합

Tactile Modality Fusion for Vision-Language-Action Models

본 논문은 시각-촉각 신호를 비전-언어-행동(VLA) 모델에 통합하는 경량 모달리티 융합 접근법인 TacFiLM을 제안한다. VLA의 발전으로 일반화 가능하고 의미적으로 그라운딩된 로봇 정책이 등장했지만, 이러한 모델은 주로 시각 기반 인지에 의존한다. 그러나 시각만으로는 접촉이 많은 조작 중에 발생하는 접촉력, 표면 마찰, 순응성(compliance), 전단(shear) 등 복잡한 상호작용 역학을 포착할 수 없다. 최근 VLA 모델에 촉각 신호를 통합하려는 시도는 토큰 연결이나 대규모 사전학습으로 복잡도를 높이는 경우가 많지만, 행동 모델의 높은 계산 요구로 인해 경량 융합 전략이 필요하다. 이러한 과제를 해결하기 위해 TacFiLM은 feature-wise linear modulation(FiLM)을 사용하여 중간 시각 특징을 사전학습된 촉각 표현에 조건화하는 사후 학습 파인튜닝 접근법을 제시한다. 삽입 및 서랍 열기 작업에 대한 실험 결과는 분포 내 및 분포 외 작업 모두에서 성공률, 직접 작업 성능, 완료 시간, 힘 안정성에서 일관된 개선을 보여준다. 종합하면, 이러한 결과는 우리 방법이 VLA 모델에 촉각 신호를 통합하고 접촉이 많은 조작 행동을 개선하는 효과적인 접근법임을 뒷받침한다. 프로젝트 페이지: https://charliem7.github.io/projects/TacFilm/

arXiv:2607.13621v1cs.AI

UESF-Bench: 통합 체화 탐색 및 추종을 위한 벤치마킹과 프로빙

UESF-Bench: Benchmarking and Probing for Unified Embodied Seeking and Following

언어 기반 인간 추종은 체화 에이전트의 중요한 능력이지만, 기존 벤치마크는 일반적으로 에피소드 시작 시점에 목표 인물이 보인다고 가정한다. 이 설정은 문제를 단순화하고 더 현실적인 요구사항을 간과한다. 즉, 에이전트는 종종 언어로 설명된 목표를 먼저 찾은 다음 동적 환경에서 그 목표를 지속적으로 추종해야 한다. 최근 연구가 인간 탐색을 다루기 시작했지만, 기존 설정은 보통 과제별 시나리오에서 평가되며 종종 환경에 대한 더 강한 사전 지식에 의존한다. 또한 검색과 추종을 별개의 과제로 취급하는 경우가 많아 체계적 평가를 위한 통합 벤치마크가 여전히 부족하다. 이러한 한계를 해결하기 위해 우리는 체화 인간 탐색 및 추종을 위한 대규모·다양한 벤치마크인 Unified Embodied Seeking and Following Benchmark(UESF-Bench)를 제안한다. 이 벤치마크는 에이전트가 의미 기반 탐험, 신뢰할 수 있는 행동 전환 및 복구, 지연된 정체성 그라운딩을 처리하도록 요구한다. 이를 위해 우리는 탐색과 추종 사이의 잠재 단계 추론 및 전환 모델링을 위한 과제 중심 라우팅 메커니즘을 갖춘 비전-언어-행동 프레임워크인 SeekFollow-VLA를 제안한다. 실험 결과 SeekFollow-VLA는 단일 인물 및 다중 인물 환경에서 단일 헤드 및 이중 헤드 기준선 대비 뚜렷한 개선을 달성하여, 통합 체화 탐색-추종을 위한 기준선을 확립한다.

arXiv:2607.13597v1cs.RO

로봇 행동 표현을 위한 의미적 앵커링

Semantic Anchoring for Robotic Action Representations

비전-언어-행동(VLA) 모델은 사전학습된 비전-언어 모델로부터 풍부한 의미 표현을 상속받지만, 제한된 로봇 시연 데이터에 대한 미세조정은 이러한 구조를 저하시키고 일반화를 저해한다. 따라서 근본적인 질문이 제기된다: 좋은 행동 표현은 무엇으로 구성되는가? 관찰과 실행이 의도 수준의 인코딩을 공유한다는 거울 뉴런 이론의 통찰에서 영감을 받아, 우리는 로봇의 행동 표현이 사전학습된 인코더가 포착한 의미 구조를 보존하는지 검토한다. 체계적인 프로빙은 미세조정 과정에서 이러한 구조가 침식된다는 것을 확인하며, 그 품질이 과제 성공과 분포 외(out-of-distribution) 일반화 모두와 동기화됨을 보여준다. 또한 행동 표현을 의미 매니폴드에 앵커링하면서 표현을 공유 의미 채널과 전용(private) 채널로 분해하는 플러그앤플레이 방법을 제안한다. 이는 모두 추론 시 폐기되므로 배포된 모델은 변경되지 않는다. 시뮬레이션과 실세계 벤치마크에서 다양한 VLA 백본에 대해 검증한 결과, 본 방법은 실세계 분포 내(in-distribution) 과제에서 최대 +18.7%, 분포 외 일반화에서 +21.5%의 성능 향상을 달성한다.

arXiv:2607.08072v2cs.CV

엔드투엔드 자율 주행에서의 사후 학습

Post-Training in End-to-End Autonomous Driving

멀티모달 입력을 미래 궤적/기동에 직접 매핑하는 엔드투엔드 모델은 자율 주행 분야에서 점점 더 두드러진 연구 패러다임으로 부상하고 있다. 이러한 모델군에는 비전-언어-행동(Vision-Language-Action) 모델과 궤적 생성형 플래너(trajectory-generative planner)가 모두 포함된다. 전통적인 머신러닝 응용과 달리, 자율주행차는 안전이 핵심인(safety-critical) 환경과 상호작용이 빈번한(interaction-intensive) 환경에서 작동하며, 전문가 시연에 대한 전통적인 개방 루프(open-loop) 모방만으로는 신뢰성을 보장하기에 충분하지 않다. 특히 작은 실행 오류는 시간에 따라 누적될 수 있고, 복구 행동(recovery behaviors)은 학습 데이터에서 매우 드물다. 또한 안전과 주행 편안함과 같은 장기(long-horizon) 목표는 점별(pointwise) 레이블로도 포착되지 않는다. 이러한 한계는 순수 모방을 넘어 주행 정책(driving policy)을 추가로 정교화하는 사후 학습 기법으로의 전환을 이끌었다. 본 서베이는 자율 주행 사후 학습의 범위를 정의하고, 사용하는 감독(supervision) 형태에 따라 기존 문헌을 4가지 주요 계열로 체계화함으로써 통합적 관점을 제시한다. 각 계열마다 역량, 한계, 미해결 과제를 논의한다. 우리는 이 신흥 분야에 대한 체계적 이해를 촉진하고, 자율 주행을 위한 신뢰할 수 있고 효율적인 사후 학습에 관한 향후 연구를 활성화하는 것을 목표로 한다. 관련 논문 모음은 https://github.com/RYNing/Awesome-Post-Training-In-Autonomous-Driving-Papers 에서 확인할 수 있다.

arXiv:2607.10180v1cs.RO

ActiveFly-Bench: 항공 구현 인식을 위한 비전-언어-행동 기반 구현 질의응답 정렬

ActiveFly-Bench: Aligning Embodied Question Answering with Vision-Language-Action for Aerial Embodied Perception

본 논문에서는 UAV 구현 인식을 위해 사이버공간 추론과 물리 세계 상호작용을 연결하는 최초의 벤치마크인 ActiveFly-Bench를 소개한다. 이 벤치마크는 능동적 인식을 세 가지 계층적 태스크로 분해한다: 항공 구현 질의응답(Air-EQA), 관측 행동 계획(OBP), 세밀한 언어 기반 UAV 제어(FLUC). 이를 통해 고수준 태스크 이해, 행동 계획, 저수준 제어를 명시적으로 연결한다. 데이터셋은 학습 및 평가를 위해 실제 환경과 시뮬레이션된 실외 환경 모두에서 수집되었다. 나아가 시각-언어 추론과 세밀한 제어를 통합하는 폐루프 UAV 에이전트인 ActiveFly를 개발하여 실제 UAV 플랫폼에 배포하였다. 대표적인 VLM 및 VLA 모델을 활용한 실험 결과, 현재 UAV 에이전트는 능동적 인식에서 행동 계획, 시점 조정, 견고한 태스크 완료에 여전히 어려움을 겪고 있음이 확인되었다. 이러한 결과를 바탕으로 ActiveFly-Bench는 구현 항공 인공지능을 위한 새로운 테스트베드로 자리매김한다.

arXiv:2607.09818v1cs.RO

TS-Mask VLA: 효과적인 브리징을 갖춘 비전-언어-행동 모델을 위한 2D 시간-공간 마스킹

TS-Mask VLA: 2D Temporal-Spatial Masking for Vision-Language-Action Model with Effective Bridging

비전-언어-행동(VLA) 모델은 자연어 지시와 시각적 관측을 이해하고, 구현된 에이전트(embodied agent)로서 대응하는 행동을 생성 및 실행하는 것을 목표로 한다. 최근 자기회귀적 토큰 기반 행동 생성이 다수의 대표적인 VLA 모델 개발을 이끌고 있다. 그러나 이 패러다임은 행동 생성을 다음 토큰 예측으로 단순화하는 경향이 있어, 행동 시퀀스의 시공간적 구조에 대한 명시적 모델링과 비전-언어 표현과 행동 간의 분리(disentanglement)가 부족하며, 이는 장기적(long-horizon) 및 복잡한 시나리오에서 성능을 제한할 수 있다. 본 논문에서는 로봇 조작을 위한 비전-언어-행동 프레임워크인 TS-Mask VLA를 제안한다. TS-Mask VLA는 두 가지 핵심 설계를 기반으로 한다: (1) Bridge 어텐션 조건부 브리지를 갖춘 이산 확산 행동 전문가(Discrete Diffusion Action Expert)로, 비전-언어 모델(VLM)로부터의 다층 조건화를 가능하게 하여 더 정확하고 안정적인 행동 생성을 촉진하며, (2) 이산 행동 토큰에 대한 시간-공간 2D 마스킹 전략으로, 모델의 시간 간 의존성 및 차원 간 결합에 대한 이해를 강화하여 구조적으로 더 일관된 행동 시퀀스를 생성한다. 우리는 시뮬레이션 벤치마크와 실세계 과제에서 광범위한 실험을 수행한다. LIBERO에서 TS-Mask VLA는 단 0.5B 파라미터로 95.7%의 평균 성공률을 달성하여 훨씬 더 큰 모델들을 능가한다. CALVIN에서는 최고 평균 시퀀스 길이 4.19와 강력한 장기적 성능을 달성한다. 포괄적인 분석과 에이블레이션(ablation)을 통해 우리 설계의 효과성을 추가로 검증한다.

arXiv:2607.09776v1cs.RO

VLAC-Cut 가이드 파이프라인을 통한 대규모 로봇 사후 학습에서의 인간 효율성 극대화

Maximizing Human Efficiency in Large-Scale Robot Post-Training via VLAC-Cut Guided Pipeline

비전-언어-액션(VLA) 모델을 다운스트림 태스크에 적응시킬 때, 단일 라운드의 데이터로는 모든 문제를 해결할 수 없기 때문에 여러 라운드의 사후 학습이 필요하며, 이전 라운드에서 드러난 약점을 점진적으로 해결하기 위한 지속적인 반복이 불가결합니다. 본 보고서에서는 사후 학습 과정에서의 인간 효율성 극대화를 목표로 합니다. 여기서 인간 효율성은 단위 인력 및 시간당 달성되는 정책 개선과 태스크 처리량으로 정의됩니다. 우리는 소수의 인간 운영자가 여러 로봇을 감독할 수 있도록 하는 인간 효율적 사후 학습 파이프라인을 제안합니다. 이 파이프라인은 전문화된 분업 구조를 중심으로 구성됩니다: 숙련된 원격 조작자(Teleoperator)는 고가치 원격 개입과 복구 시연에 집중하고, 현장 운영자(Floor Operator)는 여러 로봇을 모니터링하며 개입을 트리거하고 물리적 리셋을 수행합니다. 이러한 역할 특화는 태스크 전환을 줄이고 운영자 학습 비용을 낮추며, 제한된 인력으로 더 큰 규모의 플릿에서 더 많은 로봇 상호작용을 감독할 수 있게 합니다. 데이터 활용 효율성을 향상시키기 위해, 우리는 자동 롤아웃 큐레이션 도구로 VLAC-CUT을 도입합니다. VLAC-CUT은 자율 로봇 궤적을 진행 구간, 유휴 구간, 실패 유발 구간, 복구 구간으로 분할하여 유용한 구간은 보존하고 유해하거나 정보가 없는 구간은 필터링합니다. 큐레이션된 롤아웃 데이터는 다음 사후 학습 라운드를 위해 휴먼-인-더-루프(HITL) 데이터와 결합됩니다. 우리는 네 가지 실세계 조작 태스크에서 제안된 파이프라인을 검증합니다. 반복적인 사후 학습 라운드를 거쳐 최종 정책은 80%–95%의 성공률을 달성하고 기반 모델 대비 태스크 처리량을 1.7×–4.2× 향상시킵니다. 동일한 인간 개입 예산 하에서, VLAC-CUT 가이드 롤아웃 재사용은 성공률과 처리량 모두에서 HITL 단독 학습을 능가합니다.

arXiv:2605.31271v2cs.CV

DriveMA: 검증 가능한 메타-액션으로 구동하는 드라이빙 비전-언어-액션 모델

DriveMA: Driving Vision-Language-Action Models with verifiable Meta-Actions

드라이빙 비전-언어-액션 모델(Driving VLA)은 언어를 활용하여 엔드-투-엔드 플래닝을 개선하는 것을 목표로 하지만, 언어-액션 간극이 이러한 가능성을 제한한다. 본 논문에서는 검증 가능한 메타-액션(meta-action) 기반의 드라이빙 VLA 프레임워크인 DriveMA를 제안한다. 메타-액션은 미래의 자아 운동(ego motion)을 압축된 언어 도메인 의도(intention)로 요약하며, 궤적 기반 어노테이션 파이프라인을 통해 전문가 궤적으로부터 구성되고, 규칙 기반 프로젝션을 통해 생성된 궤적에 대해 검증될 수 있다. DriveMA는 이러한 검증 가능성을 액션 중심의 지도 학습 및 데이터 효율적인 턴 수준 크레딧 할당 강화학습 프레임워크에 활용하여, 밀집 보상과 정밀한 크레딧 할당을 통해 고수준 의사결정과 저수준 궤적 플래닝을 명시적으로 정렬한다. DriveMA는 Waymo Open Dataset 비전 기반 E2E 드라이빙에서 새로운 최고 성능을 달성하여, 2B 모델로 Rater Feedback Score 8.060을 기록하고 4B 모델로 이를 8.079까지 향상시켰으며, NAVSIM에서도 경쟁력 있는 클로즈드-루프 플래닝 성능을 획득하였다. 이러한 결과는 단순한 메타-액션 인터페이스도 검증 가능하게 만들고 언어-액션 정렬에 최적화되면 최고 수준의 플래닝을 달성할 수 있음을 보여준다. 코드, 데이터, 모델은 https://tsinghua-mars-lab.github.io/DriveMA 에서 공개되어 있다.

arXiv:2601.00969v3cs.RO

V-VLAPS: 비전-언어-행동 모델을 위한 가치 기반 계획

V-VLAPS: Value-Guided Planning for Vision-Language-Action Models

VLA 모델의 반응적 행동이 분포 이동과 장기 태스크에서 실패하는 문제를 해결하기 위해, V-VLAPS는 오프라인 VLA 롤아웃으로 학습된 경량 가치 헤드(value head)를 몬테카를로 트리 탐색(MCTS)에 통합하여 더 높은 가치의 분기를 선호하도록 탐색을 유도한다. LIBERO 벤치마크에서 탐색 예산을 확대했을 때 모든 태스크 스위트에서 기준선 대비 성능이 향상되어, LIBERO-Object에서 +6 퍼센트 포인트, LIBERO-10에서 +4 퍼센트 포인트의 개선을 달성하였다.

arXiv:2607.08375v1cs.CV

WCog-VLA: 엔드-투-엔드 자율주행을 위한 이중 수준 세계-인지 비전-언어-액션 모델

WCog-VLA: A Dual-Level World-Cognitive Vision-Language-Action Model for End-to-End Autonomous Driving

의미론적 세계 예측과 생성적 세계 진화를 통합하는 이중 수준 VLA 프레임워크 WCog-VLA를 제안하며, 3D 공간 인지 기반의 에이전트 토큰과 Game-CoT 추론, 그리고 다중 에이전트 궤적을 합성하는 ADDT 생성 세계 모델을 결합해 능동적 자율주행을 구현한다. NAVSIM 벤치마크에서 PDMS 92.9의 최고 성능(SOTA)을 달성했으며, 85k개의 Game-CoT 어노테이션 데이터셋을 추가로 구축하였다.

arXiv:2607.08182v1cs.CV

LEEVLA: Seeing What Matters in Latent Environment Evolution for Vision-Language-Action

Vision-language-action (VLA) models aim to map multimodal inputs to robot actions. However, most existing approaches struggle to cover complex dynamic scenarios due to treating all visual tokens uniformly and reasoning with human-selected factors, which lack mechanisms to emphasize task-critical evidence and ignore underlying factors. To address this issue, we propose LEEVLA, a VLA architecture for seeing what matters in Latent Environment Evolution that explicitly guides the model toward informative regions while preserving the structured evolution of latent world representations. To identify salient and instruction-relevant regions, we introduce drift-guided dynamic prioritization (DGDP), which combines dynamic position prioritization (DPP) with semantic drift guidance (SDG) to guide the VLA agent where to attend during training. On top of this, we introduce structured feature flow generation (SFFG), which models how these prioritized features should evolve in latent space via prototype-to-periphery (P2P) prediction, and a mutual-neighborhood contrastive (MC) loss to maintain topological consistency among neighborhoods. Together, DGDP and SFFG form a task-aware "where-how" training framework. Extensive experiments on VLA benchmarks show that LEEVLA consistently outperforms prior methods, confirming that explicit task-evidence guidance and structured latent reasoning are both crucial for scalable VLA. Our code is available at https://github.com/LyuQi127/LEEVLA.

arXiv:2607.06370v1cs.RO

액션 캐싱과 정제를 통한 비전-언어-액션 모델의 학습 없는 가속화

Training-Free Acceleration for Vision-Language-Action Models with Action Caching and Refinement

플로우 매칭 기반 VLA 모델의 액션 헤드 반복 디노이징으로 인한 추론 지연 문제를 해결하기 위해, 과거 중간 액션을 멀티모달 키와 함께 캐싱하고 유사한 컨텍스트에서 재활용하는 플러그 앤 플레이 방식의 ActionCache를 제안한다. 시뮬레이션 및 실제 환경 실험에서 $\pi_{0.5}$와 GR00T-N1.6에 대해 각각 최대 $11.75\times$, $34.43\times$의 추론 가속화를 달성하면서도 높은 태스크 성공률을 유지함을 확인하였다.

arXiv:2607.06564v1cs.RO

Lift3D-VLA: 3D 기하학 및 역학 인식 조작을 위한 VLA 모델 리프팅

Lift3D-VLA: Lifting VLA Models to 3D Geometry and Dynamics-Aware Manipulation

기존 VLA 모델의 3D 기하학 이해 부족과 시간적 일관성 결여 문제를 해결하기 위해, Lift3D-VLA는 3D 포인트 클라우드를 사전학습된 2D 위치 임베딩과 정렬하는 모델 리프팅 전략, 현재 기하구조 재구성과 미래 변화 예측을 동시에 수행하는 GC-MAE(Geometry-Centric Masked Autoencoding), 그리고 LLM의 여러 층을 활용한 층별 시간적 행동 모델링을 통합한 통합 VLA 프레임워크를 제안한다. MetaWorld와 RLBench에서 기존 최고 성능 VLA 대비 각각 10.8%, 11.1% 높은 평균 성공률을 달성하며 실제 환경에서도 강화된 일반화 성능을 보인다.

arXiv:2602.19710v3cs.CV

PoseVLA: 범용 포즈 사전학습을 통한 일반화 가능한 비전-언어-행동 정책

PoseVLA: Universal Pose Pretraining for Generalizable Vision-Language-Action Policies

VLA 모델의 고수준 의미 인식과 로봇 행동 제어 사이의 세분화 불일치 및 데이터 이질성 문제를 해결하기 위해, Pose-VLA는 이산 포즈 토큰을 범용 표현으로 활용하여 3D 공간 사전 지식 추출을 위한 사전학습과 로봇 특화 행동 정렬을 위한 사후학습으로 분리하는 비결합 패러다임을 제안한다. RoboTwin 2.0에서 평균 79.5% 성공률, LIBERO에서 96.0%를 달성하였으며, 태스크당 100개의 시연만으로도 실세계에서 강건한 일반화 성능을 보였다.

arXiv:2607.04146v1cs.RO

!Imperio, smolVLA: 오픈소스 로보틱스에서 데이터 포이즈닝의 함의

!Imperio, smolVLA: The Implications of Data Poisoning on Open Source Robotics

이 연구는 비전-언어-액션 모델(VLA)에 대한 트리거 워드 데이터 포이즈닝이 실용적으로 가능함을 입증하는 동시에, 오픈소스 로보틱스 생태계가 커뮤니티 기여에 대한 신뢰 가정을 내포하고 있음을 보인다. 소수의 오염된 샘플만으로도 명령에 의해 로봇을 비활성화하는 백도어를 은밀하게 삽입할 수 있다. 우리는 이 위협을 smolVLA를 대상으로 실제 pick-and-place 작업에서 평가하였으며, 세 가지 포이즈닝 비율로 학습하고 LeRobot 플랫폼에서 다양한 프롬프트에 걸쳐 평가하였다. 320개의 정상 에피소드 중 단 3개의 오염된 에피소드만으로도 완전한 서비스 거부가 달성된다. 성공률은 모든 트리거 워드 조건에서 0.0 ± 0.0%로 떨어지며, 로봇은 어떠한 작업 관련 동작도 수행하지 않고 고정된 관절 구성에 잠겨 버린다. 정상 프롬프트에서의 동작은 모든 포이즈닝 비율에 걸쳐 약 50%의 성공률을 유지하며, 이는 공격이 정상 운용 중에 은밀하게 유지됨을 확인해 준다. 단 하나의 오염된 에피소드만으로도 성공률이 6.7 ± 6.7%로 낮아진다. 로봇은 여전히 움직이지만 더 이상 작업을 완료하지 못한다. 이 공격은 학습이 전적으로 앞부분 트리거 배치만으로 이루어졌음에도 불구하고 앞, 중간, 끝 트리거 배치 모두에 일반화된다. 이러한 결과는 해당 위협이 실용적이고 저비용이며 은밀함을 입증하며, 오픈소스 로보틱스 생태계에서 데이터셋 출처를 최우선 관심사로 다룰 것을 촉구한다.

arXiv:2607.03461v1cs.CV

WorldBagel: 비전-언어-행동-세계 모델링을 위한 통합 멀티모달 모델의 잠재력 탐구

WorldBagel: Uncovering the Power of Unified Multimodal Models for Vision-Language-Action-World Modeling

세계 모델(world model)은 인식, 추론, 행동을 지원하는 방식으로 환경 다이나믹스를 포착하는 것을 목표로 하며, 최근 비전-언어-행동-세계(Vision-Language-Action-World, VLAW) 모델링의 핵심 연구 방향으로 부상하고 있습니다. 한편, 통합 비전-언어 모델은 강력한 멀티모달 생성 능력을 입증했으나, 세계 모델로서의 잠재력은 아직 충분히 탐구되지 않았습니다. 본 연구에서는 현대적 멀티모달 통합 모델인 BAGEL을 기반으로 구축한 통합 VLAW 프레임워크 \texttt{WorldBagel}을 소개하고, 이를 통해 세계 모델링에서 통합(unification)의 역할을 체계적으로 조사합니다. 다중 태스크 로봇 조작 및 크로스 도메인 실험 전반에 걸쳐, \texttt{WorldBagel}은 태스크별 대안 모델들을 일관되게 능가하며, 시각적·언어적 컨텍스트와 더욱 구조적이고 의미론적으로 정렬된 행동 표현을 학습합니다. LIBERO, Language Table, Franka에 대한 실험은 통합이 단순한 아키텍처적 편의성이 아니라 효과적인 VLAW 모델 학습의 핵심 요소임을 보여주며, 일관된 실증적 성능 향상과 멀티모달 세계 모델링에 대한 심층적 통찰을 제공합니다. 코드 및 모델 체크포인트는 논문 승인 후 공개될 예정입니다.

arXiv:2607.03372v1cs.CV

존재하지만 기억되지 않는: 동결된 VLA가 시각적 과거를 인코딩·배포·조종하는 방식 감사

Present but Not Remembered: Auditing How Frozen VLAs Encode, Deploy, and Steer Visual History

동결된 비전-언어-액션 모델(VLA)은 매 의사결정 단계마다 최근 관찰을 입력받지만, 기존 연구들은 기억을 추가하는 데 초점을 맞췄을 뿐 기존의 과거 정보가 어떻게 표현되고 활용되는지는 묻지 않았다. 본 연구는 두 아키텍처 계열의 세 가지 VLA에 걸쳐 층별(layer-resolved) 선형 프로빙과 인과적 교환 개입(causal interchange intervention)을 통해 이 시간적 축을 분석한다. 우리는 세 가지 해리(dissociation) 현상을 발견했다. 첫째, 과거 프레임의 내용은 네트워크 전반에 걸쳐 선형적으로 디코딩 가능한 상태로 유지된다. 둘째, 현재 프레임을 넘어서는 과거 고유의 정보는 거의 존재하지 않으며, 이는 저장된 과거 정보가 현재의 중복적 복사본에 불과함을 나타낸다. 셋째, 과거 정보는 현재 프레임이 심각하게 손상된 경우에만 인과적으로 활용되며, 액션 출력은 네트워크를 거치면서 과거 정보에 대한 의존성을 점진적으로 잃는다. 모든 모델이 과거 정보를 유사하게 인코딩함에도 불구하고, 배포 전략은 서로 다르다. 동일한 가림(occlusion) 조건 하에서 한 아키텍처는 폴백(fallback)으로 과거 정보에 대한 의존도를 높이는 반면, 다른 아키텍처는 의존도를 낮춘다. 우리는 이 두 체제를 구별하는 학습 없는 시간적 배포 감사 방법도 추가로 제안한다. 폴백 체제에서는 과거 정보를 재주입해도 가림 현상을 복구하거나 액션을 명확하게 구분하지 못하며, 이는 저장된 표현의 중복성을 확인시켜 준다. 반대 체제에서는 동일한 개입이 예측된 액션을 제공된 과거 정보 방향으로 안정적으로 조종한다. 이러한 결과는 조종 가능성이 과거 정보의 인코딩 여부가 아닌 배포 방식에 달려 있음을 보여준다. VLA는 과거를 잊지 않는다. 다만 과거를 현재와 구별되는 정보로 표현하는 데 대체로 실패한다. 본 연구의 결과는 향후 메모리 증강이 단순히 더 많은 과거 정보를 주입하는 것이 아니라 과거 고유의 정보를 주입하는 방향으로 이루어져야 함을 시사한다.

arXiv:2607.03182v1cs.RO

AnchorVLA: 이산적 결정과 연속적 궤적을 잇는 비전-언어-행동 계획

AnchorVLA: Bridging Discrete Decisions and Continuous Trajectories for Vision-Language-Action Planning

자율주행 계획은 탐색 의도, 교통 규칙, 동적 상호작용, 언어 지시를 실행 가능한 연속 궤적으로 변환해야 한다. 비전-언어-행동(VLA) 모델은 롱테일 일반화, 상식 추론, 고수준 의미 이해, 설명 가능성을 향상시키기 위해 주행 계획에 도입되었다. 그러나 기존 VLA 플래너들은 대부분 계획 헤드 기반 궤적 예측 또는 전체 궤적 자기회귀 생성 방식을 따른다. 전자는 VLA 추론으로 연속 궤적 생성을 약하게만 제약하며, 후자는 정보 밀도가 낮은 좌표 토큰의 긴 시퀀스에 의존하여 의미-행동 정렬을 어렵게 하고 이산화 오류와 비효율적인 추론을 초래한다. 이러한 한계를 극복하기 위해 우리는 AnchorVLA를 제안한다. AnchorVLA는 고수준 VLA 추론과 연속 궤적 실행 사이의 명시적 인터페이스로 궤적 패턴 앵커를 활용하는 계층적 결정 앵커 기반 VLA 계획 프레임워크이다. 구체적으로, 결정-앵커 표현(Decision-as-Anchor Representation)은 단일 좌표점이 아닌 전체 지역 동작 패턴을 인코딩하는 앵커 토큰으로 행동 수준의 주행 결정을 표현한다. 결정 앵커 잔차 흐름(Decision-Anchored Residual Flow)은 고수준 의사결정 이후 다중 모달 실행 세밀화를 포착하기 위해 선택된 앵커가 정의하는 잔차 공간에서 세밀한 연속 궤적을 생성한다. 웨이포인트 시퀀스를 자기회귀적으로 생성하는 대신 컴팩트하고 의미론적으로 의미 있는 앵커를 추론함으로써, AnchorVLA는 LLM 기반 의사결정을 보존하면서 추론 효율성, 의미-행동 정렬, 연속 생성 유연성을 향상시킨다. Bench2Drive 폐루프 벤치마크 실험에서 AnchorVLA는 77.28의 최고 수준 성공률(Success Rate)과 89.92의 경쟁력 있는 주행 점수(Driving Score)를 달성하였다.

arXiv:2607.01658v1cs.CV

비전-언어-액션 모델에게 무엇을 보고 어디를 볼지 가르치기

Teaching Vision-Language-Action Models What to See and Where to Look

비전-언어-액션(VLA) 모델은 엔드투엔드 자율주행을 위한 유망한 패러다임으로 부상하고 있다. 그러나 기존 VLA의 학습은 언어적 추론을 강조하는 텍스트 중심의 시각적 질의응답 및 사고의 연쇄(Chain-of-Thought) 추론 데이터에 크게 의존하며, 행동 기반 계획 수립 능력이 부족하다. 그 결과, 학습된 표현은 의미론적 지식을 포착하지만 신뢰할 수 있는 경로 예측에 필수적인 공간적 의존성이 결여되어 있다. 우리는 VLA 모델에게 무엇을 보고 어디를 볼지를 명시적으로 가르치는 프레임워크인 DriveTeach-VLA를 제안한다. 주행 인식 비전 증류(Driving-aware Vision Distillation, DVD)는 비전 인코더에 주행 특화 지각 사전 지식을 주입하고, 2D 경로 유도 프롬프트(2D Trajectory-Guided Prompts, 2D-TGP)는 실현 가능한 주행 경로에 정렬된 공간적 조건화를 제공한다. 이 두 요소는 함께 비전 유도 학습 파이프라인을 구성한다: 무엇을 볼 것인가(DVD 사전학습) - 어디를 볼 것인가(TGP 유도 SFT) - 어떻게 행동할 것인가(TGP 유도 GRPO). DriveTeach-VLA는 NAVSIM 및 nuScenes에서 최첨단 성능을 달성한다. 코드는 https://github.com/ShivaTeam/DriveTeach-VLA 에서 확인할 수 있다.

arXiv:2607.01212v1cs.RO

FurnitureVLA: Learning Long-Horizon Bimanual Furniture Assembly with Vision-Language-Action Model

VLAs(Vision-Language-Action 모델)를 활용한 실물 크기 양팔 가구 조립 문제를 다루며, 최대 7개 서브태스크와 1550개 제어 스텝에 달하는 장기 수평(long-horizon) 실행을 위해 액션과 연속적 진행도 신호를 동시에 예측하는 progress-enhanced VLA를 제안한다. 시뮬레이션에서 베이스라인 대비 평균 성공률을 48%에서 80%로 향상시켰으며, 실제 Kinova Gen3 플랫폼에서도 가장 어려운 태스크 기준 16% 하락에 그쳐 실세계 유효성을 검증하였다.