PyTorchKR Papers

최신 논문

총 309편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.20857v1cs.AI

SignVLA: 어텐션 LSTM과 비전-언어-행동(VLA) 모델을 통한 실시간 수어 기반 로봇 조작

SignVLA: Real-Time Sign Language-Guided Robotic Manipulation via Attention LSTM and Vision-Language-Action Models

비전-언어-행동(VLA) 모델은 시각 관측에 기반한 자연어 지시를 통해 로봇이 조작 작업을 수행할 수 있게 한다. 그러나 기존 VLA 인터페이스는 주로 음성이나 텍스트 입력에 의존하여, 청각 장애, 난청, 언어 장애 사용자의 접근성을 제한한다. 본 연구는 접근 가능한 인간-로봇 상호작용을 위한 실시간 수어 기반 VLA 프레임워크인 SignVLA를 제안한다. 이 시스템은 모듈형 수어-텍스트 인터페이스를 도입하여, 시각적 수어 제스처를 하류 VLA 정책과 호환되는 의미적 지시로 변환한다. 비디오 스트림이 주어지면 SignVLA는 손 랜드마크 특징을 추출하고, 알파벳 및 명령 수준의 수어 인식을 위해 시간적 제스처 역학을 포착하기 위해 어텐션 강화 장단기 메모리(LSTM) 네트워크를 사용한다. 시간적 안정화 모듈은 실시간 상호작용 환경에서 예측 일관성을 더욱 개선한다. 생성된 지시 시퀀스는 수어 조건화 로봇 조작을 위해 하류 VLA 정책으로 전달된다. 실험 결과는 안정적인 실시간 수어 인식과 수어 입력에 의해 구동되는 조작 작업의 성공적 실행을 보여준다. 본 연구 결과는 경량 시간적 수어 인식이 다중모달 체화 지능을 위한 효과적이고 실용적인 접근성 계층으로 기능할 수 있음을 시사한다.

arXiv:2606.21623v1cs.CV

doScenes Instructed Driving Challenge를 위한 DVDrive 접근법

A DVDrive Approach for doScenes Instructed Driving Challenge

지시 조건(instruction-conditioned) 궤적 예측은 자율주행에서 떠오르는 문제로, 모델이 시각적 장면 컨텍스트와 과거 운동뿐만 아니라 자연어 기동(maneuver) 지시로부터도 미래 자차(ego) 궤적을 예측한다. 본 논문은 3D 지각, 추론, 계획 기능을 갖춘 비전-언어-행동(vision-language-action) 주행 에이전트인 OmniDrive를 기반으로 doScenes Instructed Driving Challenge에 제출한 우리의 방법을 소개한다. doScenes 설정에 맞추기 위해 지시가 주석된 nuScenes 장면에서 OmniDrive를 학습(training)시키고, 12개의 미래 웨이포인트로 표현된 6초 자차 궤적을 생성한다. 다중 시점(multi-view) 시각적 그라운딩(grounding) 향상을 위해 OmniDrive 지각 헤드에 DVPE 스타일 divided-view perception 모듈을 추가한다. 제안 모듈은 모든 카메라 특징에 대해 전역적으로 어텐션(attention)을 적용하는 대신, 쿼리 특징과 이미지 토큰을 분할된 국소 시점 공간으로 묶고 각 시점 내에서 가시성 인식(visibility-aware) 크로스 어텐션을 수행한다. 이 설계는 무관한 시점 간(cross-view) 간섭을 줄이고, 모델이 언어 지시를 주행 관련 국소 시각적 근거와 더 잘 정렬(align)하도록 돕는다. 코드는 다음에서 공개되어 있다: https://github.com/feel12348/doscenes-omnidrive.

arXiv:2606.21493v1cs.CV

반지도 비전-언어-행동 모델

Semi-Supervised Vision-Language-Action Model

비전-언어-행동(VLA) 모델은 로봇이 시각적 관측과 언어 지시로부터 직접 행동을 예측할 수 있게 하지만, 새로운 환경에 대한 적응은 여전히 비용이 큰 행동 라벨 시연에 의존한다. 이 의존성을 줄이기 위해, 우리는 제한된 감독 신호 하에서의 반지도 VLA 적응을 연구한다. 전체 궤적 중 소수만 로봇 행동을 포함하고, 나머지 궤적은 행동 라벨이 없는 비전-언어 관측을 제공하는 설정이다. 표준 반지도 학습과 달리, 누락된 감독은 시각적으로 그라운딩(grounding)되어야 하고, 언어와 일관되어야 하며, 물리적으로 실행 가능하고, 시간적으로 안정적인 체화된(embodied) 행동 신호이다. 이 문제를 해결하기 위해, 우리는 라벨 없는 궤적에서 신뢰할 수 있는 pseudo-action으로부터 학습하는 자기 증류(self-distilled) teacher-student 프레임워크인 SemiVLA를 제안한다. SemiVLA는 비전-언어 정렬(alignment), 행동 실행 가능성, 시간적 전이 일관성을 평가하는 VLA 전용 신뢰성 제어기(reliability controller)를 도입하고, 노이즈 피드백 오염을 피하기 위해 Bottleneck-Projected Alignment Update로 teacher를 추가 갱신한다. OpenVLA를 백본(backbone)으로 사용할 때, SemiVLA는 LIBERO와 CALVIN에서 여러 PEFT(파라미터 효율적 파인튜닝) 전략을 일관되게 개선한다. 라벨 궤적 10% 조건에서 Selective LoRA를 적용한 SemiVLA는 LIBERO에서 평균 89.0% 성공률을 달성하며, 추가 추론(inference) 비용 없이 지도 LoRA 대비 8.0%p를 상회한다.

arXiv:2606.20867v1cs.CV

FOCA: 데이터 효율적 비전-언어-행동 적응을 위한 미래 지향 조건화

FOCA: Future-Oriented Conditioning for Data-Efficient Vision-Language-Action Adaptation

비전-언어-행동(VLA) 모델은 대규모 멀티모달 사전학습을 통해 범용 로봇 제어를 가능하게 하지만, 퓨샷 모방 학습(few-shot imitation learning) 하에서의 효과는 여전히 제한적이다. 최신 VLA 모델에 대한 체계적인 스트레스 테스트를 수행한 결과, 시연 수가 줄어들수록 성능이 급격히 저하됨을 보였으며, 이는 기존 적응 전략의 핵심 약점을 드러낸다. 이를 해결하기 위해, 데이터 효율적 VLA 적응을 위한 미래 지향 조건화 프레임워크인 FOCA를 제안한다. FOCA는 작업 기반(task-grounded) 미래 상호작용 임베딩의 명시적 예측과 미래 목표 관측에 대한 암시적 정렬(alignment)을 결합하여, 픽셀 수준 예측 없이 잠재 공간(latent space)에서 장기 수평 추론(long-horizon reasoning)을 가능하게 한다. 이 공식화는 비디오 월드 모델(video world models)의 합성 비디오를 이용한 행동 없는(action-free) 공동학습(co-training)을 자연스럽게 지원하며, 미래 조건화된 가치 유사(value-like) 표현을 학습하는 것으로 해석할 수 있다. 광범위한 실험에서 FOCA는 LIBERO에서 20개의 시연으로 95.7% 성공률을 달성하고, RoboCasa에서 7-12% 향상을 보이며, 실제 로봇에서 최대 26%의 절대 향상을 달성하여 퓨샷 VLA 적응에서 새로운 SOTA를 확립한다.

arXiv:2606.19998v1cs.RO

Tri-Info: 정보 이론을 통한 VLA 모델을 위한 일반화 가능하고 해석 가능한 실패 예측

Tri-Info: Generalizable, Interpretable Failure Prediction for VLA Models via Information Theory

비전-언어-행동(VLA) 모델은 다양한 작업에 걸쳐 점점 더 배포되고 있으나, 여전히 블랙박스로 남아 있으며 물리적 상호작용은 되돌릴 수 없는 손상을 초래할 수 있어, 일반화 가능하고 해석 가능한 실패 탐지가 필수적입니다. 우리는 성공적인 롤아웃과 실패한 롤아웃이 체계적으로 다른 정보이론적 특징을 지님을 관찰했습니다. 이를 바탕으로 VLA 제어를 폐루프 정보 파이프라인으로 공식화하고, 행동이 다양성을 유지하는지, 시간적으로 일관적인지, 그리고 상태 전이(state transitions)와 결합되어 있는지를 포착하는 삼중 정보이론적(Tri-Info) 신호를 도출했습니다. 6개의 VLA 모델과 3개의 벤치마크 환경에서 Tri-Info는 동일 도메인(in-domain) 내에서 가장 강력한 베이스라인과 대등한 성능을 보였습니다. 더욱이, Tri-Info는 재학습 없이 아키텍처, 환경, 시뮬레이션-실제(sim-to-real) 격차에 걸쳐 전이되며, 이전 탐지기들이 무작위 수준(chance)으로 추락하는 실제 세계(real-world) 작업에서 83%의 정확도에 도달했습니다. 이는 Tri-Info가 강력한 교차 도메인 일반화(cross-domain generalization)로 실패를 탐지할 뿐만 아니라, 근본적인 실패 모드에 대한 해석 가능한 진단을 제공하는 간단하면서도 강력한 방법임을 입증합니다.

arXiv:2606.20246v1cs.RO

비전-언어-행동 모델의 미세조정은 생각보다 적은 층만 필요로합니다

Finetuning Vision-Language-Action Models Requires Fewer Layers Than You Think

대규모 비디오-로봇 데이터셋에서 사전학습된 비전-언어-행동(VLA) 모델은 로봇 조작 분야에 혁명을 일으켰으나, 수십억 개의 매개변수로 구성된 아키텍처로 인해 다운스트림 미세조정 및 실시간 추론 시 과도한 계산 부담을 초래합니다. 본 연구에서는 이러한 연속 제어 기본 정책(예: pi_0, GR00T-N1.5)의 매우 비자명한 아키텍처 특성을 밝혀냅니다. 다양한 물리 궤적에서 학습되었음에도 불구하고, 이들은 심각한 층별 표현 중복성을 보입니다. 이를 활용하기 위해 우리는 전적으로 학습이 필요 없는 구조적 압축 파이프라인을 도입하여, 최적화된 토큰 축소나 동적 층 선택기를 학습하기 위해 전체 규모 모델을 로드해야 하는 기존 방식의 필요성을 제거했습니다. 대신, 중심화된 커널 정렬(Centered Kernel Alignment)을 통한 단일 순전파만을 사용하여 중복된 층 특징을 식별하고, 쌍둥이 층(twin layers)을 제거하여 VLM 백본과 연속 제어 정책 헤드 모두에서 모델 깊이를 최대 50%까지 영구적으로 압축합니다. 이 간소화된 아키텍처의 다운스트림 미세조정은 학습 시간 40-50% 단축 및 실시간 추론 속도 최대 30% 향상이라는 이중 가속 이점을 제공하며, 전체 규모 기본 모델의 성능과 대등하거나 이를 능가합니다. 우리는 3개의 시뮬레이션 벤치마크(LIBERO, RoboCasa, SimplerEnv)와 4가지 독특한 로봇 형태에 걸친 10가지 다양한 실제 환경 조작 작업에서 본 방법을 포괄적으로 검증했습니다. 이러한 결과는 고급 VLA가 기존에 가정했던 것보다 훨씬 적은 층만을 필요로 한다는 것을 입증하며, 확장 가능한 로봇 학습을 위한 매우 계산 효율적인 패러다임을 제공합니다.

arXiv:2606.20092v1cs.CV

EventVLA: 장기 비전-언어-행동 정책을 위한 이벤트 기반 시각적 증거 메모리

EventVLA: Event-Driven Visual Evidence Memory for Long-Horizon Vision-Language-Action Policies

장기 로봇 조작에서 메모리는 여전히 핵심 병목이며, 표준 비전-언어-행동(VLA) 정책은 과업 관련 단서가 시간이 지나면서 가려지거나 관측 불가능해질 때 자주 실패한다. 기존 메모리 증강(memory-augmented) 방법들은 역사적 맥락을 활용하지만, 심각한 정보 병목에 시달리거나, 분리된 이중 시스템으로 인해 높은 지연(latency)을 발생시키거나, 선택성 없는 버퍼에 의존하여 대량의 시각적 중복을 축적한다. 이러한 한계를 해결하기 위해, 우리는 희소 시각적 증거 메모리(sparse visual evidence memory) 개념에 기반한 종단간(end-to-end) 프레임워크인 EventVLA를 제안한다. 이 프레임워크는 두 가지 핵심 구성 요소로 이루어진다: 초기 및 단기 맥락을 유지하는 기초 시각 앵커(foundational visual anchors), 그리고 동적 키프레임 증거 메모리(Keyframe Evidence Memory, KEM) 모듈. 구체적으로, KEM은 VLA의 잠재 임베딩(latent embeddings)으로부터 미래 키프레임 확률을 직접 예측하여, 희소하고 과업에 핵심적인 시각적 이벤트를 자율적으로 포착하고 저장한다. 이 선견(foresight) 기반 메커니즘은 정책이 현재 관측의 미래 인과적 유용성을 동적으로 평가하도록 하여, 일시적인 시각적 증거가 관측 불가능해지기 전에 이를 보존한다. 또한 우리는 상호작용적 시각적 증거가 있는 비마르코프(non-Markovian) 조작 과업을 평가하기 위해 특별히 설계된 진단 벤치마크인 RoboTwin-MeM을 제안한다. 광범위한 평가 결과, 17개의 메모리가 필요한 시뮬레이션 과업과 4개의 실세계 양손(bimanual) 과업 전반에서 EventVLA는 최신 메모리 증강 VLA 대비 평균 성공률을 +40% 향상시킨다.

arXiv:2606.19565v1cs.CV

Mix-QVLA: 비전-언어-행동 모델의 작업 증거 인식 혼합 정밀도 양자화

Mix-QVLA: Task-Evidence-Aware Mixed-Precision Quantization of Vision-Language-Action Models

본 논문에서는 VLA(비전-언어-행동) 모델을 위한 작업 증거 인식 혼합 정밀도 PTQ(사후학습 양자화) 프레임워크인 Mix-QVLA를 제안합니다. Mix-QVLA는 각 양자화 변형을 전체 정밀도(full-precision) 행동 토큰(action-token) 참조 의사결정에 고정하고, 양자화가 주요 VLA 기능적 경계 전반에서 작업 관련 증거를 보존하는지 평가합니다. 이는 경계 활성화로부터 정규화된 그래디언트 가중치 작업 증거 맵을 계산하고, 증거 질량(evidence-mass)과 귀속 분포 왜곡(attribution-distribution distortion)을 사용하여 전체 정밀도 맵과 양자화 맵을 비교하며, 이를 통해 의사결정 지원 증거의 강도와 할당 변화를 포착합니다. 소프트 병목(soft-bottleneck) 목적 함수는 경계 수준의 성능 저하를 층별(layer-wise) 민감도 점수로 집계합니다. Mix-QVLA는 고정된 민감도 프로필을 가정하는 대신, 작업 실행 전반에 걸쳐 민감도를 모델링하여 층 중요도의 단계(phase) 의존적 변화를 포착합니다. 결과적으로 도출된 증거 및 시간 인식 점수는 모델 크기 및 BitOps(비트 연산) 예산 하에서 혼합 정밀도 비트 할당을 안내합니다. OpenVLA 스타일 정책에 대한 광범위한 평가 결과, Mix-QVLA는 저비트 VLA 배포의 정확도-효율성 트레이드오프를 개선하는 것으로 나타났습니다. LIBERO에서 Mix-QVLA는 OpenVLA-OFT의 메모리를 15.4 GB에서 4.1 GB로 줄이고, BF16 모델의 97.1에 비해 96.3의 평균 성공률을 유지하며, 1.52배의 추론(inference) 속도 향상을 달성했습니다.

arXiv:2606.18955v1cs.CV

모션 중심 잠재 행동을 통한 인간 에고 비디오 기반 크로스-엠보디먼트 VLA 학습

Motion-Focused Latent Action Enables Cross-Embodiment VLA Training from Human EgoVideos

일반화된 비전-언어-행동(VLA) 모델을 학습(training)하려면 일반적으로 고충실도의 행동 주석이 포함된 대규모의 다양한 로봇 데이터셋이 필요합니다. 인간의 1인칭 조작(egocentric human manipulation) 비디오는 풍부하고 상당한 환경적 다양성을 포착하지만, 행동 레이블이 부족하여 기존 학습 패러다임에서 사용하기 어렵습니다. 이를 해결하기 위해, 레이블이 없는 인간 비디오에서 일반적인 행동 사전(priors)을 추출하도록 설계된 잠재 행동 기반 프레임워크를 제안합니다. 이 아키텍처는 물리적 마스크를 통해 모션 역학(motion dynamics)을 환경 배경으로부터 분리(decouple)하는 하이브리드 분리형(Hybrid Disentangled) VQ-VAE를 특징으로 하며, 이를 통해 크로스-엠보디먼트 행동 코드북을 구축할 수 있습니다. 해당 코드북을 사용하여 인간 비디오로 사전학습(pre-training)함으로써, VLM 백본은 행동 의도(action intent)에 대한 심층 표현을 학습합니다. 특정 엠보디먼트(embodiment)로의 적응을 위해, VLM이 행동 의도를 예측하는 동안 별도의 고정된(frozen) 시각 인코더가 상태 특정(state-specific) 특징을 행동 전문가(action expert)에게 제공하여 행동 환각(hallucinations)을 줄이는 의도-지각 분리(intent-perception decoupling) 전략을 도입했습니다. 시뮬레이션 및 실제 환경에서의 결과는 레이블이 없는 인간 비디오에서만 사전학습된 우리의 방법이 대규모 주석 데이터셋으로 학습된 최첨단 VLA 모델과 경쟁력 있는 성능을 보이며, 다운스트림 적응을 위해 단 50개의 궤적(trajectories)만 필요함을 보여줍니다.

arXiv:2606.17846v2cs.RO

Qwen-RobotManip 기술 보고서: 정렬(Alignment)이 로봇 조작 파운데이션 모델의 스케일링을 가능하게 하다

Qwen-RobotManip Technical Report: Alignment Unlocks Scale for Robotic Manipulation Foundation Models

언어 및 멀티모달리티(multimodality) 분야의 파운데이션 모델들은 통일된 공식(formulation) 하에 이질적인 데이터를 정렬하고 대규모로 학습함으로써 강력한 일반화를 달성합니다. 본 보고서에서는 이러한 스케일링 방법론을 로봇 조작에 적용하여 진정한 일반화를 달성할 수 있는지 조사합니다. 이는 도전적인 과제인데, 텍스트와 달리 조작 데이터는 본질적으로 이질적이며 수집 비용이 비싸고 다양성이 제한적이어서 정렬과 스케일링을 동시에 달성하기 어렵기 때문입니다. 우리는 Qwen-VL을 기반으로 구축된 일반화 가능한 비전-언어-액션(Vision-Language-Action) 파운데이션 모델인 Qwen-RobotManip을 제안합니다. Qwen-RobotManip은 조작의 표현, 모션, 행동 차원에 걸쳐 통일된 정렬(alignment) 프레임워크를 도입하여, 대규모 다중 소스 학습이 충돌하는 것이 아니라 일관되게 이루어지도록 합니다. 이러한 정렬 능력은 차례로 Qwen-RobotManip이 이전의 학습 방식에서는 감당할 수 없었던 규모의 조작 데이터를 흡수할 수 있게 합니다. 인간-로봇 합성 파이프라인은 15개 플랫폼에 걸쳐 1인칭(egocentric) 손 시연을 로봇 궤적으로 변환하고, 엄격한 큐레이션 파이프라인은 이질적인 데이터셋을 통합합니다. 독점 데이터 수집 없이 오픈 소스 데이터셋과 인간 비디지만을 사용하여, Qwen-RobotManip은 약 38,100시간 분량의 사전학습 말뭉치를 구축하고 제로샷 인스트럭션 따르기(instruction following), 섭동에 대한 강건성, 반응형 오류 복구, 크로스-임보디먼트 전이(cross-embodiment transfer)를 포함한 창발적 일반화 능력을 보여줍니다. 우리는 표준 벤치마크가 사전학습 품질을 제대로 포착하지 못한다는 것을 발견했고, 대신 RoboCasa365, LIBERO-Plus, EBench, RoboTwin-Clean2Rand, RoboTwin-IF, 및 RoboTwin-XE를 포함하는 OOD(분포 외) 설정을 채택했습니다. Qwen-RobotManip은 모든 OOD 설정에서 $π$0.5를 포함한 이전의 최첨단(SOTA) 모델들을 현저히 능가하며, RoboChallenge에서 20%의 상대적 향상으로 1위를 차지했고, AgileX ALOHA, Franka, UR, 및 ARX를 포함한 실제 로봇 플랫폼에서 검증되었습니다.

arXiv:2606.17480v1cs.CV

GeneralVLA-2: 로봇 계획을 위한 기하학적 인식 재구성 및 통제된 메모리

GeneralVLA-2: Geometry-Aware Reconstruction and Governed Memory for Robot Planning

범용 비전-언어-행동 시스템은 신뢰할 수 있는 로봇 궤적을 계획하기 위해 객체 중심의 3D 증거와 재사용 가능한 조작 경험이 필요합니다. GeneralVLA는 언어와 RGB-D 관찰을 3D 엔드 이펙터 경로로 변환하는 계층형 인터페이스를 제공하지만, 두 가지 병목 현상이 남아 있습니다. 첫째, 단안 SAM3D 스타일의 객체 재구성은 자세와 보이지 않는 기하학에 대해 환각을 일으킬 수 있으며, 반면 조작은 보정된 다중 뷰 관찰이 가능할 때 안정적인 객체 형상의 이점을 누립니다. 둘째, 원래의 KnowledgeBank는 주로 의미적으로 유사한 스니펫을 검색하여 새로운 지식을 추가하는 방식이므로, 메모리 품질, 충돌, 신뢰도 및 기하학적 관련성을 제어하기 어렵습니다. 첫 번째 과제를 해결하기 위해, 우리는 입력 뷰 마스크로 외부 기하학적 단서를 검증하고, 소프트 비주얼 헐 지원을 적용하며, 축별 정제를 수행하고, 외관을 보존하면서 기하학만 융합하는 기하학적 사전(prior) 안내 MV-SAM3D 재구성 분기인 GeoFuse-MV3D를 도입합니다. 두 번째 과제를 해결하기 위해, 우리는 KnowledgeBank를 명시적인 품질, 신뢰도, 수명 주기, 검증기 및 충돌 메타데이터와 함께 정밀도 지향 검색을 갖춘 통제된 장기 메모리 시스템으로 업그레이드합니다. 마지막으로, 우리는 GSO-30에서 재구성 분기를 평가하고 Terminal-Bench 2.0 및 SWE-Bench Verified에서 메모리 모듈을 평가했습니다. GeoFuse-MV3D는 CD와 LPIPS를 각각 2.20%와 2.02% 감소시키고 PSNR과 SSIM을 각각 2.36%와 1.03% 증가시켜 MV-SAM3D 기준선보다 개선되었으며, KnowledgeBank는 Terminal-Bench SR에서 4.53%, SWE-Bench 해결률에서 3.73% 향상되어 ReasoningBank보다 개선되었고, 각각 AS를 4.95%와 5.65% 감소시켰습니다. Code: https://github.com/AIGeeksGroup/GeneralVLA-2. Website: https://aigeeksgroup.github.io/GeneralVLA-2.

arXiv:2606.17463v1cs.CV

WeaveLA: Event Driven Cross-Subtask Latent Memory Weaving for Repetitive Robot Manipulation

비전-언어-액션(VLA) 정책은 뛰어난 단일 단계 조작을 달성했지만, 각 단계가 방금 완료된 것에 의존하는 상황에서는 여전히 취약합니다. 핵심 문제는 구조적입니다. 짧은 윈도우(short-window) VLA는 하위 작업 경계를 넘어 정보를 라우팅하는 명시적인 채널이 부족하며, 기존의 메모리 증강 변형들은 매 프레임마다 기록하거나, 데모 시점 단계에서 검색하거나, 액션 전문가(action expert)로의 명시적인 하위 작업 간 인계를 수행하지 않고 하위 목표 이벤트에서 발동됩니다. 우리는 하위 목표 완료 이벤트를 하위 작업 간 메모리 인계를 위한 자연스러운 시간적 단위로 식별하고, WeaveLA(비전-언어-액션 정책을 위한 잠재 메모리 위빙)를 제시합니다. WeaveLA는 동결된 VLA 백본 위에서 쿼리 기반 어텐션 풀링을 통해 완료된 각 세그먼트를 잠재 토큰으로 압축하고 이를 다음 하위 작업의 액션 생성 경로로 직접 라우팅하는 하위 작업 간 메모리 인터페이스입니다. 이러한 이벤트 트리거 방식의 액션 측 설계는 가벼운 하위 작업 간 채널을 추가하면서 기본 정책의 짧은 윈도우 인터페이스를 보존합니다. $\pi_{0.5}$ 백본을 사용한 RoboMME에 대한 계층화 평가를 통해, WeaveLA의 이득은 채널이 필요한 곳에 정확히 나타남을 확인했습니다. 가장 어려운 반복 슬라이스(SwingXtimes, $N{=}3$)에서 성공률은 $0\%$에서 $47.8\%$로 상승한 반면, 단일 실행 에피소드는 변화가 없었습니다. 에피소드별 쌍 분석은 이득이 하위 작업 간 정보를 필요로 하는 인과 구조를 가진 작업으로 제한됨을 확인해 줍니다.

arXiv:2606.13578v1cs.CL

LabVLA: 과학 실험실에서 비전-언어-액션 모델의 그라운딩

LabVLA: Grounding Vision-Language-Action Models in Scientific Laboratories

과학 실험실 환경의 물리적 실행 자동화를 위해 RoboGenesis 데이터 엔진과 FAST 액션 토큰 사전학습 및 플로우 매칭 사후학습을 적용한 LabVLA 모델을 제안한다. LabUtopia 벤치마크에서 LabVLA는 분포 내 및 분포 외 설정 모두에서 최고의 평균 성공률을 달성했다.

arXiv:2606.12497v1cs.LG

μVLA: VLA 모델에서 부분 관측 가능 조작을 위한 순환 메모리

$μ$VLA: On Recurrent Memory for Partially Observable Manipulation in VLA Models

부분 관측 가능한 조작 환경에서 기존 VLA 모델의 한계를 해결하기 위해 사전학습된 백본에 최소한의 순환 메모리(recurrent memory)만을 추가한 $\mu$VLA를 제안한다. MIKASA-Robo 벤치마크에서 학습 작업의 성공률을 0.42에서 0.84로 향상시키고, LIBERO에서는 성능 저하 없이 96.2%의 성공률을 달성하여 순환 메모리의 효과를 검증했다.

arXiv:2606.12936v1cs.RO

웨트랩 로보틱스를 위한 체화 시뮬레이션 플랫폼, 벤치마크 및 데이터 효율적 증강 프레임워크

An Embodied Simulation Platform, Benchmark, and Data-Efficient Augmentation Framework for Wet-Lab Robotics

웨트랩 로봇은 생의학 실험의 재현성, 처리량, 안전성을 향상시킬 수 있지만, 그 학습을 확장하려면 안전하고 재현 가능한 작업 생성을 위한 맞춤형 시뮬레이터, 개방형·편집 가능한 실험실 에셋, 제한된 시연을 활용 가능한 학습 데이터로 전환하는 효율적인 파이프라인이 필요하다. 우리는 웨트랩 로봇 학습을 위한 체화 시뮬레이션 플랫폼, 벤치마크, 데이터 효율적 증강 프레임워크인 Pipette를 제안한다. Pipette는 43개 이상의 오픈소스·재편집 가능한 웨트랩 에셋과 확장 가능한 에셋 구축 파이프라인을 공개한다. Pipette의 핵심 구성요소는 시뮬레이션 기반 데이터 증강 파이프라인으로, 시뮬레이션에서 인간 시연을 재생하며 조명, 카메라, 속도, 동작 섭동을 적용하고 자동 작업 성공 검사로 생성된 에피소드를 필터링하여, 제한된 수동 시연으로부터 활용 가능한 학습 데이터를 신속히 확장한다. 또한 샘플 처리, 배양기구 조작, 장치 운영, 정밀 배치를 포함하는 11개 작업의 웨트랩 체화 벤치마크를 도입한다. 작업당 30개의 시연만으로 ACT는 평균 65.5%의 성공률을 달성하며, 시뮬레이션 증강은 SmolVLA를 44.1%에서 74.7%로, π0를 40.4%에서 46.5%로 향상시켜 데이터 효율적인 비전-언어-행동(VLA) 학습 및 평가를 위한 Pipette의 효과를 검증한다. Pipette는 또한 자연어 기반 장면 구성 및 작업 등록을 지원하여, 비전문 사용자가 새로운 웨트랩 로봇 작업을 정의하는 진입 장벽을 낮춘다.

arXiv:2606.12978v1cs.RO

비전-언어-액션 모델에 대한 궤적 수준 리다이렉션 공격

Trajectory-Level Redirection Attacks on Vision-Language-Action Models

비전-언어-액션(VLA) 정책은 자연어를 폐루프(closed-loop) 로봇 제어에 통합하여, 로봇이 텍스트 지시로부터 직접 조작(manipulation) 작업을 수행할 수 있게 합니다. 동일한 인터페이스 때문에 프롬프트가 모든 재계획(replanning) 단계에서 재사용되고, 각 프롬프트 조건부 행동이 정책이 작동하는 미래 관찰을 바꾸므로, 제어 과정에서 텍스트가 반복적으로 역할을 합니다. 기존 VLA 공격은 표적 저수준 행동을 유도하거나 변화하는 이미지에도 해당 행동이 지속되도록 하는 적대적 프롬프트를 연구합니다. 본 연구는 의도된 작업을 지정하는 것처럼 $\textit{보이지만}$ 최종 물리적 결과를 리다이렉션하는, 더 강력한 궤적 수준 실패 모드를 식별합니다. 본 연구는 이 설정을 $\textit{명령어 보존 궤적 리다이렉션(command-preserving trajectory redirection)}$으로 수학적으로 정형화합니다. 이는 에피소드 시작 전 공격자가 하나의 프롬프트를 선택하고, 모든 정책 및 환경 구성 요소는 고정된 채 유지되며, 프롬프트가 목표 단어와 수정 언어를 생략하면서 정상(benign) 지시에 가깝게 유지되어야 하는 프롬프트 전용 위협 모델입니다. 이러한 프롬프트를 찾기 위해, 본 연구는 롤아웃(rollout)을 사용하여 명령어 보존 제약을 만족하면서 폐루프 동작이 목표 작업을 추적하는 섭동(perturbation)을 발견하는 온-정책(on-policy) 프롬프트 탐색 방법을 제안합니다. 시뮬레이션 및 실제 하드웨어 실험에서, 정상 지시에 가까운 프롬프트 섭동만으로 VLA 롤아웃을 공격자가 지정한 목표로 리다이렉션할 수 있음을 보였습니다. 이러한 결과는 VLA 명령어 그라운딩(grounding)의 궤적 수준 취약점을 드러냅니다. 의도된 명령어를 보존하는 것처럼 보이는 텍스트라도 적대자가 로봇의 최종 물리적 결과를 제어할 수 있습니다. 프로젝트 웹사이트: https://vla-redirection-attack.github.io/

arXiv:2510.03896v2cs.CV

GAE: 일반화 가능한 행동 전문가를 통한 VLM의 물리적 잠재력 발휘

GAE: Unleashing Physical Potential of VLM with Generalizable Action Expert

비전-언어 모델(VLM)은 강력한 추론 및 계획 능력을 보여주지만, 이러한 예측을 정밀한 로봇 행동으로 그라운딩(grounding)하는 것은 여전히 중요한 과제입니다. 기존 비전-언어-행동(Vision-Language-Action) 방법론들은 일반적으로 추론과 행동 생성을 결합하여, 제한된 일반화 성능을 보입니다. 우리는 희소 기하학적 계획을 밀집된 로봇 행동으로 변환하는 작업 무관(task-agnostic) 모델인 일반화 가능한 행동 전문가(Generalizable Action Expert, GAE)를 제안합니다. 우리의 접근법은 희소 기하학적 인터페이스를 도입합니다: VLM은 상위 수준 의도를 나타내는 희소 3D 웨이포인트(waypoint)를 예측하고, GAE는 이 웨이포인트와 실시간 포인트 클라우드(point cloud) 관측값을 연속적인 행동 궤적으로 매핑합니다. GAE는 시뮬레이션과 실제 로봇 모두에서 수집한 15만 개의 궤적으로 구성된 대규모 포인트 클라우드-궤적 데이터셋에서 사전학습(pre-training)됩니다. 효율성과 일반화를 더욱 향상시키기 위해, 우리는 행동 역학 학습을 기하학적 그라운딩으로부터 분리하는 행동 사전학습, 포인트 클라우드 파인튜닝(Action Pre-training, Pointcloud Fine-tuning, APPF) 방식을 도입합니다. 사전학습 후, GAE는 동결(frozen)되고 다운스트림 태스크(downstream task) 전반에 걸쳐 재사용되며, 희소 인터페이스를 생성하기 위해 VLM의 경량 파인튜닝(fine-tuning)만 필요합니다. 실험 결과, 우리의 방법이 다양한 비전 도메인, 카메라 시점, 자연어 지시에 걸쳐 강력한 성능과 일반화를 달성함을 보여줍니다.

arXiv:2606.12299v1cs.RO

VLA에게 무엇을 말할지 배우기: 대체로 무해한 비전-언어-액션 모델 조종

Learning What to Say to Your VLA: Mostly Harmless Vision Language Action Model Steering

비전-언어-액션(VLA) 모델은 로봇 제어를 위한 자연어 인터페이스를 제공하지만, 언어에서 행동으로의 매핑은 종종 취약하고 비직관적입니다. 의미적으로 유사한 지시 사항이 현저하게 다른 행동을 유도할 수 있으며, 일부 기능은 프롬프트만으로는 유도할 수 없는 경우가 있습니다. 결과적으로, 인간의 지시 사항과 제로샷(zero-shot) 언어 모델 모두 VLA를 성공적인 작업 실행으로 신뢰할 수 있게 조종하는 데 실패할 수 있습니다. 본 연구에서는 폐루프(closed-loop) VLA 작업 성능을 향상시키는 언어 시퀀스를 상호작용 방식으로 검색하고, 이 시퀀스를 테스트 타임 언어 피드백 정책(LFP)으로 증류(distillation)하며, 언어 조종(steering)이 성능을 향상시킬 시점을 예측하는 개선 헤드(improvement head)를 학습하는 프레임워크를 제안합니다. 우리는 분포 외(out-of-distribution) 시나리오에서 LFP가 원래 지시 사항 대비 작업 성능을 저하시키는 유해한 조종 개입을 방지하기 위해 이 개선 헤드를 컨포멀화(conformalize)합니다. 중요하게도, 본 접근 방식은 임의의 동결된(frozen) 사전 학습(pre-trained) VLA에서 작동하며, 원래 학습(training) 분포에 대한 접근이나 기본 모델(model)의 미세조정(fine-tuning)이 필요하지 않습니다. 학습된 환경에서 본 컨포멀화된 LFP는 시뮬레이션에서 기본 VLA 성능을 24.7%, 실제 하드웨어에서 65.0% 향상시킵니다. 시각적 및 의미적 섭동(perturbations)에 대해 본 컨포멀화된 LFP는 강력한 무해성을 보장하며, 개루프(open-loop) 프롬프트에서는 관찰되지 않는 복구 행동을 생성합니다.

arXiv:2606.12105v1cs.RO

DAM-VLA: 분리된 비동기 멀티모달 비전-언어-액션 모델

DAM-VLA: Decoupled Asynchronous Multimodal Vision Language Action model

비전-언어-액션(VLA) 모델은 비전-언어 사전학습으로부터 공유된 동기식 클럭을 상속받아, 모든 입력을 단일 속도로 처리한다. 이는 고주파 모달리티가 수백 헤르츠로 변화하고, 비전은 더 느리게 변화하며, 언어는 에피소드 전반에 걸쳐 일정하게 유지되는 물리적 상호작용과 맞지 않는다. 동기식 VLA는 느린 모달리티를 과도하게 샘플링하고 빠른 모달리티를 과소 샘플링하며, 액션 생성 속도를 최저 유효 주파수로 제한한다. 우리는 각 모달리티의 시간적 처리를 분리하여 각각이 자신의 센서 속도로 정보를 업데이트하고 유지하도록 하면, 더 강력한 표현과 더 강건한 제어가 가능하다는 가설을 제시한다. 우리는 DAM-VLA를 제안하는데, 이는 센서 속도로 갱신되는 모달리티별 잠재 버퍼를 유지하고 액션 헤드가 이를 지속적으로 읽으며, 사전학습된 백본을 그대로 보존하면서 게이트 크로스-어텐션을 통해 새로운 고주파 모달리티를 통합한다. 7개의 접촉이 풍부한 실세계 조작 작업에 걸쳐, DAM-VLA는 가장 강력한 동기식 기준선의 평균 성공률을 두 배 이상 능가하며(95.2% 대 40.95%), 부드럽고 반응적인 100Hz 제어를 유지한다. 프로젝트 웹사이트: intuitive-robots.github.io/DAM-VLA/

arXiv:2606.11743v1cs.RO

TacCoRL: 시뮬레이션을 통한 비전-언어-행동(VLA) 모델로의 촉각 피드백 통합

TacCoRL: Integrating Tactile Feedback into VLA via Simulation

비전-언어-행동(VLA) 모델은 로봇 조작을 위해 강력한 시각, 언어, 행동 사전(priors)을 제공하지만, 시각적 관찰만으로는 접촉 중심 작업에 필요한 국부적 접촉 상태를 파악하지 못하는 경우가 많습니다. 본 논문에서는 TacCoRL을 소개합니다. 이는 확장 가능한 프레임워크로, 대규모 촉각 사전학습이나 광범위한 실제 환경 접촉 탐험 없이 VLA 정책에 촉각 피드백을 주입하고 시뮬레이션-실제 공동 학습(sim-real Co-training)과 시뮬레이션 기반 강화학습(RL)을 통해 이를 개선합니다. 핵심 아이디어는 단순히 촉각을 입력으로 추가하는 것이 아니라, 시연(demonstrations)에서는 드물고 하드웨어에서 수집하기 위험한 실패 직전 상태(near-failure states)에서 접촉 판독값이 행동 반응을 어떻게 조절해야 하는지 학습하는 것입니다. 우리는 접촉 상호작용을 위한 폐루프 학습 환경으로 실제 환경과 정렬된 시뮬레이터를 사용합니다. 혼합된 시뮬레이션 및 실제 궤적이 사전학습된 정책 내에서 촉각 조건부 행동을 먼저 초기화(warm-start)합니다. 검증 가능한 작업 보상을 사용하는 강화학습은 이후 시뮬레이션된 접촉 롤아웃을 사용하여 정책을 최적화합니다. 이는 작업 완료로 이어지는 촉각 조건부 행동을 강화하며, 실제 궤적에 대한 지도 학습 목적 함수는 정교화된 정책이 배포 시의 시각, 촉각 및 행동 분포에 고정(anchored)되도록 유지합니다. 결과적으로 생성된 정책은 특권적 시뮬레이션 상태나 온라인 실제 환경 강화학습 없이 실제 로봇으로 직접 전이됩니다. 네 가지 양손 접촉 중심 작업에서 최종 시각-촉각 정책은 기준선(baseline)인 50.0%에 비해 평균 72.5%의 성공률을 달성했습니다. 결과 영상과 자세한 내용은 https://tac-corl.github.io/ 에서 확인할 수 있습니다.