PyTorchKR Papers

최신 논문

총 309편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.01794v1cs.CV

근전도 및 시각적 작업 기술자 증강을 통한 VLA의 연속적 조건화

Continuous Conditioning of VLAs with Augmenting EMG and Visual Task Descriptors

비전-언어-행동(VLA, Vision-Language-Action) 모델은 멀티모달 입력을 지원함에도 불구하고 작업 정보를 설명할 때 언어에 크게 의존합니다. 본 논문에서는 상태 공간의 다른 모달리티가 보조적인 작업 조건화(task conditioning) 기회를 제공할 수 있으며, 이는 복잡하거나 모호한 장면에서 특히 유용할 수 있다는 가설을 세웁니다. 이 가설을 검증하기 위해 두 가지 튜닝된 모델을 소개합니다. (1) 8채널 근전도검사(EMG) 포락선을 고유수용성 벡터에 연결된 연속적 조건화 입력으로 통합한 전기생리학 조건화 VLA(EC-VLA)와 (2) 이미지 입력에 시각적 분할(segmentation) 주석을 결합한 시각 주석 VLA(VA-VLA)입니다. 3명의 참가자를 대상으로 평가한 큐브 선택 작업에서, EC-VLA는 어수선하지 않은 분포 내(in-distribution) 조건에서는 언어 프롬프트 기반의 기준선(baseline)과 동등한 성능을 보였으며, 복잡한 분포 외(out-of-distribution) 장면에서는 기준선을 크게 능가했습니다. 마찬가지로 VA-VLA는 분포 내 장면에서 언어 프롬프트 기준선 대비 소폭의 개선을 보였고, 복잡한 분포 외 실험에서는 상당한 성능 향상을 나타냈습니다. 이러한 결과는 언어를 넘어선 작업 조건화의 잠재적 이점에 대한 강력한 증거를 제공합니다.

arXiv:2610.01741v1cs.CV

ATI-VLA: 실행 가능한 정렬 및 적응형 주입 기반의 행동 중심 예측 비전-언어-행동 모델

ATI-VLA: Action-Centric Predictive Vision-Language-Action Models via Actionable Alignment Then Adaptive Injection

예측 비전-언어-행동(VLA, Vision-Language-Action) 모델은 미래 관측이나 세계 동역학(world dynamics) 예측을 통해 로봇 조작 성능을 향상시키는 것을 목표로 합니다. 그러나 기존 접근 방식들은 종종 이러한 잠재력을 실현하지 못하며, 직접 행동 예측 모델보다 낮은 성능을 보입니다. 본 논문에서는 이러한 한계가 관측과 행동 간의 모달리티 불일치(modality misalignment)와 학습을 행동 중심 목표로부터 멀어지게 만드는 결합 최적화 충돌에서 기인한다고 주장합니다. 이를 위해, 실행 가능한 정렬 후 적응형 주입(Actionable Alignment Then Adaptive Injection)을 적용한 행동 중심 예측 비전-언어-행동 프레임워크인 ATI-VLA를 제안합니다. 구체적으로, 이 프레임워크는 다음과 같은 2단계 설계를 따릅니다: 1) 공유 코드북을 통한 실행 가능한 표현 정렬. 통합 코드북을 통해 두 모달리티를 공유 이산 잠재 공간(discrete latent space)에 매핑함으로써 예측 관측 및 행동 표현을 정렬하며, 이를 통해 예측 관측 잠재 변수를 행동 생성에 즉시 활용 가능하게 만들고 모달리티 불일치를 완화합니다. 2) 예측 잠재 변수의 행동 중심 적응형 주입. 이를 바탕으로 경량 적응형 사이드 패스를 통해 예측 관측 잠재 변수를 명시적 예측 사전 정보(prior)로서 행동 디코딩 과정에 주입함으로써, 단일 행동 중심 목표 아래에서 적응형 예측 유도를 가능하게 합니다. 시뮬레이션 및 실제 로봇 작업 전반에 걸친 광범위한 실험을 통해 ATI-VLA가 더 빠른 수렴 속도와 함께 최고 수준(state-of-the-art)의 성능을 달성함을 입증합니다.

arXiv:2610.00981v1cs.RO

NarrativeFlow: 로봇 속도장을 활용한 흐름 기반 비전-언어-행동 모델

NarrativeFlow: Flow-Based Vision-Language-Action Model Using Robot Velocity Fields

본 연구에서는 로봇 플로우(로봇 속도장)가 여러 로봇 플랫폼에서 수집된 데이터를 활용하기 위한 임베디먼트 독립적(embodiment-agnostic)이자 동작 중심의 표현으로 기능하는 언어 조건부 흐름 기반 조작에 주목합니다. 언어 조건부 조작은 실용적인 로봇 시스템에 필수적이지만, 로봇 파운데이션 모델(foundation model)의 스케일링(scaling)은 특정 임베디먼트 데이터 수집에 많은 노동력이 소요된다는 점으로 인해 여전히 제한되어 있어 이 과제는 매우 중요합니다. 기존 방식들은 희소한 키포인트 변위로 로봇 플로우를 대략적으로 근사하거나, 언어 조건부 조작을 다루지 못합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 언어를 조건으로 하는 플로우 매칭(flow-matching) 정식화를 사용하여 로봇 플로우를 연속적인 속도장으로 모델링하는 NarrativeFlow를 제안합니다. 이에 따라 NarrativeFlow는 실제 세계의 조작과 물리적으로 일관된 로봇 플로우를 생성합니다. NarrativeFlow를 검증하기 위해 언어 조건부 조작 표준 데이터셋에서 실험을 수행했습니다. 실험 결과, NarrativeFlow는 표준 평가 지표에서 대표적인 기준선(baseline) 방법들보다 우수한 성능을 보였습니다. 나아가 실제 세계 실험을 통해 NarrativeFlow가 여러 조작 작업 전반에서 기준선 방법들보다 더 높은 성공률을 달성함을 보입니다. 프로젝트 페이지는 https://shota0520.github.io/NarrativeFlow-project-page/ 에서 확인할 수 있습니다.

arXiv:2610.00878v1cs.RO

UniTrackPLA: 지시어 기반 내비게이션 및 동적 인물 추적을 위한 통합 파노라마-언어-행동 모델

UniTrackPLA: Unified Panorama-Language-Action Model for Instruction-Guided Navigation and Dynamic Person Tracking

범용 체화 로봇(embodied robot)은 언어로 지정된 목적지로의 내비게이션과 임의의 초기 목표 방위각에서의 동적 인물 추적을 모두 지원해야 합니다. 그러나 기존 방법들은 일반적으로 전방 관측에 의존하며 이러한 과제들을 별도의 정책으로 다루기 때문에, 전방위 인식과 통합된 폐루프(closed-loop) 제어가 제한됩니다. 본 논문에서는 지시어 기반 내비게이션 및 동적 인물 추적을 위한 통합 파노라마-언어-행동 모델인 UniTrackPLA를 제시합니다. 본 모델의 파노라마 인지 인코딩(PAE)은 각 파노라마에서 투영된 원근 뷰의 시간적 및 방위각 구조를 보존하여, 원근 기반으로 사전학습된 시각 인코더가 전방위 관측을 처리할 수 있도록 지원합니다. 공유 비전-언어(vision-language) 백본은 파노라마 맥락 내에서 지시어를 그라운딩(grounding)하고 두 과제 모두에 대해 연속적인 로봇 중심 경유지 덩어리(waypoint chunks)를 예측합니다. 나아가 월드-행동 일관성(WAC)은 행동 조건부 미래 시각 상태를 예측하고 경유지 접두사를 온라인으로 검증하여, 신뢰할 수 있는 행동을 재사용하는 동시에 불일치 발생 시 재계획을 트리거합니다. 또한 5,000개의 시뮬레이션 추적 궤적, 10,000개의 시뮬레이션 VLN 경로, 96개의 검증된 실제 환경 경로로 구성되어 919,978개의 경유지 지도 인스턴스를 제공하는 OmniTrackNav-Bench를 소개합니다. UniTrackPLA는 전반적인 추적 SR을 23.50%에서 35.00%로, Omni-VLN SR/SPL을 13.00%/12.77%에서 19.75%/19.29%로 향상시킵니다. 76개의 실제 환경 경로를 통합하면 보류된(held-out) [email omitted] 42.92%에서 92.08%로 더욱 향상됩니다. Go2-W 로봇을 활용한 폐루프 실험을 통해 실내외 환경 전반에 걸친 통합 파노라마 추적 및 내비게이션 성능을 입증합니다. 프로젝트 페이지는 https://tw5775.github.io/UniTrackPLA 에서 확인할 수 있습니다.

arXiv:2609.32193v2cs.CV

Devol-ONE: 비전-언어-행동과 잠재 월드 모델링을 통합하는 단일 자기회귀 트랜스포머 혼합 모델

Devol-ONE: One Autoregressive Mixture of Transformers to Unify Vision-Language-Action and Latent World Modeling

비전-언어-행동(Vision Language Action, VLA) 모델은 후보 행동에 따라 장면이 어떻게 진화하는지에 대한 명시적인 고려 없이, 현재의 시각 및 언어 컨텍스트에 직접 행동을 조건화합니다. 월드 행동 모델(World Action Models, WAM)은 미래 상태를 예측함으로써 이러한 한계를 해결하고자 하지만, 기존 설계는 픽셀 공간 비디오 생성을 통하든 정책과 독립적으로 학습된 잠재 예측 모듈을 통하든 예측 출력만을 통해 연결할 뿐, 예측과 정책 학습을 아키텍처적으로 분리된 상태로 유지합니다. 본 논문에서는 단일 자기회귀 프레임워크 내에서 비전-언어 이해, 잠재 월드 다이내믹스 예측, 행동 생성을 통합하는 트랜스포머 혼합(Mixture of Transformers) 아키텍처인 Devol-ONE을 제시합니다. Devol-ONE은 비전-언어 토큰을 한 번 인코딩하여 행동 전문가에게 전달하는 대신, 비전-언어 스트림과 V-JEPA 사전학습 다이내믹스 스트림 전반에서 공동으로 자기회귀 예측을 수행하며, 모든 층(layer)에서 비전-언어 키-값(KV) 캐시에 어텐션(attention)하여 언어 가이드에 따라 미래의 잠재 상태를 예측합니다. 결과적으로 행동 전문가는 사전에 계산된 고정된 표현이 아니라, 시맨틱 추론과 예측된 물리적 다이내믹스에 의해 지속적으로 형성됩니다. LIBERO, LIBERO-PLUS, RoboTwin2.0에 대한 광범위한 실험과 함께 Flexiv 단일 암 및 듀얼 암 환경에서의 실제 환경 평가가 수행되었습니다. 절제 연구(ablation study)는 다이내믹 스트림 예측과 층별 통합 어텐션의 효과를 보여주어 우리 모델(model) 아키텍처의 일관성을 검증합니다.

arXiv:2601.22153v2cs.RO

DynamicVLA: 동적 물체 조작을 위한 비전-언어-행동 모델

DynamicVLA: A Vision-Language-Action Model for Dynamic Object Manipulation

동적 물체를 조작하는 것은 비전-언어-행동(VLA, Vision-Language-Action) 모델에 여전히 미해결 과제로 남아 있습니다. 최근 VLA 모델들이 정적 조작에서는 우수한 일반화 성능을 보이지만, 동적 장면에서는 지연 시간으로 인한 인식-실행 불일치(latency-induced perception-execution mismatch)가 발생합니다. 즉, 추론(inference) 중에 물체의 상태가 계속 변화하여 과거 관측을 기반으로 예측된 행동이 실행 시점에는 유효하지 않게 됩니다. 본 연구에서는 동적 물체 조작을 위한 지연 시간 인지형 VLA 모델인 DynamicVLA를 제안합니다. 이 모델은 효율적인 멀티모달 추론을 위해 소형 0.4B 구조와 합성곱 비전 인코더를 결합하고, 논블로킹(non-blocking) 제어를 위해 추론과 실행을 중첩하는 연속 추론 일정을 적용합니다. 이후 지연 인지형 액션 스트리밍(Latent-aware Action Streaming)을 통해 지연 시간으로 인해 무효화된 행동 접두사를 폐기하고 각 예측 청크에서 시간적으로 유효한 접미사만 실행함으로써 동적 물체 움직임 속에서도 행동-시간 정렬을 유지합니다. 동적 조작 데이터의 부족한 기반을 채우기 위해, 2.8K개 장면과 206개 물체에 걸쳐 200K개의 합성 에피소드를 수집하고 원격 조작(teleoperation) 없이 2K개의 실제 환경 에피소드를 빠르게 수집할 수 있는 자동화된 수집 파이프라인으로 구축된 DOM(Dynamic Object Manipulation) 벤치마크를 도입합니다. 시뮬레이션 및 실제 로봇을 통한 광범위한 평가 결과, DynamicVLA가 변화하는 물체 움직임, 높은 인지 능력을 요하는 지시, 미확인 움직임 패턴 환경에서 동적 조작 성공률을 향상함을 입증합니다.

arXiv:2511.06754v4cs.RO

SlotVLA: 로봇 조작에서의 객체-관계 표현 모델링을 향하여

SlotVLA: Towards Modeling of Object-Relation Representations in Robotic Manipulation

인간이 개별 객체와 그 관계에 대해 추론하는 방식에서 영감을 받아, 우리는 간결한 객체 중심(object-centric) 및 객체-관계 중심 표현이 다중 작업(multitask) 로봇 조작의 기반이 될 수 있는지 탐구한다. 기존의 대다수 로봇 다중 작업 모델은 객체와 배경 신호를 모두 뒤섞은 밀집 임베딩(dense embedding)에 의존하며, 이는 효율성과 해석 가능성 모두에 대한 우려를 제기한다. 이와 대조적으로, 우리는 보다 구조화되고 효율적이며 설명 가능한 시각운동 제어(visuomotor control)로 나아가는 경로로서 객체-관계 중심 표현을 연구한다. 우리의 기여는 두 가지이다. 첫째, 로봇 조작에서 객체-관계 추론을 가능하게 하고 평가하기 위해 설계된 세밀한(fine-grained) 벤치마크 데이터셋인 LIBERO+를 소개한다. 기존 데이터셋과 달리, LIBERO+는 박스(box) 및 마스크(mask) 수준의 레이블과 인스턴스 수준의 시간적 추적(temporal tracking)으로 시연(demonstration)을 보강하는 객체 중심 주석을 제공하며, 이를 통해 간결하고 해석 가능한 시각운동 표현을 지원한다. 둘째, 행동 디코딩을 위해 객체와 그 관계를 모두 포착하는 슬롯 어텐션(slot-attention) 기반 프레임워크인 SlotVLA를 제안한다. 이 프레임워크는 일관된 시간적 객체 표현을 유지하기 위한 슬롯 기반 시각 토크나이저(visual tokenizer), 작업과 관련된 임베딩을 생성하는 관계 중심 디코더, 그리고 이러한 임베딩을 실행 가능한 행동으로 변환하는 LLM 기반 모듈을 사용한다. LIBERO+에서의 실험은 객체 중심 슬롯 및 객체-관계 슬롯 표현이 필요한 시각 토큰(visual token)의 수를 크게 줄이면서도 경쟁력 있는 일반화 성능을 제공함을 보여준다. LIBERO+와 SlotVLA는 함께 객체-관계 중심 로봇 조작을 발전시키기 위한 간결하고 해석 가능하며 효과적인 기반을 제공한다.

arXiv:2609.27747v1cs.RO

언어는 줄이고 잠재 표현은 늘리다: 주행을 위한 어노테이션 효율적 VLA

Less Language, More Latents: Annotation-Efficient VLAs for Driving

비전-언어-행동 모델(VLA)은 사람이 조향할 수 있는 자율주행을 가능하게 할 것으로 기대되지만, 학습은 자연어 지시문과 짝지어진 프레임이 부족하다는 점에서 병목을 겪습니다. 카메라 스트림과 전문가 궤적은 대규모로 기록되는 반면, 언어 어노테이션(예: 교차로에서 좌회전)은 여전히 부족하고 확보하는 데 비용이 많이 듭니다. 이 문제를 해결하기 위해 우리는 풍부한 비라벨 관측-궤적 쌍을 언어 조건부 제어의 기반으로 변환하는 3단계 파이프라인인 Latent Action Driving Annotations(LADA)를 제안합니다. 첫째, 벡터 양자화(vector-quantised) 병목을 가진 잠재 행동 모델(latent action model)을 학습하여 상위 수준의 차량 의도를 담은 간결한 코드북을 만듭니다. 둘째, 언어 어노테이션이 있는 소규모 부분집합을 사용해 관측과 언어 지시문을 이 코드북으로 매핑하는 비전-언어 번역기를 학습합니다. 셋째, 라벨이 없는 전체 코퍼스에 대해 관측-잠재 행동 쌍으로 주행 VLA를 학습합니다. LADA는 언어 어노테이션의 5% 미만만 사용하고 보조적인 사고의 연쇄(chain-of-thought) 추론이나 시각 질의응답 스트림을 전혀 활용하지 않으면서도, 폐루프(closed-loop) Bench2Drive 벤치마크에서 Driving Score 87.98, Success Rate 70.46%를 달성하여 완전 지도학습 기반 베이스라인과 대등하거나 이를 능가합니다.

arXiv:2609.19878v2cs.LG

Uni-LaDiR: 잠재 확산을 통한 멀티모달 추론의 통합

Uni-LaDiR: Latent Diffusion Unifies Multimodal Reasoning

멀티모달 추론은 모델이 전체 추론 과정에 걸쳐 여러 모달리티의 정보를 활용하도록 요구합니다. 그러나 기존 방식들은 흔히 모달리티별 사고 토큰(thought token)들을 단일 시퀀스로 단순 연결(concatenate)하여, 모델이 모달리티 간 추론을 수행할 때 표현 간의 차이를 직접 메우도록 남겨둡니다. 본 논문에서는 이러한 사고들을 추론을 위한 공유 잠재 공간(shared latent space)으로 통합하는 프레임워크인 Uni-LaDiR(Unified Latent Diffusion Reasoner)을 소개합니다. 통합된 인코더는 서로 다른 모달리티의 교사(teacher) 추론 단계를 공유 사고 토큰으로 매핑하며, 이후 추론 단계 및 최종 답변이나 행동에 필요한 정보를 보존하도록 학습(training)됩니다. 동일한 문맥에서도 유효한 다음 단계가 여러 개 존재할 수 있으므로, 본 연구에서는 확산(diffusion) 모델을 사용하여 입력과 선행 블록으로부터 다음 사고 토큰 블록을 예측합니다. 모델 가중치를 공유하여 인코더와 확산 추론기(diffusion reasoner)를 결합 학습함으로써 사고 토큰이 태스크에 유용하면서도 가용한 문맥으로부터 예측 가능하도록 유도합니다. 추론(inference) 시 모델은 교사의 관측 없이도 이러한 토큰들을 생성합니다. 11개의 비전-언어 모델(VLM) 벤치마크와 2개의 비전-언어-행동(VLA) 스위트에 걸쳐, Uni-LaDiR은 평가된 가장 강력한 베이스라인 대비 시각적 추론 태스크에서 7.3%, 로봇 조작(robot manipulation) 태스크에서 6.1%의 상대적 성능 향상을 달성했습니다.

arXiv:2607.14236v2cs.RO

힘을 위해 늦은 때는 없다: 반응형 힘 주입으로 VLA 사후 학습 가속

Never Too Late for Force: Accelerating VLA Post-Training with Reactive Force Injection

사전학습된 비전-언어-행동(VLA) 정책은 강력한 언어 조건화 조작 지식을 제공하지만, 대체로 비전 중심으로 남아 있으며 조작이 장면이 가려지거나, 깊이가 모호하거나, 작은 힘 오류가 실행을 오프라인 시연 분포 밖으로 밀어내는 접촉 상태에 들어서면 어려움을 겪을 수 있다. 우리는 LIFT(Late Reactive Injection of Force for VLA Post-Training, VLA 사후 학습을 위한 늦은 반응형 힘 주입)를 제안한다. 이는 사전학습된 VLA 정책에 일반적인 조작 지식을 보존하면서 접촉 반응성을 추가하는 힘 인지 사후 학습 프레임워크이다. LIFT는 원래 행동 전문가 옆에 반응형 행동 전문가를 접합하고, 사전학습된 행동 가중치로 이를 초기화하며, 인과적 힘 메모리와 영으로 초기화된 크로스 어텐션을 통해 최근 6D 엔드 이펙터 힘을 주입하여 실행 중 행동을 갱신할 수 있게 한다. 정책 의존적 접촉 피드백의 분포 이동을 해결하기 위해, LIFT는 반응형 힘 주입을 오프라인 과제 정렬 데이터와 사람이 수정한 온라인 롤아웃의 혼합으로 학습하는 온라인 DAgger 루프와 추가로 결합한다. 수건 접기, 책 삽입, 하노이 링 배치 전반에 걸쳐 LIFT는 비전 전용 사후 학습보다 더 빠르게 학습하고 더 높은 성능에 도달하며, ablation은 반응형 힘 메모리와 온라인 교정 데이터가 모두 견고한 접촉 풍부 조작에 중요함을 보여준다. 코드는 https://github.com/y-wng/lift 에서 공개적으로 이용 가능하다.

arXiv:2609.27780v1cs.RO

비전-언어 로봇 조작에서 퓨샷 일반화를 위한 작업-프로토타입 유도 플로우 매칭

Task-Prototype Guided Flow Matching for Few-Shot Generalization in Vision-Language Robot Manipulation

비전-언어 로봇 조작 정책은 의미적 지시를 따를 수 있지만, 소수의 시연만으로 새로운 절차에 적응하는 것은 언어가 접촉 시점, 동작 단계, 교정 행동, 실행 스타일을 충분히 명시하지 않기 때문에 여전히 어렵다. 본 논문은 지원(support) 시연을 구조화된 작업-프로토타입 토큰으로 변환하고 이를 초기 플로우 사전분포와 속도장 모두를 유도하는 데 사용하는 퓨샷 조작 프레임워크인 Task-Prototype Guided Flow Matching(TP-Flow)을 제안한다. TP-Flow는 학습 가능한 쿼리를 갖춘 대칭 크로스-어텐션으로 단계 수준 프로토타입을 추출하고, 작업 적응형 초기 분포를 매개변수화하며, 게이트된 적응형 정규화를 통해 프로토타입 정보를 주입한다. 에피소드식 지원-쿼리 목적 함수와 프로토타입 대비 정규화로 학습하여, 학습 중 퓨샷 적응을 시뮬레이션하면서 방해 정보를 억제한다. LEROBOT-ARM-SO101 플랫폼에서 TP-Flow는 1-, 4-, 6-shot 설정에서 각각 66.8%, 79.6%, 82.1%의 성공률을 달성하였으며, 퓨샷 AUC는 75.5%이다. 1-shot에서 CFM, Pooled-Demo CFM, In-Context Flow 대비 각각 29.8, 14.5, 9.9 퍼센트포인트 향상을 보인다. 또한 새로운 객체 전이, 목표 재조합, 장기 지평 구성, 접촉/교정 작업에 걸친 보류(hold-out) 대상 그룹 일반화도 개선한다. TP-Flow는 6개의 온라인 프로토타입 토큰, 54.3 ms 지연, 3.9 GB 피크 메모리, 10 Hz 제어 주파수로 실시간 실행을 유지하면서, 노이즈가 있는 지원에서의 성공률 하락을 6.2%로 줄인다. 이론적 진단은 프로토타입 거리가 동작 분포 거리와 정렬되고, 적응형 사전분포가 수송(transport) 비용을 줄이며, 게이트 변조가 측정된 궤적 편차를 도출된 ODE 상한 이하로 유지함을 보여준다. 익명 심사를 위해 코드 저장소는 생략하였다.

arXiv:2609.27753v1cs.CV

AWM-VLA: 효율적이고 설명 가능한 비전-언어-행동 정책을 위한 정렬 세계 모델링

AWM-VLA: AlignedWorld Modeling for Efficient and Explainable Vision-Language-Action Policies

비전-언어-행동(VLA) 모델은 범용 로봇 조작을 위한 강력한 패러다임이 되었지만, 종종 반응적이다. 정책은 의사결정의 장기적 결과를 추론하지 않고 현재 관측을 행동 청크에 직접 매핑한다. 정책에 세계 모델을 부여하려는 기존 시도는 픽셀 공간에서 미래 프레임을 재구성하는 방식——비용이 크고 과업과 무관한 세부가 지배적——이거나, 세계 모델을 정책과 분리하여 제어를 약화시키는 방식이었다. 우리는 확산-트랜스포머 정책 내부에 정렬된 세계 모델링을 직접 내장하는 통합 프레임워크 AWM-VLA를 제안한다. Future Latent REpresentation Alignment(FLARE) 원칙에 따라, 학습 가능한 미래 토큰을 추가하고 그 중간 활성화를 미래 관측의 비전-언어 임베딩과 정렬하여, 정책이 행동을 생성하면서 장기적 결과를 예측할 수 있게 한다. 이 패러다임을 두 가지로 확장한다. 첫째, 전역 미래 임베딩과 함께 미래 객체 수준 의미를 예측하는 객체 중심 분리 정렬 목표를 도입하여 해석 가능성과 다중 지시 일반화를 모두 개선한다. 둘째, 원칙적인 가중치로 전역·객체 중심 정렬 항과 행동 flow-matching 손실의 균형을 맞춰, 제어 가능한 정확도–해석 가능성 트레이드오프를 얻는다. RoboCasa 및 휴머노이드 탁상 조작 벤치마크에서 AWM-VLA는 성공률 기준으로 기존 VLA 및 세계 모델 베이스라인을 최대 21% 능가하고, 새로운 객체와 지시에 대한 일반화를 개선하며, 인간 평가자가 83%의 경우에서 선호하는 객체 중심 근거를 생성한다. 본 접근은 정책에 학습 가능한 토큰 소수만 추가하며 임의의 확산이나 flow-matching 정책과 호환되어, 정렬된 세계 모델링을 범용 조작의 저비용·광범위 적용 가능한 구성요소로 만든다.

arXiv:2609.27468v1cs.CV

CereVLA: 효율적인 비전-언어-행동 실행을 위한 소뇌 영감 결과 인지 잔차 제어

CereVLA: Cerebellum-Inspired Consequence-Aware Residual Governance for Efficient Vision-Language-Action Execution

행동 청크 기반 비전-언어-행동(VLA) 정책은 추론 효율성을 향상하지만, 확정된 행동 청크 내의 제한된 피드백으로 인해 실행 오류가 누적될 수 있습니다. 잔차 적응(residual adaptation)은 VLA를 재학습하지 않고도 이러한 편차를 교정할 수 있지만, 기존의 교정 방식은 다운스트림 결과를 명시적으로 고려하지 않고 참조 행동 일관성에 맞춰 최적화되는 것이 일반적입니다. 이러한 한계를 해결하기 위해, 우리는 동결된 VLA 실행에 경량 잔차 개선과 예측적 결과 평가를 통합한 통합 프레임워크인 소뇌 영감 결과 인지 잔차 제어(CereVLA)를 제시합니다. 먼저 플로우 기반 잔차 개선을 통해 교정 행동을 생성한 후, 순환 상태 공간 모델과 이력 인지 분류기를 통해 단기 및 구간 단위 시계(interval-horizon)의 결과를 평가합니다. 바람직하지 않은 것으로 예측된 잔차 교정은 경량 거버너(governor)에 의해 선별적으로 억제됩니다. LIBERO-10 및 LIBERO-GOAL에서 최신 기법들과 비교하여 CereVLA의 효과를 입증합니다. SO-101에서 CereVLA는 동결된 SmolVLA 기준선 대비 작업 성공률을 57.5%에서 90.0%로 향상하고, 성공한 시도들에서 평균 제어 스텝을 19.6% 줄입니다.

arXiv:2609.13984v2cs.RO

효율적인 VLA를 만드는 요소는 무엇인가? 액션 헤드 설계, 스케일링, 지연시간

What Makes an Efficient VLA? Navigating Action-Head Design, Scaling, and Latency

비전-언어-행동(VLA) 모델은 사전학습된 비전 인코더, 언어 백본, 액션 헤드를 결합하지만, 통제된 지연시간-쌍(latency-paired) 조건에서 각 구성 요소의 상대적 기여는 확립되지 않았다. 우리는 백본 계열(SigLIP2 및 Qwen2.5)과 학습 파이프라인을 고정하고, 액션 헤드 설계와 모듈 규모를 sweep하며, 각 구성을 측정된 온디바이스 지연시간과 짝짓는다. 연구는 세 가지 발견을 낳는다. 첫째, 액션 헤드 성능은 디코더 아키텍처, 손실, 또는 추론 예산보다 주로 초기화에 의해 좌우된다. 언어 백본의 마지막 트랜스포머 레이어를 헤드로 복사하는 것이 지연시간 비용 없이 단일 최대 레버이며, 모든 모듈 규모에서 도움이 되는 유일한 축이다. 정렬(alignment) 또한 다른 축들을 설명한다. flow matching과 더 무거운 디코더는 헤드가 정렬되지 않았을 때만 이득이 있고 정렬되면 역전되며, 추가 추론 패스는 측정 가능한 이득을 주지 않는다. 표현력(expressiveness)은 부족한 정렬을 대체하는 것으로 보인다. 우리는 이를 표현 전환(representation transfer)으로 해석한다. 정렬된 헤드는 지시문의 객체 명사에 계속 어텐션(attention)하고, 처음부터 행동을 재학습하기보다 가중치 공간에서 백본에 가깝게 유지된다. 정렬에 초기화를 통해서만 도달하기 때문에, 우리는 이를 입증된 원인이 아니라 측정값을 가장 잘 정리하는 설명으로 제시하고, 이를 확정할 통제 실험을 명명한다. 둘째, 용량(capacity)은 정렬 이후에만 효과가 있다. 정렬된 액션 헤드는 스케일링할 때 수익률이 가장 높은 모듈이다. 셋째, 그 수익은 오늘날 $\pi$-계열 VLA가 이미 사용하는 규모 근처에서 급격히 감소하므로, 더 키우는 것은 그 지연시간 대비 in-domain 정확도에서 거의 이득을 주지 않는다. 이를 바탕으로 EffVLA를 제안한다. EffVLA는 표준 LIBERO에서 최강 오픈소스 VLA와 맞먹는 소형 모델로, 더 낮은 지연시간으로 LIBERO-Plus 교란(perturbation) 축 대부분에서 선두이며, 레시피를 바꾸지 않고 실제 SO-ARM101 암에 전이된다.

arXiv:2609.28256v1cs.RO

MemBodied: 비전-언어-행동 모델을 위한 순환 연상 기억

MemBodied: Recurrent Associative Memory for Vision-Language-Action Models

비전-언어-행동 모델은 범용 로봇 제어를 위한 강력한 기반을 제공하지만, 정책의 대다수는 현재 관측을 넘어 에피소드 수준 정보를 보존하고 활용하지 못한다. 이 한계는 과거 관측에서만 얻을 수 있는 정보에 의존하는 이력 의존 조작 과제에서 중요한 문제가 된다. 과거 관측을 컨텍스트에 유지하면 이러한 정보를 복원하는 데 도움이 될 수 있지만, 컨텍스트가 계속 커지고 추론 지연이 커지는 큰 비용이 따른다. 따라서 MemBodied를 제안한다. 이는 고정 크기의 에피소드 기억으로, 두 가지 상보적 구성요소를 갖는다. 정책 호출 전반의 상호작용을 기록하는 연상 상태(associative state)와 초기 장면의 간결한 표현을 기준으로 보존하는 에피소드 앵커(episode anchor)이다. 각 정책 호출마다 모델은 과거 관측을 직접 사용하는 대신, 현재 입력과 기억 구성요소에 조건부로 행동 생성을 수행한다. 기억이 필요한 RMBench 5개 과제에서 MemBodied는 무상태 정책의 평균 성공률의 $7.81\times$, 일반 순환 기억의 $2.98\times$를 달성했으며, 가장 강한 기억 증강 기준선보다 $1.3\times$ 우수하면서 추가 파라미터는 $10\times$ 더 적다. 완전 관측 가능한 LIBERO-Long 스위트에서는 90.6%를 기록했으며, 무상태 $\pi_0$ 정책 대비 5.4%p 향상이다. 이 결과는 이력 의존 조작에서 정책 컨텍스트를 확장하는 대신 MemBodied가 실용적 대안임을 뒷받침한다.

arXiv:2609.27734v1cs.RO

InfiNoVA: 시점 불변 로봇 정책을 위한 무한 신규 시점 증강

InfiNoVA: Infinite Novel View Augmentation for Viewpoint Invariant Robot Policies

비전-언어-행동(VLA) 정책은 학습 중 관측한 카메라 시점에 크게 의존하는 경우가 많아, 보지 못한 시점에서 배포할 때 성능이 크게 저하된다. 충분히 다양한 물리적 시점에서 시연을 수집하는 것은 비용이 많이 들며, 시점 공간에 대한 커버리지도 여전히 희소하게만 제공한다. 본 논문은 동기화된 다중 카메라 시연을 기하학적으로 일관된 학습용 시점의 밀집 분포로 변환하는 데이터 증강 프레임워크인 InfiNoVA를 제안한다. InfiNoVA는 각 조작 궤적을 시간에 따라 변하는 3D Gaussian 표현으로 재구성하고, 원래 상태-행동 대응을 유지한 채 샘플링된 카메라 자세에서 신규 관측을 렌더링한다. 이러한 명시적 장면 표현은 생성적 신규 시점 합성에서 관찰되는 과업 핵심적 환각(hallucination)을 줄이면서 프레임 수준 충실도와 시간적 일관성을 향상시킨다. 네 가지 실세계 조작 과제에서 InfiNoVA로 학습한 정책은 VISTA 기반 증강과 증강하지 않은 정책 모두에 비해 보지 못한 무작위 시점에서 평균 성공률이 5.4배 높다. InfiNoVA는 다섯 개의 물리적 카메라 시점 모두에서 직접 학습한 경우보다도 1.7배 높은 성공률을 추가로 달성한다. 이러한 결과는 밀집하고 기하학적으로 그라운딩(grounded)된 시점 증강이 기본 정책 아키텍처를 수정하지 않고도 카메라에 강건한 로봇 정책을 향한 실용적인 경로를 제공함을 보여준다.

arXiv:2609.27450v1cs.RO

BEE: 비전-언어-액션 모델을 위한 개입 적응형 실세계 강화학습

BEE: Intervention-Adaptive Real-World Reinforcement Learning with Vision-Language-Action Models

비전-언어-액션(VLA) 모델은 장기 조작을 수행하지만, 성공 여부는 밀리미터 단위 오류가 그동안의 진행을 모두 무효화하는 소수의 정밀도가 중요한 구간에 달려 있다. 온라인 강화학습(RL)은 바로 이러한 동작을 최적화할 수 있으나, 실제 로봇에서 자유 탐험은 비용이 지나치게 커 인간의 교정이 필수적이다. 그러나 VLA용 기존 온라인 RL 방법은 이러한 교정을 반영하지 못하거나 구분 없는 지도로 흡수한다. 인간 교정은 전 구간에서 균일하게 노이즈가 있는 것이 아니라, 어떤 동작 차원에서는 신뢰할 수 있고 다른 차원에서는 변동이 크다. 이에 기반해 우리는 고정 VLA 위에서 실세계 RL을 수행하는 개입 적응형 프레임워크 BEE를 제안하며, 정책이 전문가 모방을 넘어(BEyond Expert imitation) 나아가도록 한다. 인간 교정을 재현할 동작이 아니라 제약에 대한 증거로 공식화하고, Correction Model이 주어진 VLA 제안에 대해 인간이 어떻게 교정할지와 각 동작 차원에서 교정이 얼마나 일관적인지를 예측한다. 이 일관성 예측이 정책 최적화 제약의 차원별 엄격도를 정한다. 교정이 일관적인 차원에서는 정책이 인간에 가깝게 유지되고, 변동이 큰 차원에서는 제약이 완화된다. 동일한 온라인 데이터 예산 하에서 BEE를 실세계 조작 과제 3개와 LIBERO-Pro 시뮬레이션 과제 1개에서 평가했다. BEE는 모든 과제에서 최고 성공률(평균 91.2%, RLT 57.5%, DSRL 42.1%)을 기록했으며, 모든 실세계 과제에서 인간 개입률이 가장 낮았다.

arXiv:2606.27163v3cs.RO

접기를 배우다: LeHome Challenge 2026 수상 솔루션 (온라인 1위, 오프라인 2위)

Learning to Fold: prizewinning solution at LeHome Challenge 2026 (1st place online, 2nd offline)

양손 의류 접기 ICRA 2026 LeHome Challenge에서 온라인 시뮬레이션 62팀 중 1위, 실세계 결승 2위를 기록했다. 강화학습(RL) 루프로 비전-언어-행동(VLA) 정책을 개선하며, 행동·성공·진행도를 동일 네트워크가 예측하는 자기 가치 함수 설계로 이득(advantage) 추정·실패 감지·후보 선택을 수행하고, flow-matching VLA용 AWR+RECAP, HuggingFace Hub 비동기 분산 학습, Thompson sampling 추론 튜닝, sim-to-real 데이터 수집 레시피를 함께 쓴다.

arXiv:2609.24433v1cs.RO

FoldQuantVLA: 일관된 폴딩을 통한 비전-언어-행동 모델의 네이티브 저비트 양자화

FoldQuantVLA: Native Low-Bit Quantization of Vision-Language-Action Models via Consistent Folding

저비트 비전-언어-행동(VLA) 추론은 로봇의 동작을 보존하면서 관측-행동 간 지연 시간을 줄여야 합니다. 본 논문에서는 캘리브레이션, 가중치 반올림, 네이티브 정수 실행 전반에 걸쳐 일관된 활성화 표현을 유지하는 사후 학습 양자화 프레임워크인 FoldQuantVLA를 제시합니다. 이는 정책 재학습 없이 채널 스케일링 및 블록 아다마르 변환을 동적 토큰별 양자화와 결합합니다. 커스텀 TensorRT 플러그인은 Ada GPU 및 Jetson AGX Orin 환경에서 언어 백본과 반복적 행동 전문가 모두의 프로젝션을 4비트 가중치 및 활성화(W4A4)로 실행합니다. 평가는 LIBERO, SimplerEnv 및 두 개의 로봇 플랫폼에 걸쳐 수행됩니다. 세 개의 GR00T 체크포인트와 $\pi_{0.5}$ 전반에서, W4A4는 부동소수점 TensorRT 대비 Orin에서 $1.20$~$1.33\times$, 데스크톱에서 $1.25$~$1.52\times$의 속도 향상을 달성합니다. 언어 어텐션 출력 및 피드포워드 다운 프로젝션을 8비트(W8A8)로 유지하면 네 개의 모든 체크포인트에서 미확인(held-out) 행동 충실도가 향상됩니다. 4개의 실제 로봇 작업 전반에서, 이 구성은 구성당 80회의 시험 동안 GR00T N1.7의 관측 성공률을 균일 W4A4의 $80.0\%$에서 $92.5\%$로 높였으며, 이때 Orin에서 측정된 추가 지연 시간은 1 ms에 불과했습니다.

arXiv:2609.23910v1cs.RO

ReVeal: VLA 정책 평가를 위한 재구성 인식 리얼-투-심 프레임워크

ReVeal: A Reconstruction-Aware Real-to-Sim Framework for VLA Policy Evaluation

시뮬레이션 기반 평가는 비전-언어-행동(VLA) 정책의 실세계 평가에 대한 확장 가능하고 반복 가능한 대안을 제공한다. 그러나 재구성 오류는 시뮬레이션에서의 정책 성능이 실세계 성능과 어긋나게 할 수 있어, 하류 VLA 정책 평가를 위해 재구성된 환경을 평가할 필요가 있다. 우리는 작업 공간 재구성, 재구성 수준 평가, 및 대응되는 폐루프(closed-loop) 정책 평가를 결합한 리얼-투-심 평가 프레임워크 ReVeal을 제안한다. Novel-View Mesh Fidelity(NVMF)와 Annotated Planar Geometry Fidelity(APGF)는 각각 관측 및 평면 기하학적 충실도(fidelity)를 평가한다. 또한 다시점 시각 단서가 제한적인 영역에서 기하를 개선하기 위해 단안 깊이 지도(monocular depth supervision)를 통합한 재구성 파이프라인 PGSR-D를 개발한다. 8개의 평가 장면에 걸쳐 NVMF와 APGF는 2DGS, PGSR, PGSR-D의 충실도를 일관되게 구별한다. 8개의 휴머노이드 조작 과제에 대한 GR00T, SmolVLA, pi0.5의 대응 평가는 파이프라인 전반에 걸쳐 재구성 충실도와 리얼-심 성능 일치 사이에 일관된 순서 관계를 보여준다. 평가 작업 공간에 대한 추가 분석은 더 높은 충실도가 더 강한 리얼-심 일치와 연관됨을 보여준다.