PyTorchKR Papers

최신 논문

총 309편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2509.19571v2cs.RO

에이전틱 장면 정책: Agentic Scene Policies

Agentic Scene Policies

다양한 언어 지시문과 물체에 걸쳐 제로샷(zero-shot)으로 일반화되는 로봇 정책을 설계하거나 학습하는 것은 로보틱스 분야의 핵심 과제입니다. 비전-언어-행동 모델(VLA)은 기존 비전-언어 모델(VLM)의 용도를 변경하여 이러한 정책을 엔드투엔드로 학습하지만, 새로운 지시문과 물체로의 일반화는 여전히 어려운 과제로 남아 있습니다. 대안으로는 명시적인 VLM 기반 3D 장면 표현과 모션 플래닝을 활용하여 모듈형 정책을 구현하는 방식이 있습니다. 모듈형 정책은 강력한 제로샷 잠재력을 보여주지만, 일반적으로 명시적인 공간 추론 없이 의미론(semantics)을 기반으로 물체를 검색하므로 전반적인 그라운딩(grounding) 능력이 심각하게 제한됩니다. 또한 기본적인 파지(grasping) 및 내비게이션 기술만을 사용하여 물체와 상호작용합니다. 본 연구에서는 장면-에이전트 도구 인터페이스를 통해 단일 에이전트 행동 공간 내에서 그라운딩 능력과 로봇 기술을 통합함으로써 이러한 한계를 해결합니다. 파트 수준 어포던스(affordance)를 활용하여 우리의 기술은 다양한 물체에 걸쳐 일반화되며 충전기 분리, 서랍 열기와 같은 제로샷 상호작용을 가능하게 합니다. 우리는 이 프레임워크를 Agentic Scene Policies(ASP)로 명명했습니다. 광범위한 실제 환경 실험을 통해 ASP가 제로샷 설정에서 선도적인 VLA보다 일관되게 우수한 성능을 발휘함을 보입니다. 또한 방 수준의 질의를 해결하기 위한 ASP의 모바일 버전을 도입하여 프레임워크의 확장성을 입증합니다. 더 많은 결과는 프로젝트 페이지(https://montrealrobotics.ca/agentic-scene-policies.github.io/)에서 확인할 수 있습니다.

arXiv:2505.12224v5cs.RO공식 코드 · Papers with Code

RoboFAC: 로봇 실패 분석 및 수정을 위한 포괄적 프레임워크

RoboFAC: A Comprehensive Framework for Robotic Failure Analysis and Correction

비전-언어-행동(Vision-Language-Action, VLA) 모델은 자연어 지시와 시각적 관측을 제어 행동으로 변환함으로써 최근 로봇 조작(robotic manipulation) 분야를 발전시켰습니다. 그러나 기존 VLA는 주로 성공적인 전문가 시연 데이터를 기반으로 학습(training)되어 실패 진단 및 복구를 위한 구조화된 지도(supervision)가 부족하며, 이는 개방형 환경(open-world) 시나리오에서의 강건성(robustness)을 제한합니다. 이러한 한계를 해결하기 위해 본 논문에서는 로봇 실패 분석 및 수정(RoboFAC) 프레임워크를 제안합니다. 시뮬레이션 및 실제 환경의 53개 장면에서 체계적으로 분류된 실패 유형과 함께 9,440개의 오류 조작 궤적과 78,623개의 QA 쌍으로 구성된 대규모 실패 중심 데이터셋을 구축합니다. 이 데이터셋을 활용하여 태스크 이해, 실패 분석 및 실패 수정을 전문으로 하는 경량 멀티모달 모델을 개발함으로써, 대규모 상용 모델과 견줄 만한 성능을 유지하면서도 효율적인 로컬 배포를 가능하게 합니다. 실험 결과에 따르면 RoboFAC은 GPT-4o 대비 34.1% 더 높은 실패 분석 정확도를 달성합니다. 나아가 실제 VLA 제어 파이프라인에 RoboFAC을 외부 감독자로 통합하여 4개 태스크 전반에서 29.1%의 상대적 성능 향상을 이끌어내는 동시에 GPT-4o 대비 지연 시간(latency)을 크게 줄였습니다. 이러한 결과는 RoboFAC이 체계적인 실패 진단 및 복구를 가능하게 하여 VLA 복구 능력을 크게 향상시킴을 입증합니다. 모델과 데이터셋은 https://github.com/MINT-SJTU/RoboFAC 에서 공개되어 있습니다.

arXiv:2607.09042v2cs.LG

VLA 강화학습을 위한 사후 경험 학습

Learning from Hindsight for VLA Reinforcement Learning

비전-언어-행동(VLA, Vision-Language-Action) 모델을 파인튜닝(fine-tuning)하기 위해 강화학습(RL)이 점점 더 널리 사용되고 있으나, 로봇 상호작용은 비용이 많이 들며 성공적인 롤아웃(rollout)이 드문 경우 학습의 샘플 효율성이 극도로 저하됩니다. 지시된 작업을 완료했을 때만 보상(reward)이 주어지면, 실패한 롤아웃은 해당 작업과 관련된 유의미한 행동을 성공적으로 수행했더라도 아무런 가치가 없는 것으로 취급됩니다. 예를 들어 올바른 물체를 그릇에 넣지 못한 로봇이라도 해당 물체를 그릇 쪽으로 이동시키거나 다른 물체를 그릇에 넣었을 수 있으며, 이는 목표 작업을 해결하는 데 재사용될 수 있는 물체와 행동을 보여줍니다. 이러한 행동은 정책(policy)이 이미 해결할 수 있는 보조 작업을 정의하며, 더 어려운 목표 작업을 해결하기 전에도 유용한 학습(training) 신호를 제공합니다. 본 논문에서는 이러한 실패를 추가적인 학습 신호로 전환하는 사후 경험 학습(LfH, $\textit{Learning from Hindsight}$)을 제안합니다. 사전학습된 비전-언어 모델(VLM)을 활용하는 LfH는 실패한 롤아웃을 실제로 달성한 행동으로 재라벨링하고, 지시된 작업과 이러한 보조 작업 모두에 대해 정책을 공동으로 학습시킵니다. 분포 외(OOD) LIBERO-PRO 조작 작업에서 LfH는 약 $5\times$ 적은 롤아웃으로 GRPO의 최종 성능과 일치하는 결과를 보였으며, 여러 VLA 백본 전반에서 샘플 효율성을 향상시켰습니다. 실제 Franka 로봇 실험에서 LfH는 160회의 학습 롤아웃 내에 성공률을 $0\%$에서 $56\%$로 끌어올린 반면, GRPO는 $22\%$에 도달하는 데 그쳤습니다.

arXiv:2607.02092v4cs.RO

Guided Action Flow: 동결된 비전-언어-행동 정책을 위한 가치 유도 샘플링

Guided Action Flow: Value-Guided Sampling for Frozen Vision-Language-Action Policies

강화학습(reinforcement learning)은 지도 미세조정(supervised fine-tuning)을 넘어 비전-언어-행동(VLA) 정책을 개선할 수 있지만, 일반적으로 정책 매개변수(parameter)에 대한 추가적인 업데이트를 수반합니다. 플로우 매칭(flow-matching) 정책의 경우, 반복적인 행동 생성은 추론(inference) 중에 태스크 정보를 통합할 수 있는 추가적인 기회를 제공합니다. 본 논문에서는 로봇 태스크 롤아웃(rollout)으로부터 소형의 관측 조건부 행동-가치 크리틱(action-value critic)을 학습하고, 역시간 플로우 샘플링을 유도하기 위해 해당 크리틱의 행동 그래디언트(gradient)를 적용하는 Guided Action Flow(GAF)를 소개합니다. 지도 미세조정된 VLA는 크리틱 학습 및 배포 전반에 걸쳐 동결된 상태로 유지됩니다. 실제 로봇 실험 결과, 6개의 기본 조작 태스크 전반에서 종합 성공률이 60.0%에서 82.5%로 증가함을 보였습니다. 이 중 3개 태스크에서 평가된 6가지 조명 변경 및 물체 방해 요인 조건에서는 종합 성공률이 34.2%에서 49.2%로 향상되었습니다. 소거 연구(ablation) 및 롤아웃 분석은 학습된 유도 방향과 크리틱의 시각 및 고유수용성 감각(proprioceptive) 입력의 중요성을 뒷받침합니다. 0.45B 매개변수의 VLA와 함께 약 2.735M개의 학습 가능한 크리틱 매개변수를 갖춘 GAF는 컴팩트한 추론 시점 유도 모듈을 통해 태스크 결과가 행동 생성에 반영될 수 있도록 지원합니다.

arXiv:2606.18043v2cs.RO

플로우 기반 범용 로봇 정책을 위한 불확실성 정량화

Uncertainty Quantification for Flow-Based Generalist Robot Policies

비전-언어-행동 모델(VLA) 및 월드-행동 모델(WAM)과 같은 범용 로봇 정책은 강력한 사전학습 백본과 대규모 로봇 데이터셋에서 플로우 매칭(flow matching)을 통해 학습된 표현력 높은 생성형 행동 헤드를 결합합니다. 로봇 조작 작업에서 뛰어난 실증적 성능에도 불구하고, 이러한 정책들은 예측에 대한 신뢰도를 정량화하고 행동의 신뢰성이 떨어지는 시점을 감지하는 메커니즘이 부족합니다. 이는 모델이 사전학습 분포를 벗어난 시나리오에 필연적으로 직면하고 경고 없이 실패할 수 있는 비정상(non-stationary) 환경의 실제 배포에서 중대한 한계로 작용합니다. 이를 해결하기 위해, 본 연구에서는 소규모 앙상블 간의 속도장 불일치(VFD, velocity-field disagreement)를 활용하여 플로우 매칭 모델의 인식론적 불확실성(epistemic uncertainty)을 정량화하는 효율적인 방법을 도출합니다. 저자들은 이 불확실성 추정치를 배포 중 실패 감지와 플로우 기반 범용 정책의 능동적 미세조정(active fine-tuning)에 성공적으로 활용합니다. 후자를 위해, 범용 정책을 새로운 작업에 적응시키는 데 필요한 고비용의 전문가 시연 데이터 수를 줄여주는 불확실성 유도 능동 멀티태스크 미세조정 방식인 간단하면서도 효과적인 SAVE를 제안합니다. 시뮬레이션과 실제 환경에서 VLA 및 WAM을 대상으로 실험을 수행했습니다. VFD는 다운스트림 성능을 예측하는 데 더 잘 보정된 불확실성 추정치를 제공하며, 기존 방식보다 전체 정확도가 8%p 더 높게 실패를 감지합니다. 세 가지 실제 환경 작업에서 SAVE는 고정된 시연 예산 내에서 최종 평균 성공률을 39%에서 47%로 향상시킵니다. 본 연구 결과는 VFD를 통해 인식론적 불확실성을 측정하는 것이 범용 로봇 정책의 실패 인지 능력과 적응성을 모두 향상함을 보여줍니다. 프로젝트 웹사이트: tum-lsy.github.io/uq_generalist_policies.

arXiv:2606.17011v2cs.RO

ROVE: 강화학습을 통해 휴머노이드 조작을 위한 인간 개입 활용하기

ROVE: Unlocking Human Interventions for Humanoid Manipulation via Reinforcement Learning

인간의 개입(human intervention)은 비전-언어-행동(VLA, Vision-Language-Action) 모델의 사후 학습에 결정적인 교정 신호를 제공합니다. 그러나 복잡한 전신 기구학과 정교한 손 제어로 인해 매끄러운 휴머노이드 개입을 구현하는 것은 상당한 시스템적 과제입니다. 결과적으로 수집된 개입 궤적은 최적이 아닌 경우가 많으며, 인간의 개입을 전문가 감독으로 간주하는 방식은 머뭇거리거나 비효율적이거나 심지어 오류가 있는 행동까지 흡수할 수 있습니다. 이러한 시스템 및 알고리즘적 문제를 모두 해결하기 위해, 본 논문에서는 불완전한 인간 개입을 활용하여 휴머노이드 VLA를 사후 학습하는 강화학습 프레임워크인 ROVE를 제안합니다. 첫째, ROVE는 휴머노이드 조작을 위한 배포 및 개입 데이터를 수집할 수 있는 인간 참여형(human-in-the-loop) 파이프라인을 도입합니다. 둘째, 낙관적 가치 추정(OVE, Optimistic Value Estimation)을 활용하여 다양한 품질이 혼재된 궤적에서 가치가 높은 행동의 우선순위를 정합니다. 가치 추정을 더욱 견고하게 만들기 위해 교차 임바디먼트(cross-embodiment) 인간 경험 비디오를 통합하여 롱테일 실패 및 복구 모드에 대한 풍부한 감독 정보를 제공합니다. 이를 통해 도출된 크리틱(critic)은 유익한 어드밴티지 신호를 생성하여, VLA 액터가 모든 행동을 무차별적으로 모방하는 대신 가치가 높은 행동에 집중하도록 유도합니다. 까다로운 실제 환경의 접촉 집약적이고 정밀한 휴머노이드 조작 태스크에서, ROVE는 경험 학습 베이스라인들을 능가하며 여러 번의 롤아웃-개입 반복 과정에 걸쳐 지속적으로 성능을 향상시킵니다.

arXiv:2610.03476v1cs.RO

MobiAgent: 장기 모바일 조작을 위한 이중 루프 재귀적 정책 자가 개선

MobiAgent: Dual-Loop Recursive Policy Self-Improvement for Long-Horizon Mobile Manipulation

장기(long-horizon) 모바일 조작은 복합적인 실행 오류와 이동(locomotion) 및 로봇 팔 제어 간의 용량 간섭(capacity interference)으로 인해 상당한 어려움을 야기합니다. 최근의 비전-언어-행동(VLA, Vision-Language-Action) 모델은 단기 태스크에는 뛰어나지만 다단계 목표에 필요한 계층적 추론 능력이 부족합니다. 게다가 기존의 계층적 에이전트는 경직된 하위 태스크 매핑, 유연하지 못한 재계획(replanning), 그리고 지속적인 학습의 부재로 어려움을 겪습니다. 이러한 한계를 해결하기 위해, 우리는 견고한 배포 실행과 재귀적 정책 자가 개선을 연결하는 이중 루프 에이전트 프레임워크인 MobiAgent를 소개합니다. 배포 중에 내부 루프(Inner Loop)는 구성 가능성이 높은 원자적 기술(atomic skills)을 통해 고차원 추론을 저수준 제어와 분리합니다. 이는 축소 지평 계획(receding-horizon planning)과 시각적 반추(visual reflection)를 위해 비전-언어 모델을 활용하며, 기술을 동적으로 구성하여 견고한 오류 복구를 보장합니다. 이러한 기술들은 통일된 VLM 백본을 공유하는 특화된 플로우 매칭(flow-matching) 전문가에 의해 실행되어 용량 간섭을 완화하는 동시에 재사용성을 극대화합니다. 동시에 외부 루프(Outer Loop)는 배포 롤아웃을 자율적으로 분할 및 검증하고, 이를 클러스터링하여 원자적 기술을 발견하며, 인간의 주석 없이 스킬 라이브러리를 지속적으로 미세조정함으로써 자동화된 평생 학습을 주도합니다. RoboCasa, BEHAVIOR-1K, 그리고 실제 환경 태스크에서의 평가는 MobiAgent의 효과를 입증합니다. 본 모델은 BEHAVIOR-1K에서 $\pi_{0.5}$-TA보다 22.5%p 높은 성능을 보이며 실행 실패로부터의 견고한 복구를 가능하게 합니다. 자율적인 데이터 재활용을 통해 RoboCasa에서는 성공률이 7.50%에서 27.50%로 향상되었고, Astribot S1에서는 32.5%에서 57.5%로 향상되었습니다.

arXiv:2609.06079v3cs.AI

LayerRoute: 비전-언어-행동 정책을 위한 행동 조건부 층 혼합 라우팅

LayerRoute: Action-Conditioned Mixture-of-Layers Routing for Vision-Language-Action Policies

비전-언어-행동(VLA) 정책은 사전학습된 비전-언어 모델(VLM)을 활용하여 로봇 제어를 위한 행동 생성을 유도합니다. VLM은 국소적인 시각 기하 구조부터 추상적이고 언어와 정렬된 의미에 이르기까지 층(layer) 전반에 걸쳐 발전하는 계층적 시각-의미 표현을 제공하므로, 서로 다른 조작 작업에는 각기 다른 층 표현의 혼합이 필요할 수 있습니다. 한편, 행동 모듈은 행동 계산 전반에 걸쳐 발전하며 후속 결정에 유용한 정보를 제공할 수 있는 중간 표현을 유지합니다. 그러나 기존 VLA 인터페이스는 표현 접근에 있어 유연성이 제한적입니다. 즉, VLM 정보는 각 행동 층에 대해 고정된 층 할당을 통해서만 노출되며, 중간 행동 상태는 명시적인 재사용 없이 잔차 스트림(residual stream)을 통해 암묵적으로만 전파됩니다. 본 논문에서는 VLM 층 및 행동 표현에 대한 적응형 접근을 가능하게 하는 행동 조건부 표현 라우팅 인터페이스인 LayerRoute를 소개합니다. Layer Mixture Router는 캐시된 VLM 표현의 혼합을 동적으로 구성하며, Action-State Reread는 이전 행동 표현을 재사용합니다. 다양한 시뮬레이션 및 실제 환경 벤치마크 전반에서 LayerRoute는 StarVLA-$π$ 및 $π_{0.5}$의 성능을 일관되게 향상시키며, 단 0.31% / 3.87%의 추가 파라미터만으로 LIBERO Long에서 최대 7.2의 성능 향상을 달성합니다. 절제 연구(ablation study)를 통해 행동 조건부 층 라우팅의 이점을 검증하였으며, 라우팅 분석을 통해 행동 층 및 작업 설정 전반에 걸친 구조화된 할당 패턴을 확인했습니다.

arXiv:2610.02666v1cs.CV

CHASE-VLA: 청크 인식 스케일 추정을 적용한 비전-언어-행동 모델용 사후 학습 양자화 프레임워크

CHASE-VLA: Post-Training Quantization Framework for Vision-Language-Action Models with Chunk-Aware Scale Estimation

비전-언어-행동(Vision-Language-Action, VLA) 모델은 시각적 관측과 언어 지시문을 연속적인 로봇 동작에 매핑하지만, 확산(diffusion) 기반 동작 전문가(Action Expert, AE)는 저비트 사후 학습 양자화(PTQ)에서 핵심적인 난제를 제기합니다. AE는 노이즈 제거(denoising) 단계 및 정책 질의에 걸쳐 반복적으로 호출되는데, 고정된 캘리브레이션 스케일은 노이즈 제거 진행 상황 및 의도된 모션에 따라 변하는 활성화 범위와 불일치할 수 있습니다. 본 논문에서는 정책에서 손쉽게 얻을 수 있는 VLA 고유의 신호인 생성된 동작 청크(실행되지 않은 미래 접미사 포함)를 활용하는 청크 인식 PTQ 방법인 CHASE-VLA를 제안합니다. CHASE-VLA는 AE 레이어에 대한 정적 스케일 매칭에만 의존하는 대신, 이전에 생성된 청크를 인과적 동작 컨텍스트로 노이즈 제거 단계 그룹 정보와 결합하여 AE 활성화 스케일을 적응시킵니다. 이를 통해 사전학습된 정책을 수정하지 않고도 반복 호출되는 AE의 MLP 및 어텐션 프로젝션 모두에 대해 W4A4 양자화를 가능하게 합니다. LIBERO에서 CHASE-VLA는 AE의 MLP 및 어텐션 프로젝션이 모두 W4A4로 양자화되었을 때 $π_{0.5}$에서 97.3%의 평균 성공률을 달성하여 FP16 수준의 성능을 복원합니다. 또한 CHASE-VLA는 양자화된 AE 선형 레이어의 가중치 저장 공간을 73.4% 줄이고, 절약된 저장 공간의 최대 1.26%에 불과한 예측기 오버헤드만으로 $π_{0.5}$ 및 GR00T N1.6에서 단일 청크 메모리 트래픽을 각각 70.9%와 71.2% 감소시킵니다.

arXiv:2610.02323v1cs.RO

비전-언어-행동 모델을 위한 월드 기반 보정 제안-행동 흐름

World-Calibrated Proposal-to-Action Flow for Vision-Language-Action Models

흐름 기반 비전-언어-행동(VLA) 정책은 작업 무관 등방성 가우시안 소스로부터 샘플을 이송하여 행동 청크를 생성합니다. 이러한 소스는 최근 실행 내용이나 예측된 미래 변화 모두에 조건화되지 않기 때문에, (i) 최근 실행된 모션에 의해 확립된 국소적 연속성을 상실합니다. (ii) 예측형 월드 표현이 도입되더라도, 이는 생성이 시작되는 위치, 벗어날 수 있는 허용 범위, 또는 행동이 확장될 수 있는 방향을 결정하기보다는 이송 동역학만을 조건화하는 데 그치는 경우가 많습니다. 이러한 관찰에 착안하여, 본 연구는 생성 소스 자체를 예측 가능하게 만드는 월드 기반 보정 제안-행동(proposal-to-action) 프레임워크인 ProAct를 제안합니다. (i) 모션 연속성을 보존하기 위해, 경량 제안 전문가(Proposal Expert)는 1단계의 모션 앵커 기반 종점 흐름 매칭을 통해 최근 행동들을 장면 인지 가설로 변환함으로써 실증된 행동 다양체 근처에서 생성을 시작하도록 합니다. (ii) 의도된 장면 변화와 제안-미래 간의 호환성을 함께 포착하기 위해, 미래지향적 월드 전문가(World Expert)는 해당 가설을 연성 모션 사전분포로 취급하면서 작업 일관적인 잠재 미래를 예측합니다. (iii) 모델은 이러한 호환성으로부터 제안 중심 비등방성 소스를 보정하며, 여기서 유계된 스텝당 범위는 허용된 편차를 제어하고 조건수 예산 하의 대각합 정규화 저계수 기하는 결합된 병진, 회전, 그리퍼 방향 전반에 걸쳐 정제를 할당합니다. $\pi_{0.5}$와 비교하여, ProAct는 디노이징 스텝을 50% 줄이고 추론 지연 시간을 최대 25.8% 단축하며 처리량을 최대 34.8% 향상시키는 동시에 시뮬레이션 및 실제 환경 작업 전반에서 성능을 개선합니다.

arXiv:2608.05369v2cs.RO

World-to-Wrist: 정밀한 로봇 조작을 위한 태스크 조건부 미래 손목 모델링

World-to-Wrist: Task-Conditioned Future Wrist Modeling for Fine-Grained Robot Manipulation

비전-언어-행동(VLA) 모델은 종종 메인 뷰(main-view)와 손목 뷰(wrist-view) 관측을 병렬적인 시각 입력으로 취급하여, 로봇 조작에서 두 시점이 갖는 뚜렷한 역할을 간과합니다. 그러나 정밀한 조작은 전역적인 태스크 컨텍스트 하에서 손목 국소 영역의 상호작용이 어떻게 전개될지 예측하는 데서 이점을 얻습니다. 이러한 한계를 해결하기 위해, 우리는 태스크 조건부 미래 손목 모델링을 통해 정밀한 로봇 조작을 수행하는 VLA 모델인 World-to-Wrist VLA(W2-VLA)를 제안합니다. 현재의 다중 뷰 관측과 태스크 지시가 주어지면, W2-VLA는 비전-언어 모델과 손목 예측기 사이의 간결한 인터페이스 역할을 하도록 일련의 잠재 모델링 토큰(latent modeling tokens)을 맥락화합니다. 이 인터페이스와 관측된 손목 이력을 조건으로 삼아, 예측기는 미래 손목 잠재 변수를 예측하며, 이는 행동 예측을 위한 미래 인식 컨텍스트로 변환됩니다. 또한 조작 진행 상황, 물리적 전환 단서, 손목 국소 영역의 증거를 기술하는 구조화된 주석을 생성하는 합성 파이프라인인 W2-CoT를 도입합니다. 이러한 주석은 태스크 조건부 잠재 인터페이스를 형성하는 보조 지도 신호를 제공합니다. LIBERO, LIBERO-Plus, RoboTwin 2.0 및 실제 환경 조작 태스크에 대한 실험은 $80$~Hz 이상의 실시간 행동 생성을 유지하면서 단일 팔 및 양팔 설정 전반에서 향상된 정밀 및 접촉 민감 조작 성능을 입증합니다.

arXiv:2604.16067v2cs.LG

AEGIS: 지식 보존형 비전-언어-행동 미세조정을 위한 앵커 기반 그래디언트 격리

AEGIS: Anchor-Enforced Gradient Isolation for Knowledge-Preserving Vision-Language-Action Fine-Tuning

로봇 조작을 위해 사전학습(pre-training)된 비전-언어 모델(VLM)을 미세조정(fine-tuning)하는 것은 근본적인 안정성-가소성 딜레마를 야기합니다. 즉, 연속적인 플로우 매칭(flow-matching) 행동 전문가는 고차원 교차 엔트로피(cross-entropy) 목표로 학습(training)된 트랜스포머(transformer) 백본에 집중된 저랭크(low-rank) 회귀 그래디언트(gradient)를 역전파합니다. 이러한 크로스모달 그래디언트 비대칭성은 사전학습된 시각적 추론 능력을 급격히 저하시킵니다. 기존 해결책들은 stop-gradient를 통해 연속적인 그래디언트 흐름을 단절하거나, 업데이트 랭크는 제한하지만 의미적 손상에 대해 방향적으로 맹목적인 LoRA를 통해 업데이트를 제한합니다. 두 방식 모두 일반적으로 혼합 배치(batch) VQA 공동 학습에 의존하여 학습 연산량을 두 배로 증가시킵니다. 본 논문에서는 파괴적인 매개변수(parameter) 업데이트로부터 사전학습된 표현을 격리하면서 연속적인 플로우 매칭 미세조정을 가능하게 하는 버퍼 없는 층(layer)별 직교 그래디언트 투영 프레임워크인 AEGIS(Anchor-Enforced Gradient Isolation System)를 소개합니다. 학습에 앞서, AEGIS는 사전학습 데이터로부터 층별 가우시안 활성화 통계량을 정적 참조 앵커로 추정합니다. 미세조정 중에는 닫힌 형식(closed-form)의 바서슈타인-2(Wasserstein-2) 수송 페널티가 활성 계산 그래프를 통해 앵커 복원 그래디언트를 생성합니다. 순차적인 듀얼 역전파 패스는 층별 그람-슈미트(Gram-Schmidt) 직교화를 적용하여, 방향 충돌이 발생할 때 복원 벡터의 직교 여공간으로 태스크 그래디언트를 투영합니다. 본 연구는 층별 직교 투영에 대한 정확한 에너지 보존 한계를 수립하여, AEGIS가 누적 특징(feature) 드리프트를 중단시키면서도 경험적으로 그래디언트 에너지의 0.62%만을 손실함을 보여줍니다. LIBERO 조작 벤치마크에서 미세조정된 PaliGemma2-3B를 통한 실험에서, AEGIS는 재생 버퍼, 교사 모델, 공동 학습 데이터 없이도 연속적인 행동 수렴(convergence)을 달성하는 동시에 사전학습된 시각적 질의응답(VQA) 성능과 기준선(baseline) 홀드아웃 손실(loss)을 온전히 보존합니다.

arXiv:2610.02161v1cs.RO

DuoMind: 시맨틱 통신을 통한 분산 다중 로봇 협업 지원

DuoMind: Enabling Distributed Multi-Robot Coordination with Semantic Communication

최근 비전-언어 모델(VLM)과 비전-언어-행동 모델(VLA)은 범용 로봇 분야에서 급격한 발전을 이끌어왔으나, 대부분의 발전은 단일 로봇 환경에 집중되어 있었습니다. 로봇이 신뢰할 수 있는 세밀한 실행을 유지하면서 장기적인(long-horizon) 행동을 조율해야 하므로, 이러한 역량을 다중 로봇 시스템으로 확장하는 것은 여전히 어려운 과제입니다. 본 연구에서는 시맨틱 통신(semantic communication)을 통한 다중 로봇 조율을 위한 분산 계층적 프레임워크인 DuoMind를 소개합니다. 각 로봇은 저수준 실행을 위해 VLA 기반 행동 모델을 사용하고, 고수준 추론 및 에이전트 간 조율을 위해 VLM 기반 오케스트레이터를 사용합니다. 각 계획 단계에서 각 로봇의 오케스트레이터는 작업 지시, 국소 관측치, 다른 로봇으로부터 수신한 메시지를 종합적으로 추론합니다. 그런 다음 행동 모델을 위한 저수준 지시문과 동료 로봇을 위한 시맨틱 메시지를 생성합니다. 이러한 아키텍처는 VLM의 시맨틱 추론 역량과 VLA의 정밀한 행동 생성 역량을 결합하여 사전학습된 모델들의 상호보완적 강점을 활용합니다. 또한, 다중 로봇 조율을 위한 벤치마크의 부족 문제를 해결하기 위해, 분산 제어 환경에서 조율된 폐루프(closed-loop) 실행을 요구하는 장기 조작 작업들로 구성된 벤치마크인 RoboPoly를 구축했습니다. RoboPoly와 RoboTwin을 대상으로 한 실험을 통해 DuoMind가 다중 로봇 작업 성능을 향상시킴을 입증하였으며, 소거 연구(ablation study)를 통해 계층적 오케스트레이션과 시맨틱 통신의 기여도를 확인했습니다. 자세한 내용은 프로젝트 페이지에서 확인할 수 있습니다.

arXiv:2610.00982v1cs.RO

분할 및 기억(Divide-and-Remember): 장기 VLA 정책을 위한 재귀적 행동 관련 메모리

Divide-and-Remember: Recursive Action-Relevant Memory for Long-Horizon VLA Policies

비전-언어-행동(VLA) 모델은 현재 관측만으로는 행동을 결정할 수 없고 정책에 과거 이력에 대한 메모리가 필요한, 이력 의존적 조작 작업에서 어려움을 겪습니다. 기존 메모리 기법들은 픽셀 변화가 큰 프레임을 유지하는 등 설계 방식에 따라 무엇을 기억할지 결정하며, 작업 전반에 걸쳐 비일관적인 성능 향상을 보입니다. 본 연구에서는 무엇을 기억할지를 최적화(optimization) 문제로 바라봅니다. 모방 학습의 부분 관측 마르코프 결정 과정(POMDP) 정식화로부터, 최적의 메모리는 현재 관측이 주어졌을 때 행동과 메모리 간의 조건부 상호정보량 $I(a_t; m_t \mid o_t)$을 극대화함을 보여줍니다. 직관적으로 이는 현재 관측에 아직 포함되지 않은 이력 내 행동 관련 정보를 보존함을 의미합니다. 이러한 분석을 바탕으로, 메모리 함수 $m_t = M(h_t)$를 학습하고 연산 부담을 적게 유지하면서 긴 문맥으로 확장 가능한 재귀적 메모리 기법인 Divide-and-Remember(D&R)을 제안합니다. 이는 두 가지 전략을 포함합니다: (1) 전체 이력에 대한 선택을 $2K$ 토큰에 대한 상위 $K$개 선택이라는 하위 문제로 재귀적으로 분할하여, 엔드투엔드로 학습된 고정 크기의 경량 선택기가 무제한의 이력을 지원하도록 합니다; (2) 모든 재귀 블록이 하나의 선택기를 공유하여 모든 블록에 공통적인 선택 규칙을 포착하고 방법론의 효율성을 유지합니다. 언제, 어디서, 무엇을, 어떻게 행동해야 하는지 기억해야 하는 16개의 장기 조작 작업 벤치마크인 RoboMME에서, D&R은 단 64개 토큰 예산 하에 4개 제품군 전체에서 일관된 성능 향상을 보이며 최고 수준의 평균 성공률을 달성했습니다. 실제 로봇 실험에서도 동일한 성능 향상을 확인했습니다. 코드, 체크포인트 및 추가 결과는 https://dnr-memory.github.io/ 에서 확인할 수 있습니다.

arXiv:2610.00601v1cs.RO

추론이 행동에 도움이 되는 순간: 비전-언어-행동 정책에서 사고의 연쇄 모니터링 및 조향

When Reasoning Helps Action: Monitoring and Steering Chain-of-Thought in Vision-Language-Action Policies

추론 기능이 활성화된 VLA(Vision-Language-Action) 정책은 행동을 설명하고 안내하는 것처럼 보이는 사고의 연쇄(CoT, Chain-of-Thought) 궤적을 드러내며, 이는 추론 모니터링 및 수정을 통한 런타임 안전성의 잠재적 인터페이스를 형성합니다. 본 연구에서는 이러한 인터페이스가 구체화된(embodied) 행동을 언제 개선할 수 있는지 평가하기 위한 두 가지 평가 축을 정의하고 구체화합니다. 하나는 생성 과정에서 신뢰할 수 없는 추론을 감지하고 개선할 수 있는지를 측정하는 수정 가능성(correctability)이며, 다른 하나는 추론 수정이 의도된 방향으로 행동상 의미 있는 변화를 만들어내는지를 측정하는 실행 가능성(actionability)입니다. 수정 가능성을 실현하기 위해, 부분적인 접두사로부터 최종 추론 정확도를 예측하고 이러한 추정치를 활용하여 동결된 VLA 정책의 추론 생성을 모니터링하고 선택적으로 조향하는 오프라인 학습 가치 모델인 TRUST(Token-level Reward for Utility-Steered Chain-of-Thought)를 도입합니다. 주행 VLA인 Alpamayo 1.5에서 TRUST는 88.9%의 정확도로 정확성을 모니터링하고 추론 정확도를 75.9%에서 90.0%로 향상시킵니다. AlpaSim의 기준선(baseline) 정의 고난도 서브셋에서 TRUST는 조향되지 않은 정책 대비 충돌률을 30.4%, 최대 궤적 오차를 11.5% 감소시켜 연산량을 맞춘 Best-of-4 기준선보다 우수한 성능을 보입니다. 조작 VLA인 DeepThinkVLA에서 TRUST는 파지 상태 주장의 정확도를 69.3%에서 90.2%로, 행동 선택 주장의 정확도를 68.8%에서 85.9%로 개선하지만, LIBERO-Plus에서의 폐루프(closed-loop) 태스크 성능은 대체로 변함없이 유지됩니다. 실증적 분석을 통해 Alpamayo 1.5에서는 의도와 일치하는 행동 효과가 나타나지만 DeepThinkVLA에서는 효과가 제한적임을 확인하여, 태스크 수준에서 나타난 서로 다른 결과를 해석하는 데 도움을 줍니다. 종합적으로 본 연구 결과는 추론 정확도의 향상이 구체화된 성능의 향상을 자동으로 의미하지는 않음을 보여주며, CoT를 런타임 안전 인터페이스로 활용할 때 수정 가능성과 실행 가능성을 함께 평가해야 할 필요성을 시사합니다.

arXiv:2609.36645v2cs.RO

예측 지도 신호가 전달되는 위치가 VLA 정책의 학습 내용을 결정한다

Where Predictive Supervision Goes Shapes What VLA Policies Learn

장면의 변화를 예측하는 것이 제어에 유용한 표현(representation)을 형성한다는 전제 하에, 미래 예측은 비전-언어-행동(VLA, vision-language-action) 정책을 개선하는 데 점점 더 널리 사용되고 있습니다. 그러나 예측 품질 그 자체만으로는 정책이 행동을 위한 더 나은 표현을 학습했음을 보장하지 못합니다. 이러한 차이는 성공적인 제어가 익숙한 배치를 넘어 공간적 상태와 발생 가능한 장면 변화를 보존하는 것에 좌우되는 분포 변화(distribution shift) 상황에서 중요해집니다. 본 연구에서는 예측 지도(predictive supervision)가 VLA 정책에 사용되는 시각적 표현을 개선하는지 여부를 결정하는 요인을 살펴봅니다. 일치된 타깃 구성, 예측 범위(prediction horizon), 학습 조건을 갖춘 통제된 비교를 통해, 예측 인터페이스에 따라 예측 결과와 시각적 표현이 현저하게 달라지며, 여기에는 익숙한 장면을 넘어 전이되는 공간, 역학, 행동 정보의 차이도 포함됨을 확인했습니다. 이러한 차이는 예측 오차가 정책의 시각적 스트림을 어떻게 형성하는지에서 비롯됨을 추적하여 밝혔습니다. 이러한 통제된 발견과 일관되게, 더 직접적이고 장면과 일치된 미래 지도 신호로 학습(training)된 VLA 정책은 시뮬레이션 및 실제 물리 환경의 분포 변화에서 더 강한 강건성을 보입니다. 종합하면, 본 연구의 결과는 미래 예측을 표현 학습의 설계 문제로 규정하며, 제어에 대한 그 가치는 지도 신호가 정책이 행동을 수행하는 기반이 되는 표현에 도달하는지 여부에 달려 있음을 보여줍니다.

arXiv:2609.09158v2cs.RO

TANGO: 전신 비전-언어-행동 모델을 활용한 복잡한 환경에서의 휴머노이드 내비게이션

TANGO: Humanoid Navigation in Cluttered Environments with a Whole-Body Vision-Language-Action Model

본 연구에서는 휴머노이드 로봇을 이용해 복잡하고 어수선한 실내 환경을 탐색 및 이동(navigation)하는 문제를 다룹니다. 내비게이션을 2D 경로 계획 문제로 모델링하는 기존 방식과 달리, 복잡한 환경에서 휴머노이드가 이동하려면 복잡한 3D 공간을 충돌 없이 통과하기 위해 조율된 팔 배치, 몸통 조절, 보행 조절을 포함하는 연속적이고 기하 구조를 인식하는 전신 적응(whole-body adaptation)이 필요합니다. 이에 본 논문에서는 복잡한 환경에서 언어 조건 기반 휴머노이드 이동을 위한 최초의 전신 비전-언어 내비게이션(Vision-Language Navigation) 프레임워크인 TANGO를 제안합니다. 자연어 지시와 1인칭 시점(egocentric) RGB 관측값이 주어지면, TANGO는 다운스트림 전신 제어를 위한 29-자유도(DoF) 관절 공간 행동을 직접 예측합니다. 전역 경로 계획, 기구학적 전신 동작 생성, 장애물 인식 동작 편집, 강화학습(RL) 기반 트래킹을 통해 충돌 없는 다양한 이동 동작을 합성함으로써 TANGO를 전적으로 시뮬레이션 환경에서 학습(training)합니다. 이러한 파이프라인은 언어 조건부 전신 정책 학습을 위한 동역학적으로 실현 가능한 행동 감독(supervision)을 제공합니다. 광범위한 시뮬레이션 실험에서 TANGO는 비전-언어 내비게이션 분야에서 최첨단 성능을 입증하는 동시에, 장애물 통과가 필요한 까다로운 장면을 탐색할 때 강력한 모듈식 베이스라인들을 능가했습니다. 마지막으로, Unitree G1 휴머노이드 로봇에 TANGO를 제로샷(zero-shot)으로 배포한 결과, 실제 세계 내비게이션 데이터에 대한 학습 없이도 복잡한 실제 환경에서 견고한 언어 유도 이동이 가능함을 확인했습니다.

arXiv:2605.30226v3cs.RO

BORA: 실제 환경의 정밀 조작 VLA 모델을 위한 오프라인 강화학습과 온라인 잔여 적응의 연결

BORA: Bridging Offline Reinforcement Learning and Online Residual Adaptation for Real-World Dexterous VLA Models

비전-언어-행동(Vision-Language-Action, VLA) 정책은 정교한 조작을 위한 강력한 행동 사전 지식(behavioral prior)을 제공하지만, 높은 자유도(high-DoF)의 접촉 실패는 사람이 교정하기 어렵고 온라인 상호작용 비용이 크기 때문에 실제 로봇에 이를 적응시키는 것은 여전히 어렵습니다. 본 논문에서는 일관성 정책(consistency-policy) VLA에 행동 조건부 크리틱(action-conditioned critic)을 통합하고, 학습된 크리틱을 동결된 기반 모델의 잔여 적응(residual adaptation)에 재사용하는 오프라인-투-온라인(offline-to-online) 강화학습 시스템인 BORA를 제안합니다. 실행 가능한 교정 데이터를 얻기 위해, BORA는 웨어러블 팔-손 원격 조작과 시연 기반 로컬 정책을 결합하여 대략적인 인간의 의도를 접촉 집약적 기술에 적합한 협응된 로봇 맞춤형 손가락 동작으로 변환합니다. 전체 모델의 미세조정을 피하기 위해 온라인 로봇 롤아웃과 인간의 교정 데이터를 오프라인 데이터와 혼합하여 경량 잔여 액터(residual actor)만을 업데이트합니다. 우리는 두 가지 정밀 로봇 손 모델이 장착된 단일 암 및 양팔 플랫폼을 사용하여 6가지 실제 환경 작업에서 BORA를 평가합니다. 작업당 단 20개의 온라인 궤적만으로 BORA는 표준 객체에서 평균 성공률을 60.8%에서 82.5%로, 미학습(held-out) 객체에서 52%에서 70%로 향상시켰으며, 정책 지원은 양손 비틀기 작업에서 개입 신뢰성을 대폭 향상시켰습니다. 이러한 결과는 실행 가능한 인간의 교정으로부터 효율적인 실제 로봇 VLA 적응에 이르는 실용적인 경로를 보여줍니다.

arXiv:2510.23576v2cs.RO

UrbanVLA: 도시 마이크로모빌리티를 위한 비전-언어-행동 모델

UrbanVLA: A Vision-Language-Action Model for Urban Micromobility

배달 로봇과 같은 도시 마이크로모빌리티 애플리케이션은 장기적인(long-horizon) 경로 지침을 따르면서 대규모 도시 환경 전반에서 신뢰할 수 있는 내비게이션을 요구합니다. 이 과제는 실제 도시 지역의 동적이고 비정형적인 특성으로 인해 특히 어렵지만, 기존 내비게이션 방법의 대부분은 소규모의 통제 가능한 시나리오에 맞춰져 있습니다. 효과적인 도시 마이크로모빌리티를 위해서는 상호 보완적인 두 가지 수준의 내비게이션 기술이 필요합니다. 목표점 도달(point-goal reaching) 및 장애물 회피와 같은 저수준 역량과, 경로-시각 정렬(route-visual alignment)과 같은 고수준 역량입니다. 이를 위해 우리는 확장 가능한 도시 내비게이션을 위해 설계된 경로 조건부 비전-언어-행동(Vision-Language-Action, VLA) 프레임워크인 UrbanVLA를 제안합니다. 우리의 방법은 실행 중에 노이즈가 포함된 경로 경유점(waypoints)을 시각적 관측과 명시적으로 정렬하고, 이후 로봇을 주행시키기 위한 궤적을 계획합니다. UrbanVLA가 두 수준의 내비게이션을 모두 습득할 수 있도록 2단계 학습 파이프라인을 사용합니다. 이 과정은 시뮬레이션 환경과 웹 비디오에서 파싱한 궤적을 사용하는 지도 미세조정(SFT)으로 시작됩니다. 이어서 시뮬레이션 및 실제 데이터의 혼합을 통한 강화 미세조정(RFT)이 진행되며, 이는 실제 환경에서 모델의 안전성과 적응성을 향상시킵니다. 실험에 따르면 UrbanVLA는 MetaUrban의 SocialNav 과제에서 강력한 베이스라인을 55% 이상 능가하는 것으로 나타났습니다. 나아가 UrbanVLA는 신뢰할 수 있는 실제 환경 내비게이션을 달성하여, 대규모 도시 환경에 대한 확장성과 현실 세계의 불확실성에 대한 견고성을 모두 보여줍니다.

arXiv:2610.01939v1cs.CV

더 적은 토큰으로 더 나은 행동을: 14% 더 높은 성공률과 65% 더 적은 토큰을 달성한 GPT-6 Astra 로봇 에이전트

Fewer Tokens, Better Action: GPT-6 Astra Robot Agents with 14% Higher Success Rate but 65% Fewer Tokens

비전-언어 모델(VLM) 에이전트는 시각적 피드백과 행동 프리미티브를 통해 로봇을 제어할 수 있지만, 반복적인 모델 호출과 불필요한 관측으로 인해 상당한 토큰 오버헤드가 발생합니다. 본 논문에서는 피드백 기반 프리미티브 구성과 선택적 관측을 결합한 대화형 코드 실행 프레임워크인 PyRUA-Lean을 제안합니다. 이 에이전트는 고전적인 로봇 프리미티브와 학습된 비전-언어-행동(VLA) 정책을 조건부 확인 및 로컬 재시도를 수행하는 Python 셀로 구성하며, 재계획을 위해 명시적으로 요청된 이미지와 상태 피드백만을 반환합니다. LIBERO-PRO, RoboTwin 2.0 및 RoboCasa365의 700개 시뮬레이션 작업 인스턴스에 걸쳐, 동일한 GPT-6 Astra 플래너와 기반 로봇 프리미티브를 사용하는 도구 호출 기준선과 PyRUA-Lean을 비교합니다. 동일한 대규모 언어 모델(LLM) 호출 예산 하에서, PyRUA-Lean은 전체 성공률을 63.1%에서 71.7%로 향상시킵니다. 두 에이전트가 모두 해결한 인스턴스에서 PyRUA-Lean은 LLM 호출을 49% 적게 사용하고 입력 토큰을 65% 적게 사용합니다.