변화된 생각, 변화된 행동: 비전-언어-행동 정책을 위한 제어 표면으로서의 추론 연쇄
Altered Thoughts, Altered Actions: Reasoning Chain as Control Surface for a Vision-Language-Action Policy
한국어 초록
비전-언어-행동(Vision-Language-Action, VLA) 정책은 카메라 이미지와 자연어 지시문을 로봇의 모터 동작에 매핑합니다. 이러한 정책 중 일부는 행동하기 전에 텍스트로 추론하도록 설계되어, 추론 연쇄(reasoning chain)를 생성하고 해당 연쇄를 조건으로 동작을 디코딩합니다. 이 설계를 도입한 연구들은 추론 연쇄를 사람이 읽고 편집하여 정책을 교정할 수 있는 텍스트 형태의 감독 인터페이스로 제시합니다. 그러나 편집된 추론 연쇄가 정책의 모터 동작에 어떤 영향을 미치는지, 즉 동작을 복구하는지 아니면 훼손하는지는 지금까지 부분적으로만 측정되었습니다. 본 연구에서는 정책이 받는 지시문과 정책이 생성하는 추론 연쇄에 적용되는 결정론적 개체 교체(entity swap)를 통해 복구와 훼손이라는 두 방향을 모두 측정합니다. 4개의 LIBERO 시뮬레이션 스위트 전반에 걸친 40개 태스크의 관찰 결과에 따르면, 추론 연쇄 훼손으로 인한 비용은 언어만으로 목표가 결정되는 영역에 집중됩니다. 이에 따라 우리는 추론 연쇄가 일반 텍스트로 노출되어 있는 DeepThinkVLA를 선택하여 LIBERO-Goal에서 반사실적 개입(counterfactual intervention)을 수행합니다. 정책은 훼손된 지시문을 수신하지만, 추론 연쇄는 해당 지시문이 온전할 때 생성되는 연쇄로 대체됩니다. 사전 등록된 확인 테스트에서 이 반사실적으로 올바른 추론 연쇄는 손실된 성공률의 47.8%p를 회복했습니다. 만약 연쇄가 카메라 이미지가 이미 결정한 내용을 단순히 재진술한 것에 불과했다면, 대체로 인해 아무것도 바뀌지 않았을 것입니다. 그러나 10개 태스크 모두가 예측된 방향으로 이동했습니다. 다만 성공률은 온전한 실행 대비 38.0%p 미치지 못했으며, 이는 우리가 5~15%p로 예상했던 격차보다 컸습니다. 따라서 추론 연쇄는 유효한 제어 표면(control surface)으로 작동합니다. 즉, 추론 연쇄에 작성된 텍스트가 로봇을 움직이며, 텍스트가 올바를 때는 행동을 복구하고 잘못되었을 때는 이를 훼손합니다. 이러한 제어 표면을 노출할지 여부는 배포 시의 트레이드오프이며, 이제 그 일부를 정량적으로 측정할 수 있습니다.
원문 초록
Vision-language-action policies map camera images and natural-language instructions to a robot's motor actions. Some of these policies are designed to reason in text before acting, generating a reasoning chain and decoding actions conditioned on that chain. The works introducing this design offer the reasoning chain as an oversight interface: text a person can read and edit to correct the policy. What an edited reasoning chain does to the policy's motor actions, whether it repairs them or corrupts them, has so far been measured only in part. We measure both directions, repair and corruption, with our deterministic entity swap applied to the instruction the policy receives and to the reasoning chain it generates. A forty-task observed backdrop across all four LIBERO simulation suites reveals that the cost of corrupting the reasoning chain concentrates where language alone determines the goal. There, on LIBERO-Goal, we run the counterfactual intervention with DeepThinkVLA, chosen because its reasoning chain is exposed as plain text. The policy receives a corrupted instruction, but its reasoning chain is replaced by the one it generates when that instruction is clean. This counterfactually correct reasoning chain recovers 47.8 pp of the lost success, our pre-registered confirmatory test. Had the chain merely restated what the camera image already determines, the replacement could have changed nothing. Instead, all 10 tasks move in the predicted direction, though success falls short of the clean runs by 38.0 pp, a gap we had predicted at 5-15 pp. The reasoning chain is therefore a working control surface: text written into it moves the robot, repairing behaviour when the text is right and corrupting it when the text is wrong. Whether to expose such a control surface is a deployment tradeoff, and part of it can now be measured.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
추론이 행동에 도움이 되는 순간: 비전-언어-행동 정책에서 사고의 연쇄 모니터링 및 조향
When Reasoning Helps Action: Monitoring and Steering Chain-of-Thought in Vision-Language-Action Policies
추론 기능이 활성화된 VLA(Vision-Language-Action) 정책은 행동을 설명하고 안내하는 것처럼 보이는 사고의 연쇄(CoT, Chain-of-Thought) 궤적을 드러내며, 이는 추론 모니터링 및 수정을 통한 런타임 안전성의 잠재적 인터페이스를 형성합니다. 본 연구에서는 이러한 인터페이스가 구체화된(embodied) 행동을 언제 개선할 수 있는지 평가하기 위한 두 가지 평가 축을 정의하고 구체화합니다. 하나는 생성 과정에서 신뢰할 수 없는 추론을 감지하고 개선할 수 있는지를 측정하는 수정 가능성(correctability)이며, 다른 하나는 추론 수정이 의도된 방향으로 행동상 의미 있는 변화를 만들어내는지를 측정하는 실행 가능성(actionability)입니다. 수정 가능성을 실현하기 위해, 부분적인 접두사로부터 최종 추론 정확도를 예측하고 이러한 추정치를 활용하여 동결된 VLA 정책의 추론 생성을 모니터링하고 선택적으로 조향하는 오프라인 학습 가치 모델인 TRUST(Token-level Reward for Utility-Steered Chain-of-Thought)를 도입합니다. 주행 VLA인 Alpamayo 1.5에서 TRUST는 88.9%의 정확도로 정확성을 모니터링하고 추론 정확도를 75.9%에서 90.0%로 향상시킵니다. AlpaSim의 기준선(baseline) 정의 고난도 서브셋에서 TRUST는 조향되지 않은 정책 대비 충돌률을 30.4%, 최대 궤적 오차를 11.5% 감소시켜 연산량을 맞춘 Best-of-4 기준선보다 우수한 성능을 보입니다. 조작 VLA인 DeepThinkVLA에서 TRUST는 파지 상태 주장의 정확도를 69.3%에서 90.2%로, 행동 선택 주장의 정확도를 68.8%에서 85.9%로 개선하지만, LIBERO-Plus에서의 폐루프(closed-loop) 태스크 성능은 대체로 변함없이 유지됩니다. 실증적 분석을 통해 Alpamayo 1.5에서는 의도와 일치하는 행동 효과가 나타나지만 DeepThinkVLA에서는 효과가 제한적임을 확인하여, 태스크 수준에서 나타난 서로 다른 결과를 해석하는 데 도움을 줍니다. 종합적으로 본 연구 결과는 추론 정확도의 향상이 구체화된 성능의 향상을 자동으로 의미하지는 않음을 보여주며, CoT를 런타임 안전 인터페이스로 활용할 때 수정 가능성과 실행 가능성을 함께 평가해야 할 필요성을 시사합니다.
NarrativeFlow: 로봇 속도장을 활용한 흐름 기반 비전-언어-행동 모델
NarrativeFlow: Flow-Based Vision-Language-Action Model Using Robot Velocity Fields
본 연구에서는 로봇 플로우(로봇 속도장)가 여러 로봇 플랫폼에서 수집된 데이터를 활용하기 위한 임베디먼트 독립적(embodiment-agnostic)이자 동작 중심의 표현으로 기능하는 언어 조건부 흐름 기반 조작에 주목합니다. 언어 조건부 조작은 실용적인 로봇 시스템에 필수적이지만, 로봇 파운데이션 모델(foundation model)의 스케일링(scaling)은 특정 임베디먼트 데이터 수집에 많은 노동력이 소요된다는 점으로 인해 여전히 제한되어 있어 이 과제는 매우 중요합니다. 기존 방식들은 희소한 키포인트 변위로 로봇 플로우를 대략적으로 근사하거나, 언어 조건부 조작을 다루지 못합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 언어를 조건으로 하는 플로우 매칭(flow-matching) 정식화를 사용하여 로봇 플로우를 연속적인 속도장으로 모델링하는 NarrativeFlow를 제안합니다. 이에 따라 NarrativeFlow는 실제 세계의 조작과 물리적으로 일관된 로봇 플로우를 생성합니다. NarrativeFlow를 검증하기 위해 언어 조건부 조작 표준 데이터셋에서 실험을 수행했습니다. 실험 결과, NarrativeFlow는 표준 평가 지표에서 대표적인 기준선(baseline) 방법들보다 우수한 성능을 보였습니다. 나아가 실제 세계 실험을 통해 NarrativeFlow가 여러 조작 작업 전반에서 기준선 방법들보다 더 높은 성공률을 달성함을 보입니다. 프로젝트 페이지는 https://shota0520.github.io/NarrativeFlow-project-page/ 에서 확인할 수 있습니다.
언어는 줄이고 잠재 표현은 늘리다: 주행을 위한 어노테이션 효율적 VLA
Less Language, More Latents: Annotation-Efficient VLAs for Driving
비전-언어-행동 모델(VLA)은 사람이 조향할 수 있는 자율주행을 가능하게 할 것으로 기대되지만, 학습은 자연어 지시문과 짝지어진 프레임이 부족하다는 점에서 병목을 겪습니다. 카메라 스트림과 전문가 궤적은 대규모로 기록되는 반면, 언어 어노테이션(예: 교차로에서 좌회전)은 여전히 부족하고 확보하는 데 비용이 많이 듭니다. 이 문제를 해결하기 위해 우리는 풍부한 비라벨 관측-궤적 쌍을 언어 조건부 제어의 기반으로 변환하는 3단계 파이프라인인 Latent Action Driving Annotations(LADA)를 제안합니다. 첫째, 벡터 양자화(vector-quantised) 병목을 가진 잠재 행동 모델(latent action model)을 학습하여 상위 수준의 차량 의도를 담은 간결한 코드북을 만듭니다. 둘째, 언어 어노테이션이 있는 소규모 부분집합을 사용해 관측과 언어 지시문을 이 코드북으로 매핑하는 비전-언어 번역기를 학습합니다. 셋째, 라벨이 없는 전체 코퍼스에 대해 관측-잠재 행동 쌍으로 주행 VLA를 학습합니다. LADA는 언어 어노테이션의 5% 미만만 사용하고 보조적인 사고의 연쇄(chain-of-thought) 추론이나 시각 질의응답 스트림을 전혀 활용하지 않으면서도, 폐루프(closed-loop) Bench2Drive 벤치마크에서 Driving Score 87.98, Success Rate 70.46%를 달성하여 완전 지도학습 기반 베이스라인과 대등하거나 이를 능가합니다.
AWM-VLA: 효율적이고 설명 가능한 비전-언어-행동 정책을 위한 정렬 세계 모델링
AWM-VLA: AlignedWorld Modeling for Efficient and Explainable Vision-Language-Action Policies
비전-언어-행동(VLA) 모델은 범용 로봇 조작을 위한 강력한 패러다임이 되었지만, 종종 반응적이다. 정책은 의사결정의 장기적 결과를 추론하지 않고 현재 관측을 행동 청크에 직접 매핑한다. 정책에 세계 모델을 부여하려는 기존 시도는 픽셀 공간에서 미래 프레임을 재구성하는 방식——비용이 크고 과업과 무관한 세부가 지배적——이거나, 세계 모델을 정책과 분리하여 제어를 약화시키는 방식이었다. 우리는 확산-트랜스포머 정책 내부에 정렬된 세계 모델링을 직접 내장하는 통합 프레임워크 AWM-VLA를 제안한다. Future Latent REpresentation Alignment(FLARE) 원칙에 따라, 학습 가능한 미래 토큰을 추가하고 그 중간 활성화를 미래 관측의 비전-언어 임베딩과 정렬하여, 정책이 행동을 생성하면서 장기적 결과를 예측할 수 있게 한다. 이 패러다임을 두 가지로 확장한다. 첫째, 전역 미래 임베딩과 함께 미래 객체 수준 의미를 예측하는 객체 중심 분리 정렬 목표를 도입하여 해석 가능성과 다중 지시 일반화를 모두 개선한다. 둘째, 원칙적인 가중치로 전역·객체 중심 정렬 항과 행동 flow-matching 손실의 균형을 맞춰, 제어 가능한 정확도–해석 가능성 트레이드오프를 얻는다. RoboCasa 및 휴머노이드 탁상 조작 벤치마크에서 AWM-VLA는 성공률 기준으로 기존 VLA 및 세계 모델 베이스라인을 최대 21% 능가하고, 새로운 객체와 지시에 대한 일반화를 개선하며, 인간 평가자가 83%의 경우에서 선호하는 객체 중심 근거를 생성한다. 본 접근은 정책에 학습 가능한 토큰 소수만 추가하며 임의의 확산이나 flow-matching 정책과 호환되어, 정렬된 세계 모델링을 범용 조작의 저비용·광범위 적용 가능한 구성요소로 만든다.
월드 모델처럼 생각하고 VLA처럼 행동하기: 월드 모델 표현을 소형 로봇 정책으로 증류하기
Think Like a World Model, Act Like a VLA: Distilling World-Model Representations into Compact Robot Policies
비전-언어-행동(VLA, Vision-Language-Action) 모델은 세상이 어떻게 반응하는지를 고려하는 목적 함수 없이 관측을 행동으로 매핑하므로, 이들의 견고성은 주로 데이터 커버리지에 의해 제한됩니다. 월드 모델은 바로 그 결여된 목적 함수를 지니고 있어 그 덕분에 더 우수한 그라운딩(grounding)을 갖추고 있지만, 미래를 시뮬레이션(rolling forward)하는 데 결정당 수 초가 걸려 제어 루프에서 배제됩니다. 우리는 이 둘을 분리할 수 있음을 보여줍니다. 물리적 장면에 대해 월드 모델이 알고 있는 것은 그것의 내부 특징(feature)에 존재하며, 미래를 생성하는 것은 단지 그 특징을 생성해 낸 목적 함수일 뿐이므로, 생성 메커니즘은 남겨둔 채 그라운딩만을 물려받을 수 있습니다. 우리는 일반적인 VLA 학습(training)에 특징 정렬(feature-alignment) 손실 항 하나를 추가합니다. 즉, 동결된 월드 모델을 학습 프레임에 대해 한 번 실행하여 캐시해 두고, 학생 모델은 해당 캐시와 일치하도록 학습합니다. 학습 중에는 교사 모델이 로드되지 않고, 프로젝터는 학습 후 폐기되며, 배포된 정책은 증류되지 않은 기준선(baseline)과 동일하여 소비자용 RTX 5090에서 32 ms 및 1.86 GB로 동작하므로, 모든 성능 향상은 추가된 용량이나 테스트 시점 연산(test-time compute)이 아닌 표현(representation) 덕분입니다. 0.8B 학생 모델은 LIBERO에서 97.9%를 달성하고, RoboCasa-GR1 휴머노이드 조작에서 48.2%에서 50.5%로 향상되었으며, 동일한 목적 함수가 단일 암 및 양팔 플랫폼 모두의 실제 하드웨어로 이어집니다. 이러한 성능 향상은 학생 모델 크기, 백본, 정렬 층(layer), 교사 모델의 변경에도 유지되어, 두 특정 네트워크 간의 취약한 정렬이 아닌 광범위한 표현 사전 확률(representational prior)임을 나타냅니다. 프로젝트 페이지: https://thaw-vla.trung-dt.com/.
탐지 및 억제: VLA 모델의 적대적 패치에 대한 기제론적 방어
Detect and Suppress: A Mechanistic Defense against Adversarial Patches in VLA Models
적대적 패치(adversarial patch)는 시각적 관측을 조작하여 비전-언어-행동(VLA) 모델을 교란함으로써 로봇 제어 실패를 초래할 수 있습니다. 그러나 이러한 실패의 기저에 어떤 내부 메커니즘이 존재하는지, 표적화된 개입을 통해 이를 어떻게 완화할 수 있는지는 여전히 명확히 이해되지 않았습니다. 본 연구에서는 희소 오토인코더(SAE)를 사용하여 VLA 표현을 기제론적으로 분석하고, 활성화 정도가 적대적 패치의 존재와 강하게 상관되는 특징(feature)을 식별합니다. 이 분석을 바탕으로, 선형 탐침(linear probe)이 공격을 탐지할 때에만 추론(inference) 시점에 식별된 특징을 억제합니다. 이러한 개입은 VLA를 미세조정(fine-tuning)하는 비용 없이도 견고성을 향상합니다. 저자들은 LIBERO-10에서 VLA 적대적 패치 공격에 대해 제안 방식을 평가합니다. 조건부 개입은 간헐적인 공격 상황에서 성공률을 향상하는 반면, 동일한 개입을 지속적으로 적용할 경우 정책(policy) 성능이 크게 저하됩니다. 이러한 결과는 공격 관련 내부 표현이 VLA 적대적 방어를 위한 유용한 표적이 될 수 있음을 보여주며, 정상적인 정책 동작에 대한 방해를 제한하기 위해서는 개입 시점을 제어하는 것이 중요하다는 점을 시사합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Accepted at the VLM4RWD workshop, NeurIPS 2026