PyTorchKR Papers

최신 논문

총 9편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2602.17659v3cs.CV

비전이 언어를 우선할 때: VLA의 반사실적 실패 평가 및 완화

When Vision Overrides Language: Evaluating and Mitigating Counterfactual Failures in VLAs

Vision-Language-Action models (VLAs) promise to ground language instructions in robot control, yet in practice often fail to follow language faithfully. When presented with instructions that lack strong scene-specific supervision, VLAs suffer from counterfactual failures: they act based on vision shortcuts induced by dataset biases, repeatedly executing well-learned behaviors and selecting objects frequently seen during training regardless of language intent. To support systematic study, we introduce LIBERO-CF, the first counterfactual benchmark for VLAs that evaluates language following capability by assigning alternative, feasible task instructions under the same LIBERO scene layouts. Our evaluation reveals that counterfactual failures are prevalent yet underexplored across state-of-the-art VLAs. To mitigate these failures, we propose Counterfactual Action Guidance (CAG), a simple yet effective dual-branch inference scheme that explicitly strengthens language conditioning in VLAs. CAG combines a standard VLA policy with a parallel language-unconditioned branch, amplifying the difference between their action predictions induced by language instructions. This design reduces reliance on vision shortcuts, improves robustness on counterfactual tasks, and requires neither additional demonstrations nor modifications to the base VLA architecture or its pretrained weights. Extensive experiments demonstrate consistent improvements across diverse VLAs. On LIBERO-CF, our training-free variant, TF-CAG, improves $\pi_{0.5}$ by 9.7% in language grounding and 3.6% in task success. When using a separate Vision-Action (VA) module, VA-CAG achieves larger gains of 15.5% and 8.5%, respectively. In real-world evaluations, VA-CAG improves language grounding by 9.4% and task success by 17.2% on average.

arXiv:2605.11750v2cs.RO

DreamAvoid: VLA 정책에서 실패를 피하기 위한 임계 단계 테스트 시간 드리밍

DreamAvoid: Critical-Phase Test-Time Dreaming to Avoid Failures in VLA Policies

비전-언어-행동(Vision-Language-Action, VLA) 모델은 세밀한 조작에서 종종 취약하며, 임계 단계 동안 사소한 행동 오류가 빠르게 회복 불가능한 실패로 확대될 수 있다. 기존 VLA 모델은 학습 시 성공적인 시연에 주로 의존하므로, 이러한 임계 단계에서의 실패에 대한 명시적 인식이 부족하다. 이를 해결하기 위해 VLA 모델이 실패를 예측하고 피할 수 있도록 하는 임계 단계 테스트 시간 드리밍(test-time dreaming) 프레임워크인 DreamAvoid를 제안한다. 또한 성공과 실패 사이의 미묘한 경계에 대한 시스템의 이해를 정교화하기 위한 자율적 경계 학습(autonomous boundary learning) 패러다임을 도입한다. 구체적으로, (1) Dream Trigger를 이용해 실행이 임계 단계에 진입했는지 판단하고, (2) Action Proposer를 통해 VLA로부터 여러 후보 행동 청크(action chunk)를 샘플링하며, (3) 혼합 데이터(성공, 실패, 경계 사례)로 공동 학습된 Dream Evaluator를 사용해 후보 행동에 대응하는 단기 미래를 "드리밍"하고 가치를 평가한 뒤 최적 행동을 선택한다. 실제 조작 과제와 시뮬레이션 벤치마크에서 광범위한 평가를 수행했으며, 결과는 DreamAvoid가 실패를 효과적으로 피해 전체 과제 성공률을 높일 수 있음을 보여준다. 네 가지 실제 과제에서 DreamAvoid는 72.5%의 성공률을 달성했으며, 이는 기본 정책의 48.8% 및 GPC-RANK의 54.4%에 비해 높다. 코드는 https://github.com/XianzheFan/DreamAvoid 에서 제공된다.

arXiv:2609.24124v1cs.RO

ActiveArena: 로봇 조작에서 능동 지각의 벤치마킹 및 이해

ActiveArena: Benchmarking and Understanding Active Perception in Robotic Manipulation

능동 지각(active perception)과 조작(manipulation)은 로봇이 복잡한 장면과 상호작용하는 데 필수적이다. 기존 벤치마크는 로봇이 능동적으로 정보를 효과적으로 획득하고 기억에 유지하는 방식을 평가하는 데 한계가 있다. 이를 위해 제어 가능한 시점(viewpoint)과 대규모 작업 공간을 갖춘 능동 지각 시뮬레이터인 ActiveArena-Sim을 기반으로 소개한다. 이를 바탕으로 5개의 세분화 범주에 걸친 35개 과제로 구성되며, 시각적 탐험과 상호작용적 정보 획득을 포괄하는 ActiveArena-Bench를 제안한다. 각 과제는 수동적 관측만으로는 해결하기 어려워 다회 증거 획득과 메모리 기반 추론을 요구한다. 이 벤치마크는 풍부한 메모리 주석, 표준화된 학습 데이터, 분리된 장면·보지 못한 distractor 구성·새로운 배경을 특징으로 하는 ID/OOD 프로토콜을 제공한다. 더 나아가 메모리 쓰기, 메모리 용량, 고유수용감각(proprioceptive) 상태, 하위 과제 지도, 능동 지각에서의 고수준 계획에 대한 통제 연구를 위해 13가지 비전-언어-행동(VLA) 구성을 갖춘 모듈형 스위트 ActiveArena-VLA를 제시한다. 벤치마크 결과는 상당한 ID-OOD 격차를 보여 준다. 균일 메모리 샘플링, 신뢰할 수 있는 쓰기 정책 하에서의 메모리 용량 증가, 고유수용감각 입력, 하위 과제 지도는 OOD 일반화를 개선하는 반면, 플래너(planner)가 안내하는 메모리 관리와 의사결정은 희소(sparse) 메모리만 사용하는 최고 성능 구성에 근접한 성능을 달성한다. ActiveArena는 thus 능동 지각과 조작을 위한 모델을 개발하고 진단할 수 있는 통합 시험 환경을 제공한다.

arXiv:2609.22582v1cs.CV

리더보드를 넘어서: 도메인 시프트 하의 엔드투엔드 및 VLA 주행 정책에 대한 반사실적 진단

Beyond the Leaderboard: Counterfactual Diagnosis of End-to-End and VLA Driving Policies Under Domain Shift

엔드투엔드 및 비전-언어-행동(VLA) 주행 정책은 리더보드 순위로 비교되지만, 순위는 결과만 보여줄 뿐 그 뒤에 있는 행동을 보여주지 않기 때문에 새로운 장소에서 정책이 어떻게 행동할지를 잘 예측하지 못한다. 공개된 여섯 개의 정책에서, nuScenes 오픈루프 오차나 NAVSIM 리더보드 상의 순위는 새로운 장소에서 자아 차량(ego) 주행 통로 근처에 보행자가 있는 장면으로는 이어지지 않는다. 우리는 반사실적 점검(counterfactual check-up)을 제안한다: 수백 개의 실제 프레임을 각각 두 가지 방식(보행자 제거, 또는 야간 스타일 섭동에 의한 재조명)으로 편집하고, 모든 편집을 독립적인 검출기로 검증하며, 계획된 궤적의 변화를 점수가 아닌 진단으로 해석한다. 이러한 편집으로부터 두 개의 인과 축(causal axes)을 읽어내고, 이를 기반으로 한 다섯 가지 검사는 하나의 점수가 뒤섞어 놓은 것들을 분리한다: 정책이 얼마나 멀리까지 주행할 계획인지, 보행자를 인지하는 것이 안전성을 확보해주는지, 그 반응이 위험도에 비례해 커지는지, 아무런 요구가 없을 때도 계획이 변하는지, 그리고 무관한 조명 변화가 계획을 얼마나 움직이는지. 246개의 NAVSIM 보행자 인접 장면에서, 보행자가 계획된 경로 위에 있는 셀 중 단 1.9%만이 진정한 회피 반응이었으며, 우리의 오픈루프 프로토콜 하에서 모든 정책에 대해 여유 거리(clearance)의 중앙값 변화는 최대 0.03 m, 계획된 거리의 중앙값 변화는 최대 0.08 m에 불과했다. 좌측통행에서 우측통행으로의 사전등록된(pre-registered) 테스트에서, 노출(exposure) 및 특이성(specificity) 순위, 조명 판정(lighting verdict), 충돌 결과는 전이되었지만, 점수 값과 위험 민감도(hazard-sensitivity) 판정은 전이되지 않았다. 선별 보고서(selection report)로 읽으면, 이 프로파일들은 어떤 정책이 짧게 계획하기 때문에 안전한지, 어떤 정책이 양보 없이도 인간과 비슷한 거리를 확보하는지, 어떤 정책이 아무런 반응이 필요 없는 변화에도 불안정한지를 말해주며, 각 판정에 드는 비용도 알려준다: 대부분은 수십 개의 프레임 내에서 안정되지만, 위험 민감도는 수백 개가 필요하다. 코드와 편집된 프레임은 공개될 예정이다.

arXiv:2607.20771v1cs.RO

전문가 혼합(MoE) VLA의 창발적 조합 능력

Emergent Compositional Skills in Mixture-of-Experts VLAs

전문가 시연으로부터 작업 분해나 계층에 대한 사전 지정 개념 없이 조합적(compositional) 로봇 정책을 엔드투엔드로 학습하는 문제를 다룬다. 단순화된 전문가 혼합(MoE) 행동(action) 헤드로 학습된 VLA가 작업을 재사용 가능하고 해석 가능한 원시(primitive)들로 분해하는 것을 창발적으로 학습할 수 있는지 묻는다. 학습된 전문가(expert)들이 여러 작업에서 광범위하게 재사용되며 질적으로 뚜렷이 구분되는 저수준 행동과 일관되게 대응함을 발견한다. 이는 라우터(router)가 암묵적으로 고수준 시퀀싱(sequencing)을 수행하도록 학습하는 반면 전문가들은 조합적 원시로 기능함을 시사한다. 우리의 MoE는 단일(monolithic) 기준선의 작업 성능과 맞먹으면서 의미 있는 전문가 특화를 보여주며, 이는 데이터만으로 창발하는 모듈형·해석 가능한 로봇 정책을 향한 한 걸음이다.

arXiv:2607.02604v1cs.CV

DynaWM: 움직이는 물체 조작을 위한 기반 VLA 유도 세계 파운데이션 모델

DynaWM: A Base-VLA-Guided World Foundation Model for Moving-Object Manipulation

비전-언어-행동(VLA) 모델이 널리 주목받고 있음에도 불구하고, 동적으로 움직이는 물체를 조작하는 데에는 여전히 많은 과제가 남아 있다. 기존의 대부분 접근법에서는 순방향 또는 역방향 동역학 모델, 즉 세계 모델(world model)을 고성능 기반 VLA 아키텍처에 통합하는데, 이는 부적절한 미세조정으로 인해 잘 사전학습된 기반 VLA 모델의 성능을 저하시킬 수 있다. 본 논문에서는 움직이는 물체 조작을 위해 미세조정 및 거칠게 조정된 다양한 기반 VLA 체크포인트에 적응하는 기반 VLA 유도 세계 파운데이션 모델인 DynaWM을 제안한다. DynaWM은 Mamba-3 기반 행동 인코더를 사용하여 기반 VLA가 생성한 기반 행동 청크(action chunk)를 행동 조건화 표현으로 인코딩하고, V-JEPA 2.1 비전 인코더를 사용하여 다시점 관측 이력으로부터 특징을 추출하며, 로봇 팔의 고유감각(proprioceptive) 상태를 인코딩하는 고유감각 상태 인코더를 활용한다. 이러한 특징 표현들이 플로우 매칭(flow-matching) DiT를 공동으로 조건화하여 움직이는 물체 조작을 위한 동작 인식 행동 궤적을 재생성한다. 체계적인 평가를 위해, 속도 변화, 궤적 변화, 다중 물체 조작 등 여섯 가지 범주의 움직이는 물체 조작 태스크를 포함하는 DynaGrasp-32 벤치마크와, 32개 시나리오, 1,600개 시연 궤적, 약 153만 장의 이미지로 구성된 DynaGrasp-1600 데이터셋을 구축하였다. 미세조정된 기반 VLA 체크포인트에 대해 DynaWM은 SmolVLA, X-VLA, π0, π0.5 대비 각각 7.19, 45.31, 1.88, 10.94 퍼센트포인트의 성능 향상을 달성하였다. 거칠게 조정된 기반 VLA 체크포인트에 대해서는 각각 35.13, 44.06, 35.69, 26.13 퍼센트포인트의 성능 향상을 보였다. 에블레이션 실험 결과, 시각 인코딩은 성공률을 27.50% 향상시키는 반면, 행동 조건화를 제거하면 성공률이 45.44% 감소하는 것으로 나타났다.

arXiv:2606.25800v1cs.LG

ROAD-VLA: Robust Online Adaptation via Self-Distillation for Vision-Language-Action Models

비전-언어-행동(VLA) 모델의 온라인 적응에서 희소 보상만으로는 고차원 자기회귀 행동 정책을 안정적으로 학습하기 어렵고, 텍스트 기반 특권 교사는 저수준 로봇 행동과의 모달리티 격차로 효과가 제한적임을 보인다. ROAD-VLA는 보정된 advantage로 action-token 로짓을 교란해 행동 공간에 proximal 교사를 만들고 희소 보상을 토큰 단위 지도로 바꾸는 advantage-guided 자기증류(self-distillation) 프레임워크이며, 7개 로봇 조작 환경에서 분포 이동(in/out-of-distribution) 조건 대부분에서 PPO를 능가한다.

arXiv:2606.19297v1cs.LG

VLA는 기초조차 알고 있는가? 비전-언어-행동 모델의 상식 및 세계 지식 보유 측정

Does VLA Even Know the Basics? Measuring Commonsense and World Knowledge Retention in Vision-Language-Action Models

구현된 비전-언어-행동(VLA) 모델은 일반적으로 강력한 사전학습된 비전-언어 모델(VLM)을 로봇공학 데이터로 미세조정하여 얻지만, 적응 후에 얼마나 많은 상식과 사실적 지식을 보유하는지는 불분명합니다. 지식에 민감한 작업에서의 실패는 모호하며, 지식의 부재와 저수준 제어의 낮은 일반화를 혼동하게 만듭니다. 우리는 에이전트가 행동을 통해 답변하도록 요구함으로써 VLM 지식 벤치마크를 VLA 평가에 적용한 가벼운 프로토콜인 Act2Answer를 소개합니다. 각 질문은 에이전트가 후보 답안 중에서 선택하기 위해 단일 객체 배치 행동을 수행하는 짧은 테이블탑 에피소드가 되며, 이는 제어 요인에 의한 혼동이 줄어든 행동 기반의 성공률을 산출합니다. 우리는 다양한 상식 및 세계 지식 범주에 걸쳐 이러한 환경의 테스트 스위트를 구성하고, VLM 백본과 행동 헤드에 걸쳐 답변 관련 정보를 지역화하는 계층별 의도 프로빙을 소개합니다. 7개의 VLA 모델과 9개의 VLM 기준선에 대한 대규모 연구를 통해 범주별로 모델을 체계적으로 순위 매긴 결과, VLA는 간단한 개념에서는 견고한 성능을 보이지만 원본 VLM에 비해 더 풍부한 의미론적 범주에서는 더 큰 격차를 보이는 것으로 나타났습니다. 또한 VQA 공동 학습이 더 나은 지식 보유와 관련이 있으며, 답변 관련 신호는 중간 VLA 계층에서 정점을 찍고 상위 계층으로 갈수록 약화되는 것을 확인했습니다. Act2Answer는 https://tttonyalpha.github.io/act2answer/ 에서 확인할 수 있습니다.

arXiv:2606.12706v1cs.CV

VLADriveBench: 자율 주행 VLA의 CoT-행동 관계 평가

VLADriveBench: Evaluating CoT-Action Relationship in VLA for Autonomous Driving

비전-언어-행동(VLA) 모델은 주행 궤적과 함께 사고의 연쇄(CoT) 추론을 생성하지만, 기존 벤치마크는 궤적 품질만 평가할 뿐 CoT이 주행 행동과 관련성이 있고, 일관되며, 인과적으로 연결되어 있는지는 평가하지 않습니다. 우리는 관찰적 지표(언급, 환각, 모순, 행동 정렬)와 CoT 개입 프로토콜을 결합하여 CoT-행동 관계에 대한 상호 보완적인 관점을 제공하는 프레임워크인 VLADriveBench를 소개합니다. 두 가지 아키텍처에 걸친 세 가지 모델에 VLADriveBench를 적용한 결과, 두 분석은 크게 엇갈릴 수 있음을 발견했습니다. ORION은 관찰적 정렬에서 가장 높은 점수를 기록했으나 CoT은 부수 현상(epiphenomenal)에 불과한 반면, Alpamayo v1.5는 점수는 더 낮지만 CoT이 강한 인과성을 가지며, 시각적 현저성(visual salience)이 CoT 영향의 정도를 게이팅합니다.