PyTorchKR Papers

최신 논문

총 10편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.03498v2cs.RO

탐지 및 억제: VLA 모델의 적대적 패치에 대한 기제론적 방어

Detect and Suppress: A Mechanistic Defense against Adversarial Patches in VLA Models

적대적 패치(adversarial patch)는 시각적 관측을 조작하여 비전-언어-행동(VLA) 모델을 교란함으로써 로봇 제어 실패를 초래할 수 있습니다. 그러나 이러한 실패의 기저에 어떤 내부 메커니즘이 존재하는지, 표적화된 개입을 통해 이를 어떻게 완화할 수 있는지는 여전히 명확히 이해되지 않았습니다. 본 연구에서는 희소 오토인코더(SAE)를 사용하여 VLA 표현을 기제론적으로 분석하고, 활성화 정도가 적대적 패치의 존재와 강하게 상관되는 특징(feature)을 식별합니다. 이 분석을 바탕으로, 선형 탐침(linear probe)이 공격을 탐지할 때에만 추론(inference) 시점에 식별된 특징을 억제합니다. 이러한 개입은 VLA를 미세조정(fine-tuning)하는 비용 없이도 견고성을 향상합니다. 저자들은 LIBERO-10에서 VLA 적대적 패치 공격에 대해 제안 방식을 평가합니다. 조건부 개입은 간헐적인 공격 상황에서 성공률을 향상하는 반면, 동일한 개입을 지속적으로 적용할 경우 정책(policy) 성능이 크게 저하됩니다. 이러한 결과는 공격 관련 내부 표현이 VLA 적대적 방어를 위한 유용한 표적이 될 수 있음을 보여주며, 정상적인 정책 동작에 대한 방해를 제한하기 위해서는 개입 시점을 제어하는 것이 중요하다는 점을 시사합니다.

arXiv:2609.25562v2cs.RO

IndustrialVLA-Bench: 오픈 로봇 정책 모델에 대한 추적 가능한 다축 평가

IndustrialVLA-Bench: A Traceable Multi-Axis Evaluation of Open Robot Policy Models

오픈 로봇 정책은 점차 두 가지 패러다임을 따르고 있습니다. 비전-언어-행동 모델(VLA)은 관측값과 지시사항을 행동으로 직접 매핑하는 반면, 월드-행동 모델(WAM)은 학습된 비디오 또는 월드 역학을 정책 학습이나 행동 생성에 통합합니다. 두 방식 모두 동일한 조작 작업을 목표로 하며 대안적인 설계 선택을 나타내지만, 일반적으로 서로 다른 평가 프로토콜 하에서 보고되어 능력, 강건성, 언어 민감도 및 배포 비용 간의 트레이드오프가 불명확한 상태로 남아 있습니다. 본 연구에서는 통합된 보고 체계 하에서 공개된 6개의 VLA 및 WAM 시스템에 대한 근거 인식(evidence-aware) 평가인 IndustrialVLA-Bench를 제시합니다. 이는 LIBERO에서의 기본 능력, LIBERO-Plus에서의 비언어적 강건성, LIBERO-Para에서의 지시사항 민감도, 관측된 실행 비용을 분리하여 평가합니다. 보고된 작업 점수는 고정된 체크포인트와 추론 구성 하에서 서로 다른 무작위 시드를 사용한 3회의 완전한 평가를 집계한 결과입니다. 6개 시스템 전체에서 기본 LIBERO 평균 점수 차이는 1.58점에 불과한 반면, 강건성 및 패러프레이즈 요약 점수의 차이는 각각 14.62점과 31.08점에 달합니다. 프로토콜을 충실히 따른 3개 시스템으로 비교를 한정하더라도 이러한 양상(1.36, 14.62, 23.10점)이 유지되므로, 여기서 보고된 진단적 분리는 더 낮은 근거 계층에 의존하지 않습니다. 또한 모든 시스템에 대해 관측된 추론 지연 시간, 최대 메모리, 런타임 모드 및 근거 상태를 함께 보고합니다. 프로토콜 준수, 준재현, 검증 대기 항목은 명확히 구분되어 유지되며, 프로토콜 준수 항목만이 엄격한 비교를 뒷받침합니다. 어느 한 패러다임의 보편적 우월성을 주장하기보다는, IndustrialVLA-Bench는 공유된 실용적 기준에 따라 공개된 로봇 정책을 비교할 수 있는 추적 가능한 근거를 제공합니다. 코드와 평가 기록은 https://github.com/xiaoqi-7/IndustrialVLA-Bench 에서 확인할 수 있습니다.

arXiv:2603.17524v2cs.RO

ExecVLA: 2단계 행동 표현을 통해 비전-언어-행동 모델에서 세분화된 실행 제약 조건을 따르기

ExecVLA: Following Fine-Grained Execution Constraints in Vision-Language-Action Models with Bi-Level Action Representation

본 연구에서는 비전-언어-행동(VLA) 모델에서 세분화된 실행 제약 조건(fine-grained execution constraint)을 따르는 문제를 다룹니다. 불변하는 작업 목표가 주어졌을 때, 정책은 상호작용 대상, 모션 패턴, 공간적 관계, 최종 구성을 포함하여 지시사항에 명시된 실행 제약 조건을 따라야 합니다. 이러한 설정은 목표 지향적 VLA의 한계를 드러냅니다. 지시사항이 작업을 실행하는 방식을 명시할 경우, 동일한 작업을 완수하는 궤적이라 하더라도 서로 대체될 수 없다는 점입니다. 우리는 2단계(bi-level) 행동 표현과 지도 학습 기반의 2단계 추론 토큰을 통해 목표 지향 컴포넌트와 실행 특화 컴포넌트를 분리하는 프레임워크인 ExecVLA를 제안합니다. 더 나아가 명시적인 목표 불변성 및 실행 예측 가능성 목적 함수를 도입하여, 동일한 목표의 여러 실행 전반에서 목표 수준 표현은 안정적으로 유지되는 반면, 실행 수준 표현은 각 실행을 구분 짓는 제약 조건을 보존하도록 합니다. 우리는 목표 및 세분화된 추론 주석을 포함하여 시뮬레이션 환경과 Realman-75 로봇에서 실행 제약 조건 추종 데이터셋을 구축했습니다. LIBERO 및 실제 로봇을 대상으로 한 실험 결과, 목표 완수율이 향상되었을 뿐만 아니라 지시사항에 명시된 실행 제약 조건을 훨씬 더 안정적으로 준수함을 보여줍니다.

arXiv:2602.15397v2cs.RO

ActionCodec: 무엇이 좋은 액션 토크나이저를 만드는가

ActionCodec: What Makes for Good Action Tokenizers

비전-언어 모델(VLM)의 고유한 자기회귀(autoregressive) 패러다임을 활용하는 비전-언어-행동(VLA) 모델은 뛰어난 인스트럭션 추종(instruction-following) 능력과 학습 효율성을 입증해 왔습니다. 이 패러다임의 핵심은 액션 토큰화(action tokenization)이지만, 기존 설계는 주로 재구성 충실도(fidelity)에만 집중하여 VLA 최적화에 미치는 직접적인 영향을 다루지 못했습니다. 그 결과, '무엇이 좋은 액션 토크나이저를 만드는가'라는 근본적인 질문은 여전히 답을 찾지 못한 채 남아 있습니다. 본 논문에서는 VLA 최적화의 관점에서 구체적인 설계 원칙을 정립함으로써 이러한 격차를 해소합니다. 정보이론적 통찰을 바탕으로 시간적 토큰 중첩 극대화, 어휘 중복 최소화, 다중 모달(multimodal) 상호 정보량 강화, 토큰 독립성을 포함한 모범 사례들을 식별합니다. 이러한 원칙에 따라, 다양한 시뮬레이션 및 실제 환경 벤치마크 전반에서 학습 효율성과 VLA 성능을 모두 크게 향상시키는 고성능 액션 토크나이저인 ActionCodec을 소개합니다. 특히 LIBERO에서 ActionCodec으로 파인튜닝된 SmolVLM2-2.2B는 어떠한 로보틱스 사전학습 없이도 95.5%의 성공률을 달성합니다. 고급 아키텍처 개선을 적용하면 97.4%에 도달하여, 로보틱스 사전학습이 없는 VLA 모델에 대한 새로운 SOTA를 기록합니다. 본 연구에서 정립한 설계 원칙과 공개된 모델이 연구 커뮤니티가 더 효과적인 액션 토크나이저를 개발할 수 있도록 명확한 로드맵을 제공할 것으로 기대합니다.

arXiv:2610.03079v1cs.AI

RIFAR: 지속적인 로봇 학습을 위한 신뢰성 및 망각 인지형 리플레이

RIFAR: Reliability and Forgetting-Aware Replay for Continual Robot Learning

진정한 체화된 에이전트(embodied agency)가 되려면 로봇이 지속적인 현실 세계 경험을 영구적이고 전이 가능한 기술로 전환할 수 있어야 합니다. 이는 작업과 환경이 진화함에 따라 이전 지식을 훼손하지 않으면서 새로운 능력을 통합하는 지속 학습(continual learning)을 요구합니다. 경험 리플레이(experience replay)는 망각을 완화하지만, 작업이 누적됨에 따라 전체 시연(demonstration)을 저장하는 데 드는 비용이 커집니다. 월드-액션 모델(world-action model)은 행동과 미래 관측의 결합 예측을 통해 과거 경험을 재구성하는 생성적 대안을 제공합니다. 그러나 시각적으로 일관된 롤아웃(rollout)이라도 예측된 전이를 실현할 수 없는 행동이 포함될 수 있으며, 새로운 작업에 적응하는 과정에서 이전에 학습한 동작이 방해받을 수 있습니다. 이에 따라 RIFAR는 신뢰성 스크리닝과 드리프트 인지형(drift-aware) 리플레이 선택을 결합합니다. RIFAR는 압축된 시연 접두사(prefix)로부터 궤적을 재구성하고 고정된(frozen) 역역학 모델(inverse-dynamics model)을 사용하여 행동-시각적 일관성을 평가합니다. 학습은 먼저 현재 시연과 스크리닝을 통과한 최고 품질의 궤적을 결합합니다. 그런 다음 RIFAR는 동일한 과거 입력에 대해 이러한 적응 전후의 행동 예측을 비교하여, 동일한 스크리닝 풀에서 정규화된 드리프트가 더 큰 궤적을 다시 선택해 지속적인 학습을 수행합니다. 세 가지 LIBERO 제품군 및 실제 환경 실험 전반에서 RIFAR는 WAM 기반 생성형 리플레이 분야의 기존 최고 성능(SOTA)을 능가합니다. LIBERO-Goal에서 RIFAR는 작업당 320개의 과거 타임스텝(50개 시연 리플레이를 사용할 때 유지되는 스텝의 약 4.9%에 불과함)만을 유지하면서도 90.97 AUC를 달성합니다.

arXiv:2610.00904v2cs.RO

Screw Attention: 트랜스포머 내부의 강체 대수학

Screw Attention: Rigid-Body Algebra Inside a Transformer

학습 기반 조작 정책(learned manipulation policy)은 강체 역학(rigid-body mechanics)이 닫힌 형식(closed form)으로 제공하는 공간적 관계를 데이터로부터 다시 학습하므로, 기하학적 변화에 취약해집니다. 본 논문에서는 두 강체 간의 관계를 그래프 에지 대신 공간 변환(spatial transform)으로 다루는 트랜스포머 층인 Screw Attention을 제안합니다. 각 토큰 쌍은 상대적 포즈(pose)를 지니며, 로봇 관절의 경우 관절 스크루(joint screw)도 함께 포함합니다. 메시지는 이러한 관계를 따라 수신자의 좌표계(frame)로 변환되어 전달되는 반면, 어텐션 스코어는 좌표계 불변(frame-invariant) 수치만을 참조합니다. 설계상 메시지는 모든 토큰에서 독립적인 좌표계 변환에 대해 동변(equivariant)성을 가지며, 단일 층만으로도 강체 역학의 속도 재귀(velocity recursion)를 표현할 수 있습니다. 물체 포즈만으로 학습된 16k 파라미터 정책은 LIBERO-Spatial에서 97.3%의 성공률을 달성하여, 동일한 크기의 그래프, 트랜스포머, 플랫(flat) 네트워크뿐만 아니라 27배 더 많은 파라미터를 가진 플랫 네트워크보다 뛰어난 성능을 보였습니다. 절제 연구(ablation study)에 따르면 이러한 성능 향상은 올바른 관계를 전달하는 데서 기인하며, 다른 방식으로는 제공되지 않는 좌표계 간 관계를 요구하는 작업일수록 이러한 구조의 효과가 가장 두드러졌습니다. 이러한 동변성 덕분에 좌표계 규약이 변경될 때 다른 모든 학습 기반 네트워크가 실패하는 상황에서도 정책이 로봇 기술 방식에 강건하게 유지됩니다. 나아가 이 정책은 해석적 제어기(analytic controller) 못지않게 포즈 노이즈와 캘리브레이션 오차를 견뎌냅니다. 해석적 제어기에 게이트 잔차(gated residual) 형태로 적용했을 때, 접촉이 많은 삽입 작업의 성능 또한 향상되었습니다. 코드와 학습된 정책은 공개될 예정입니다.

arXiv:2609.13984v2cs.RO

효율적인 VLA를 만드는 요소는 무엇인가? 액션 헤드 설계, 스케일링, 지연시간

What Makes an Efficient VLA? Navigating Action-Head Design, Scaling, and Latency

비전-언어-행동(VLA) 모델은 사전학습된 비전 인코더, 언어 백본, 액션 헤드를 결합하지만, 통제된 지연시간-쌍(latency-paired) 조건에서 각 구성 요소의 상대적 기여는 확립되지 않았다. 우리는 백본 계열(SigLIP2 및 Qwen2.5)과 학습 파이프라인을 고정하고, 액션 헤드 설계와 모듈 규모를 sweep하며, 각 구성을 측정된 온디바이스 지연시간과 짝짓는다. 연구는 세 가지 발견을 낳는다. 첫째, 액션 헤드 성능은 디코더 아키텍처, 손실, 또는 추론 예산보다 주로 초기화에 의해 좌우된다. 언어 백본의 마지막 트랜스포머 레이어를 헤드로 복사하는 것이 지연시간 비용 없이 단일 최대 레버이며, 모든 모듈 규모에서 도움이 되는 유일한 축이다. 정렬(alignment) 또한 다른 축들을 설명한다. flow matching과 더 무거운 디코더는 헤드가 정렬되지 않았을 때만 이득이 있고 정렬되면 역전되며, 추가 추론 패스는 측정 가능한 이득을 주지 않는다. 표현력(expressiveness)은 부족한 정렬을 대체하는 것으로 보인다. 우리는 이를 표현 전환(representation transfer)으로 해석한다. 정렬된 헤드는 지시문의 객체 명사에 계속 어텐션(attention)하고, 처음부터 행동을 재학습하기보다 가중치 공간에서 백본에 가깝게 유지된다. 정렬에 초기화를 통해서만 도달하기 때문에, 우리는 이를 입증된 원인이 아니라 측정값을 가장 잘 정리하는 설명으로 제시하고, 이를 확정할 통제 실험을 명명한다. 둘째, 용량(capacity)은 정렬 이후에만 효과가 있다. 정렬된 액션 헤드는 스케일링할 때 수익률이 가장 높은 모듈이다. 셋째, 그 수익은 오늘날 $\pi$-계열 VLA가 이미 사용하는 규모 근처에서 급격히 감소하므로, 더 키우는 것은 그 지연시간 대비 in-domain 정확도에서 거의 이득을 주지 않는다. 이를 바탕으로 EffVLA를 제안한다. EffVLA는 표준 LIBERO에서 최강 오픈소스 VLA와 맞먹는 소형 모델로, 더 낮은 지연시간으로 LIBERO-Plus 교란(perturbation) 축 대부분에서 선두이며, 레시피를 바꾸지 않고 실제 SO-ARM101 암에 전이된다.

arXiv:2609.24274v1cs.RO

vla.simd: 언어 조건부 조작을 위한 효율적인 CPU 추론

vla.simd: Efficient CPU Inference for Language-Conditioned Manipulation

전용 GPU 없이 언어 조건부 조작을 배포하려면 효율적인 추론과 정책 쿼리 간 지연을 메워주는 액션 청크(action chunk)가 필요합니다. 본 논문에서는 공유 SIMD 마이크로 커널, 재사용 가능한 연산, 타깃 맞춤형 최적화를 결합한 CPU 추론 엔진인 vla.simd를 소개합니다. 지연(lagged) 및 시간 정렬(time-aligned) 실행 환경에서 쿼리 지연 시간과 실행 구간(execution horizon)을 액션 가용성과 연계하여 액션 공급과 피드백 빈도를 구분합니다. 6개 정책과 4개 CPU 전반에서, vla.simd는 fp32 수치적 충실도를 유지하면서 컴파일된 PyTorch 레퍼런스 대비 중앙값 기준 약 1.4배의 속도 향상을 달성합니다. 또한 캐시된 텍스트 표현과 언어 변조된 시각적 특징을 활용하는 ACT 기반 정책인 IMPACT를 소개합니다. IMPACT는 평가된 세트 중 라즈베리 파이 5(Raspberry Pi 5)에서 최소 30 actions/s를 공급하는 유일한 언어 조건부 정책으로, 90초간 열 포화(thermal soak) 후 fp32에서 33.5 actions/s, int8에서 81.2 actions/s를 공급합니다. 별도의 GPU 평가에서는 로봇 사전학습 없이 4개의 LIBERO 제품군 전반에서 76.4%의 평균 성공률을 기록했으며, 인스트럭션 셔플링(instruction-shuffling) 테스트를 통해 익숙한 목표 중 선택이 가능함을 보였습니다. SO-101 로봇 팔을 활용한 IMPACT 실험 및 Robotiq 그리퍼가 장착된 UR10e 환경에서의 SmolVLA 실험을 통해 두 가지 로봇 임바디먼트(embodiment)에서의 CPU 배포를 입증합니다.

arXiv:2606.06761v1cs.RO

AxisGuide: RGB 관측에서 로봇 행동 좌표계를 그라운딩하여 강건한 비주모터 조작 실현

AxisGuide: Grounding Robot Action Coordinate System in RGB Observations for Robust Visuomotor Manipulation

대규모 행동 복제(behavior cloning)를 통해 학습된 비주모터(visuomotor) 조작 정책은 강력한 의미론적 장면 이해 능력을 달성했지만, 분포 변화 하에서 올바른 저수준 행동을 안정적으로 실행하는 데 자주 실패한다. 예를 들어, 동일한 장면 배치, 카메라 시점, 조명 조건의 단순한 물체 집기 작업에서도 물체가 학습 시 보지 못한 위치에 놓이면 성능이 크게 저하될 수 있다. 우리는 이러한 격차가 불충분한 행동 이해, 즉 이미지 공간에서 로봇의 베이스 프레임 행동 좌표계를 해석하는 능력의 부재에서 비롯된다고 주장한다. 이 문제를 해결하기 위해, 우리는 의미론적 장면 이해와 행동 좌표 해석을 연결하는 경량 가이던스 방법인 AxisGuide를 제안한다. AxisGuide는 카메라 파라미터와 엔드이펙터 포즈를 활용하여 각 카메라 뷰에 로봇 베이스 프레임 축을 렌더링하고, 이미지 공간에서 +x, +y, +z 방향 움직임의 의미를 명시적으로 시각화하는 소수의 큐 채널로 RGB 관측을 보강한다. LIBERO 시뮬레이션과 실제 환경 모두에서 수행된 광범위한 평가를 통해 AxisGuide가 상당한 성능 향상과 향상된 일반화를 달성함을 입증하며, 이는 신뢰할 수 있고 전이 가능한 범용 비주모터 정책 학습에 있어 명시적 행동 좌표 큐의 효과를 부각시킨다.

arXiv:2606.06660v1cs.AI

AEGIS: 물리적 AI를 위한 백업 반사 메커니즘

AEGIS: A Backup Reflex for Physical AI

장기 수평(long-horizon) 로봇 조작은 점진적으로 실패하는 경향이 있습니다. 하나의 잘못된 단계가 상태를 악화시키고, 정책이 회복 불가능한 분지(basin)로 나선형으로 빠져들게 됩니다. 이러한 실패는 종종 발생하기 전에 감지할 수 있습니다. 우리는 AEGIS(Activation-probe Early-warning, Gated Inference Switching)를 소개합니다. 이는 약한 정책의 동결된 활성화(activations)에 경량 프로브를 적용하여, 아직 대응할 시간이 있을 때 고위험 단계를 탐지하는 선택적 에스컬레이션 방법입니다. 프로브가 특정 단계를 위험 신호로 표시하면, 제어권이 더 강한 별도의 정책으로 전환되지만, 이는 필요한 단계에서만 이루어집니다. LIBERO-Spatial에서 AEGIS는 약한 정책 단독으로 실패하는 궤적의 10.1%를 복구하는 반면, 예산이 동일한 블라인드 에스컬레이션은 4.6%, 무작위 트리거 플라시보는 5.1%에 불과합니다. 이러한 향상은 세 가지 사전 등록된 비교에 대해 Holm-Bonferroni 조정을 적용한 단측 정확 쌍별 McNemar 검정에서 유의미합니다: 블라인드 에스컬레이션 대비 +5.4pp(p=8.5e-6), 무작위 트리거링 대비 +5.0pp(p=1.0e-4), 쌍별 궤적 부트스트랩 신뢰구간은 0을 포함하지 않습니다. AEGIS는 전체 단계의 38%에서만 더 강한 정책을 활성화하므로, 핵심은 컴퓨팅 자원보다 타이밍에 있습니다. 프로브는 어떠한 핸드오프가 발생하기 전, 궤적 단계의 첫 30% 구간에서 약한 정책 경로를 통해 측정된 초기 구간 AUROC 0.764(95% CI [0.70, 0.84])로 사전 조건을 충족합니다. 우리는 조건부 복구 과제 비율 추정량과 명시적 중단 기준을 포함한 전체 분석 계획을 사전 등록하고, 각 군당 700회의 공통 난수 에피소드(nA-fail=646)에서 결과를 확인합니다.