PyTorchKR Papers

업데이트된 논문

총 24편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.18788v2cs.CV

HandwritingAgent: 확장 가능한 벡터 공간에서의 언어 구동 손글씨 합성

HandwritingAgent: Language-Driven Handwriting Synthesis in Scalable Vector Space

기계가 자연스러운 손글씨 스타일을 모방하도록 가르치는 것은 여전히 해결되지 않은 과제로 남아 있습니다. 이는 개인 간뿐만 아니라 한 사람의 손글씨 내에서도 모양, 질감, 압력, 필기체가 동적으로 변화하는 획 시퀀스(stroke sequences)를 합성해야 하기 때문입니다. 이 과제에 대한 시도는 주로 온라인 및 오프라인 설정에서 심층 학습(deep learning) 방법을 탐색해 왔습니다. 그러나 이러한 접근 방식은 종종 스타일 특정적 아키텍처 선택, 대규모 데이터셋(dataset)에 대한 과도한 의존, 높은 연산 비용, 그리고 자연어를 통한 작문 스타일에 대한 유연한 제어 부족으로 제한받습니다. 이를 위해 우리는 스타일 특정 학습(style-specific training) 없이 Scalable Vector Graphics (SVG) 형식으로 직접 자연스러운 손글씨 시퀀스를 합성할 수 있는 언어 구동 에이전트(agent)인 HandwritingAgent를 소개합니다. 해당 에이전트는 대규모 추론 모델(reasoning model)을 활용하여 이산 그리드 캔버스 환경(environment)에서 획 시퀀스로서 대상 손글씨 글리프(glyphs)를 기하학적으로 분석하고 자기회귀적으로 생성합니다. 생성은 대화형 또는 비대화형 모드로 제공되는 텍스트와 참조 손글씨 스타일 이미지를 기반으로 조건화됩니다. 모방, 인식, 다국어 손글씨 합성, 복잡한 손글씨 수학 및 과학 표현 생성에 이르는 다양한 손글씨 작업에 대한 실험은 성능의 상당한 개선을 나타냅니다. HandwritingAgent는 최첨단(SOTA) 생성형 손글씨 모델과 대등하거나 이를 능가하면서도 더 효율적이고 제어 가능하며 일반화 가능한 합성 방법을 제공합니다.

arXiv:2505.15275v2cs.RO

학습 기반 자율 오버스티어 제어 및 충돌 회피

Learning-based Autonomous Oversteer Control and Collision Avoidance

오버스티어는 차량의 뒷바퀴가 접지력을 잃어 의도하지 않은 과도한 요 회전을 유발하는 현상으로, 중대한 안전 문제를 야기한다. 오버스티어를 제어하지 못하면 심각한 교통사고로 이어지는 경우가 많다. 최근 자율주행 연구는 안정화 기동을 통해 오버스티어를 다루려 했으나, 대부분 전문가가 정의한 궤적에 의존하거나 장애물이 없는 환경을 가정하여 실제 적용성이 제한된다. 본 논문은 오버스티어 제어와 충돌 회피를 동시에 해결하는 새로운 종단간(E2E) 자율주행 접근법을 제안한다. 모방 학습(IL), 강화학습(RL), 하이브리드 학습(HL)을 포함한 기존 E2E 기법은 일반적으로 거의 최적에 가까운 시연이나 방대한 경험을 필요로 한다. 그러나 숙련된 인간 운전자조차 오버스티어 상황에서 완벽한 시연을 제공하기 어렵고, 높은 전이 분산은 충분한 데이터의 축적을 방해한다. 이에 본 연구는 미숙한 시연 데이터로부터 효과적으로 학습하고 새로운 조건에 빠르게 적응하는 새로운 HL 알고리즘인 Q-Compared Soft Actor-Critic(QC-SAC)을 제시한다. QC-SAC를 평가하기 위해, 실제 운전자 훈련에서 착안한 벤치마크를 도입한다. 이 벤치마크에서 차량은 미끄러운 노면에서 갑작스러운 오버스티어를 겪으며 전방에 무작위로 배치된 장애물을 피해야 한다. 실험 결과 QC-SAC는 거의 최적에 가까운 주행 정책을 달성하여 최신 IL, RL, HL 기준 모델을 크게 능가한다. 물리적 조향 하드웨어를 사용한 하드웨어 인 더 루프 시뮬레이션(HILS) 검증은 QC-SAC가 소프트웨어 전용 시뮬레이션을 넘어 작동할 수 있음을 추가로 보여 주며, 실제 차량 구현을 향한 중간 단계의 검증을 제공한다. 우리가 아는 한, 본 연구는 오버스티어 상태에서 장애물을 동시에 회피하면서 차량의 안전한 자율 제어를 달성한 최초의 연구이다.

arXiv:2610.03391v2cs.CV

월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습

Native Action-Prior Learning from Videos for World Action Models

월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.

arXiv:2607.00033v3cs.RO

인간 시연으로부터의 접촉 렌치 안내를 이용한 능숙한 조작 학습

Learning Dexterous Manipulation Using Contact Wrench Guidance From Human Demonstration

인간 시연에서 물체에 가해지는 힘과 토크를 중심으로 한 접촉 렌치 공간(contact wrench space) 가이던스를 강화학습에 적용하는 CHORD 프레임워크를 제안하며, 서로 다른 신체 구조의 로봇도 인간 시연의 기계적 효과를 공유 표현으로 비교할 수 있게 한다. 4,739개의 양손 정교 조작 태스크 벤치마크에서 82.12%의 평균 성공률을 달성하고, 전신 조작 태스크에서도 90.77%의 성공률로 실제 로봇 환경까지 정책 이전을 검증했다.

arXiv:2410.07787v4cs.RO

Learning Beyond Rigid Manipulation with Hybrid Soft-Rigid Robots

Rigid-soft robot hybrids promise to unite the precision and repeatability of rigid manipulators with the compliance and adaptability of soft structures. Yet, full-fledged rigid-soft manipulators remain largely unexplored, in part because the intelligence required to exploit this combination is still missing. Here, we introduce a hybrid robotic system obtained by the series interconnection of a rigid arm and a soft manipulator, and systematically examine its ability to perform both established and previously inaccessible manipulation tasks. We show that a tailored imitation learning algorithm -- generally applicable to this class of hybrid systems -- leverages the complementary roles of rigid precision and soft embodiment to acquire manipulation skills and generalize them in a single shot across task variations. As a result, the system matches or exceeds the performance of rigid robots in classical tasks such as stacking, while enabling qualitatively new behaviors, including grasping objects through narrow openings.

arXiv:2610.10857v2cs.AI

호라이즌 불변 행동 복제를 위한 자기 지도 키프레임 발견

Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning

비마르코프 환경에서의 행동 복제(BC)는 정책이 장기 지평에 걸친 문맥 정보를 추론해야 하므로 어려운 문제이다. 기존 정책 아키텍처는 장기 의존성을 포착하기 위해 순환 또는 어텐션 기반 메커니즘에 의존한다. 그러나 순환 모델은 시간에 대한 역전파에서 은닉 상태 붕괴와 기울기 불안정성을 겪으며, 어텐션 기반 모델은 근본적으로 문맥 길이에 의해 제한된다. 이러한 문제를 해결하기 위해 본 논문은 무작위로 추출한 과거 관측으로부터 목적 함수를 학습하고 이를 키프레임 선택의 보상으로 사용하여 정보상 핵심적인 관측 집합($\textit{mnemonics}$)을 $\textit{발견}$하는 새로운 자기지도 방법인 Keyframe Mnemonics를 제안한다. 이후 발견된 키프레임을 조건으로 하는 BC 정책을 학습하여 행동 분포를 모델링한다. 단순성 편향 가정 하에서, 본 정식화는 정책의 작업 기억에 의사결정과 관련된 소수의 키프레임만을 유지하면서도 무한 지평에 걸친 문맥 유지 보장을 제공한다. 합성 기억 도메인에서 평가한 결과, mnemonic 조건부 BC 정책은 $100$%의 성공률(SR)을 달성하고 성능 저하 없이 학습 지평을 수 자릿수 넘어서는 지평으로 일반화한다. 또한 기억 집약적인 로봇 조작 벤치마크에서 $23$개 과제에 걸쳐 가장 강력한 기준선 대비 평균 절대 SR이 $13.9$% 향상되었다. 마지막으로 실제 로봇에서 $20\times$ 더 긴 시간 지평에서도 $80$%의 SR로 일반화됨을 보인다. 코드와 영상은 https://keyframe-mnemonics.github.io 에서 확인할 수 있다.

arXiv:2609.28182v2cs.AI

AI 기반 그리드 엣지 협조를 위한 유한 표본 확률적 안전성 인증

Finite-Sample Probabilistic Safety Certification for AI-Based Grid-Edge Coordination

다수의 유연한 그리드 엣지 기기를 조정하면 시간과 자본이 많이 드는 전력망 증설의 필요성을 줄일 수 있다. 다중 에이전트 강화학습이나 모방학습과 같은 인공지능(AI) 기반 제어 방법은 실시간 의사결정 확장성 덕분에 이러한 조정에 유망하다. 그러나 시스템 운영자에게는 주어진 AI 시스템이 배포에 충분히 안전한지 판단할 독립적이고 엄밀한 방법이 여전히 필요하다. 본 논문은 AI 기반 그리드 엣지 조정을 위한 \emph{유한 표본} 확률적 안전성 인증 프레임워크를 개발한다. 핵심 아이디어는 입력–AI–의사결정–평가의 전체 워크플로를 운영자가 정의한 안전 사양 하의 이진 비안전 결과로 축약한 다음, 정확한 이항 추론을 사용하여 해당 비안전 운영 확률을 인증하는 것이다. 보류된 보정 시나리오 집합이 주어지면, 이 프레임워크는 가장 엄밀한 단측 상한 인증서와 거짓 안전 인증의 확률을 제어하는 수락/거부 배포 기준을 반환한다. 인증은 향후 운영과 \emph{다를} 수 있는 보정 분포에 대한 것이므로, 우리는 명목 인증서를 AI 모델의 취약성을 조사하는 데 널리 쓰이는 개념인, 물리적으로 해석 가능한 표본 공간 적대적 공격과 추가로 결합한다. 1,000개 에이전트 AI 모델(독립 파라미터)을 사용한 그리드 엣지 유연성 조정 사례 연구를 통해, 안전성 보장과 함께 롤링 윈도우 방식의 학습–인증–배포 흐름에 적대적 공격을 통합하는 것의 가치를 검증한다.

arXiv:2606.20135v2cs.RO

연속적이고 일관된 로봇 행동 생성을 위한 주파수 인식 플로우 매칭

Frequency-Aware Flow Matching for Continuous and Consistent Robotic Action Generation

플로 매칭은 복잡한 다중 모달 행동 분포를 모델링하는 강력한 표현력 덕분에 확산 정책과 같은 유사한 접근법과 함께 로봇 조작의 표준 패러다임으로 부상하였다. 그러나 기존 방법은 이산화된 행동 청크에 의존하므로, 이질적인 제어 주파수로 수집된 시연에 취약하고 제어 안정성을 저하시키는 시간적으로 일관되지 않은 행동이 발생하기 쉽다. 본 논문에서는 연속적이고 시간적으로 일관된 행동을 출력하는 주파수 인지 플로 매칭(Frequency-Aware Flow Matching, FAFM)을 제안한다. 이질적인 주파수 입력을 처리하기 위해 이산 행동 시퀀스를 이산 코사인 변환(DCT)으로 주파수 영역으로 변환하고, 그 결과 계수에 대해 플로 매칭을 수행하며, 코사인 기저 전개를 통해 연속 행동을 복원한다. 시간적으로 일관된 행동을 생성하기 위해 1차 시간 도함수를 정규화하여 부드러운 행동을 촉진한다. 이는 고주파 오차를 억제하고 급작스러운 행동 변화를 억제하는 소볼레프 유형의 제약에 해당한다. FAFM은 단순하고 추가적인 네트워크 파라미터를 도입하지 않으며, 독립형 플로 매칭 정책과 비전-언어-행동 모델 모두에 적용된다. 합성 토이 벤치마크, 장애물 회피, LapGym, LIBERO 전반에서 FAFM은 성공률, 다중 모달 표현력, 동작 부드러움, 수렴 속도, 기계적 편향 및 혼합 주파수 입력에 대한 강건성을 향상시킨다. 이러한 이득은 실제 Franka 로봇에 배포했을 때도 일관되게 나타난다. 코드는 https://github.com/gakakulicc/FAFM 에서 확인할 수 있다.

arXiv:2606.15912v3cs.LG

다중 턴 에이전트를 위한 커리큘럼 턴 단위 지도를 활용한 온-정책 증류

On-Policy Distillation with Curriculum Turn-level Guidance for Multi-turn Agents

계획을 수립하고 도구를 호출하며 환경과 상호작용하는 다중 턴(multi-turn) 에이전트(agent)는 복잡한 작업을 해결하기 위한 유망한 패러다임을 제공하지만, 이들의 역량은 일반적으로 실제 사용 시 추론(inference) 비용 부담이 매우 큰 대규모 모델에 의존합니다. 온-정책 증류(On-Policy Distillation, OPD)는 이러한 역량을 더 작은 학생 모델로 이전하기 위한 자연스러운 방법이지만, 본 연구에서는 이 설정에서 전형적인 실패 모드가 발생함을 발견했습니다. 즉, 작은 학생 모델의 오류가 여러 턴에 걸쳐 누적되면서 궤적(trajectory)이 교사 모델에 익숙한 상태 분포를 벗어나게 되고, 그 결과 학생 모델이 가장 필요로 하는 바로 그 지점에서 교사 모델의 지도(supervision)가 가장 신뢰할 수 없게 됩니다. 우리는 각 롤아웃(rollout) 내에서 교사 모델과 학생 모델이 생성한 턴을 혼합하고 교사 모델의 개입 확률을 0으로 감소하는 커리큘럼에 따라 조절하는 단순하면서도 효과적인 알고리즘인 지도형 온-정책 증류(Guided On-Policy Distillation, Guided-OPD)를 제안합니다. 초기에는 강력한 지도를 통해 궤적을 교사 모델의 분포에 가깝게 유지한 다음, 점진적으로 지도를 거두어 추론 시 사용되는 순수 온-정책 환경을 회복합니다. ALFWorld, ScienceWorld, WebShop에서 Qwen3-30B-A3B 교사 모델로부터 Qwen3 학생 모델들을 증류한 결과, Guided-OPD는 바닐라 OPD 대비 점수(Score)에서 평균 21.1%, 성공률(Success Rate)에서 25.5%의 상대적 향상을 달성했으며, 더 작은 학생 모델일수록 더 큰 향상을 보였습니다.

arXiv:2606.12616v2cs.AI

PersonaDrive: 폐루프 주행 시뮬레이션을 위한 인간 스타일 검색-증강 VLA 에이전트

PersonaDrive: Human-Style Retrieval-Augmented VLA Agents for Closed-Loop Driving Simulation

폐루프 주행 시뮬레이터는 대부분 규칙 기반이든 학습 기반이든 비슷하게 행동하는 교통 에이전트로 환경을 채운다. 주행 스타일을 제어하는 최근 방법은 기존 주행 기록에서 추론한 레이블, 각 스타일을 반영하도록 생성한 합성 데이터, 또는 대규모 언어 모델(LLM)이 추정한 보상 가중치로부터 스타일을 학습한다. 이는 모두 해당 스타일로 운전하도록 지시받은 사람들의 기록이 아닌 스타일에 대한 간접적 추정이다. 본 논문은 검색된 인간 시연에서 스타일을 가져오는 비전-언어-행동(VLA) 주행 에이전트 PersonaDrive를 소개한다. 시연은 참가자 15명이 보수적, 중립적, 공격적 지시 아래 주행 시뮬레이터에서 CARLA 경로를 운전한 새로운 데이터셋에서 얻었다. PersonaDrive는 고정된 이미지 인코더의 특징과 스타일별 데이터베이스에 대한 제어 신호로 경량 검색 헤드를 학습하고, 검색된 시연을 바탕으로 하나의 VLA 백본을 미세 조정한다. 스타일을 바꾸려면 다른 FAISS 인덱스를 검색하기만 하면 되며 재학습은 필요 없다. 스타일 조건화가 없는 Bench2Drive 벤치마크에서 PersonaDrive는 Driving Score를 SimLingo보다 4.6%, HiP-AD보다 2.5% 향상시키며, 검색 없는 미세 조정으로는 이 이득이 재현되지 않는다. 스타일 조건화를 적용하면 PersonaDrive는 모든 스타일에서 가장 강력한 기준선인 Drive My Way를 능가하며 Driving Score가 6.7%에서 11.6% 더 높다. 또한 평균 속도가 보수적 스타일에서 공격적 스타일로 갈수록 19.8% 상승하므로 주행이 지시를 따른다. 각 교통 에이전트는 주행 정책으로서 개별적으로 평가된다. 데이터셋과 모델 가중치는 프로젝트 페이지 https://pervasiveautonomylab.github.io/personadrive-landpage/ 에서 이용할 수 있다.

arXiv:2506.15190v4cs.LG

연속적인 동물 행동 모델링을 위한 재사용 가능한 행동 모티프 학습

Learning Reusable Behavioral Motifs for Continuous Animal Behavior Modeling

자연적인 행동은 연속적으로 전개되며 여러 맥락에 걸쳐 움직임 구조를 자주 재사용하지만, 기존의 행동 분할 방법은 대개 각 시점에 단일한 이산 음절을 할당하거나 제한적인 생성 가정을 부과한다. 우리는 행동을 재사용 가능한 행동 모티프의 시간에 따라 변하는 조합으로 모델링하는 계산 프레임워크인 Motif-based Continuous Dynamics(MCD)를 소개한다. MCD는 강화학습 프레임워크 내에서 스펙트럴 표현 학습을 통해 전이 동역학으로부터 모티프를 잠재적인 행동 수준 특징으로 학습한다. 이후 MCD는 오프라인 모방 학습을 통해 시간 또는 맥락에 걸쳐 이러한 모티프를 결합하는 정책을 추론한다. 이러한 정식화는 연속성과 조합성을 포착하면서 경직된 행동 경계를 피한다. 시뮬레이션된 그리드월드 및 연속 제어 과제, 생쥐의 미로 탐색 및 자세 데이터 전반에서, MCD는 과제 및 시간적 변이를 설명하는 재사용 가능한 모티프를 식별한다. 따라서 MCD는 계산적 행동 분석을 위한 유연하고 해석 가능한 프레임워크를 제공한다. 코드는 https://github.com/G1NO3/MCD 에서 이용할 수 있다.

arXiv:2606.12109v3cs.RO

형태학적 격차 해소: 의도 조건부 미세조정을 통한 VLA 모델의 정교한 조작 적응

Bridging the Morphology Gap: Adapting VLA Models to Dexterous Manipulation via Intent-Conditioned Fine-Tuning

사전 학습된 비전-언어-행동(VLA) 모델은 로봇 조작을 위한 의미적·공간적 사전 지식을 제공하지만, 평행 그리퍼 인터페이스에서는 다지 손가락의 접촉 조정이 암묵적으로 남는다. 이러한 모델을 적응시키려면 시의적절한 파지 전환과 임바디먼트에 특화된 손 궤적이 모두 필요하다. 본 논문은 이 두 요구 사항을 연결하는 의도 조건부 프레임워크인 InDex를 제안한다. 리타기팅된 시연에서 도출한 정규화된 개구 신호가 전체 손 행동 지도를 유지하면서 스칼라 파지 의도를 지도한다. 1단계는 동기화된 엔드 이펙터-의도 청크를 학습하고, 2단계는 이러한 예측, 시각-언어 맥락, 고유 수용 감각에 조건화된 확산 손 디코더를 학습한다. 순차적 최적화는 저속 공동 적응을 통한 능숙한 제어를 학습하기 전에 상류 인터페이스를 확립한다. 네 가지 시뮬레이션 과제 전반에서 $\pi_{0.5}$를 사용한 InDex는 평균 과제 성공률 85.8%를 달성하여 기본 정책보다 35.5%p 향상시켰으며, 미세조정이나 재보정 없이 유사한 형상의 미학습 물체에서 69.0%에 도달한다. 개선은 세 가지 VLA 백본과 별도로 학습한 실제 환경 정책에서도 유지되며, 실제 환경에서는 평균 성공률이 71.0%에서 83.0%로 증가한다. 구성 요소 절제 실험과 타이밍 개입은 명시적인 파지 의도 조건화와 표현력 있는 손 생성의 가치를 뒷받침한다. 이러한 결과는 평행 그리퍼 사전 지식을 능숙한 조작에 적응시킬 때 팔-손 조정이 실행 가능한 병목임을 보여 준다.

arXiv:2605.24011v4cs.CV

ActQuant: 비전-언어-행동 모델을 위한 4비트 미만 행동 유도 백본 가중치 전용 양자화

ActQuant: Sub-4-bit Action-Guided Backbone Weight-Only Quantization for Vision-Language-Action Models

비전-언어-행동(VLA) 모델은 임바디드 지능을 위한 뛰어난 행동 생성 능력을 보이지만, 막대한 연산량 때문에 엣지 플랫폼에 배포하기 어렵다. 공격적인 4비트 미만 가중치 양자화가 자연스러운 해결책이지만, 기존 사후 학습 양자화(PTQ) 방법은 이 영역에서 심각한 성능 저하를 겪는다. 이를 해결하기 위해 두 단계로 동작하는 행동 유도 혼합 정밀도 PTQ 프레임워크인 ActQuant를 제안한다. (1) 텐서 간 비트 할당기는 각 가중치 행렬이 에이전트의 행동 예측에 기여하는 정도에 따라 행렬마다 단일 비트 폭을 할당한다. (2) 텐서 내 스케일 최적화기는 행동 인지 곡률을 사용하여 블록별 양자화 스케일을 조정함으로써, 제어에 가장 큰 영향을 미치는 가중치에 동적 범위가 집중되도록 한다. 공격적 양자화의 온디바이스 이점을 제공하기 위해, 아키텍처를 효율적인 저비트 커널을 갖춘 네이티브 C/C++ 런타임으로 이식하는 에이전트형 변환 파이프라인인 OmniModel.cpp도 추가로 도입한다. 모든 모델을 OmniModel.cpp로 배포하여 시뮬레이션과 실제 6자유도 UR3 로봇 팔에서 ActQuant를 평가한다. LIBERO 벤치마크에서 ActQuant는 가중치당 3비트 이하에서 동작하는 유일한 방법이며, OpenVLA-OFT에서 95.0%, $\pi_{0.5}$에서 94.8%를 유지한다. 더 밀어붙이면 ActQuant는 OpenVLA-OFT에서 2.5 bpw로 90.1%에 도달하며 백본을 14.3 GB에서 2.7 GB로(5.3$\times$) 압축한다. 실제 UR3 로봇 팔에서 ActQuant로 양자화한 $\pi_{0.5}$는 기준 모델의 성공률을 유지하면서 메모리 사용량을 2.5$\times$ 줄인다.

arXiv:2602.17659v3cs.CV

비전이 언어를 우선할 때: VLA의 반사실적 실패 평가 및 완화

When Vision Overrides Language: Evaluating and Mitigating Counterfactual Failures in VLAs

비전-언어-행동 모델(VLA)은 언어 지시를 로봇 제어에 접지할 것으로 기대되지만, 실제로는 언어를 충실히 따르지 못하는 경우가 많다. 장면에 특화된 강한 지도 신호가 없는 지시가 주어지면, VLA는 반사실적 실패를 겪는다. 즉 데이터셋 편향이 유발한 시각적 지름길에 기반해 행동하여, 언어적 의도와 무관하게 잘 학습된 행동을 반복 실행하고 훈련 중 자주 본 객체를 선택한다. 체계적인 연구를 지원하기 위해, 동일한 LIBERO 장면 배치 하에서 대안적이고 수행 가능한 과제 지시를 부여함으로써 언어 追従 능력을 평가하는 최초의 VLA용 반사실 벤치마크 LIBERO-CF를 제안한다. 평가 결과, 반사실적 실패는 최신 VLA 전반에 걸쳐 만연하지만 충분히 탐구되지 않았음이 드러났다. 이러한 실패를 완화하기 위해, VLA의 언어 조건화를 명시적으로 강화하는 단순하면서도 효과적인 이중 분기 추론 방식인 반사실 행동 가이던스(CAG)를 제안한다. CAG는 표준 VLA 정책을 병렬의 언어 비조건 분기와 결합하여, 언어 지시로 인해 발생하는 두 행동 예측 간의 차이를 증폭한다. 이 설계는 시각적 지름길에 대한 의존을 줄이고 반사실 과제에서의 강건성을 높이며, 추가 시연이나 기본 VLA 아키텍처 및 사전 학습 가중치의 수정을 필요로 하지 않는다. 광범위한 실험은 다양한 VLA에서 일관된 향상을 보여준다. LIBERO-CF에서 훈련이 필요 없는 변형인 TF-CAG는 $\pi_{0.5}$의 언어 접지를 9.7%, 과제 성공률을 3.6% 향상시킨다. 별도의 비전-행동(VA) 모듈을 사용하면 VA-CAG는 각각 15.5%와 8.5%로 더 큰 향상을 달성한다. 실제 환경 평가에서 VA-CAG는 평균적으로 언어 접지를 9.4%, 과제 성공률을 17.2% 향상시킨다.

arXiv:2505.04897v3cs.RO

CubeDAgger: 효율적이면서도 저위험 상호작용을 갖춘 동적 시스템용 상호작용형 모방 학습

CubeDAgger: Interactive Imitation Learning for Dynamic Systems with Efficient yet Low-risk Interaction

상호작용형 모방 학습은 전문가의 단계별 지도를 통해 에이전트의 제어 정책을 견고하게 만든다. 최근의 알고리즘은 대부분 지도 시점을 제한적으로 선택하여 전문가의 부담을 줄이기 위해 전문가-에이전트 전환 시스템을 사용한다. 그러나 이 접근법은 정적 과제에서만 유용하며, 동적 과제에서는 시점 불일치가 행동의 급격한 변화를 일으켜 로봇의 동적 안정성을 상실하게 한다. 따라서 본 논문은 동적 과제에서도 동적 안정성 위반을 줄이면서 견고성을 향상시키는 새로운 방법인 CubeDAgger를 제안한다. 제안 방법은 기준 방법인 EnsembleDAgger 위에 세 가지 개선을 더하여 설계되었다. 첫째, 지도 시점을 결정하는 임계값을 명시적으로 활성화하기 위해 정규화를 추가한다. 둘째, 전문가-에이전트 전환 시스템을 여러 행동 후보의 최적 합의 시스템으로 변환한다. 셋째, 시간적으로 일관된 탐색을 위해 에이전트의 행동에 자기회귀 유색 잡음을 주입한다. 이러한 개선은 시뮬레이션으로 검증되었으며, 학습된 정책이 상호작용 중에도 동적 안정성을 유지하면서 충분히 견고함을 보여 준다. 마지막으로, 인간 전문가와 함께한 실제 로봇 떠내기 실험은 제안 방법이 단 30분의 상호작용만으로 처음부터 견고한 정책을 학습할 수 있음을 입증한다. https://youtu.be/kBl3SCTnVEM

arXiv:2607.20345v2cs.RO

실험실-매장 격차 해소: 소매 휴머노이드를 위한 데이터 효율적 사후 학습 및 경험 기반 학습 VLA 프레임워크

Closing the Lab-to-Store Gap: A Data-Efficient Post-Training and Experience-Driven Learning VLA Framework for Retail Humanoids

벤치마크 성능과 신뢰할 수 있는 실세계 운용 사이의 격차를 좁히는 것은 실행 오류, 분포 이동(distribution shift), 환경 변동성을 처리해야 하는 비전-언어-행동(VLA) 휴머노이드 로봇의 핵심 과제로 남아 있다. 본 논문은 DEED(Data-Efficient Post-Training and Experience-Driven Learning, 데이터 효율적 사후 학습 및 경험 기반 학습)를 제안하며, 이는 Unitree G1-Edu 휴머노이드 로봇과 GR00T N1.6 파운데이션 모델을 사용한 슈퍼마켓 과자 재입고 작업에서 평가된 시스템 수준 접근법이다. DEED는 세 가지 핵심 구성 요소로 이루어진다: (1) 제어 주파수 정렬, 데이터 큐레이션, 작업 관련 시각적 강조, VLA 의존도 감소를 포함하는 데이터 효율적 사후 학습 파이프라인; (2) 텍스트 기반 advantage 접두 문맥과 비전-언어 가치 함수를 통해 RECAP에서 적용한 경험 기반 정제의 실세계 연구; (3) 분포 내(in-distribution) 및 분포 외(out-of-distribution) 행동을 연구하기 위한 잠재 공간(latent-space) 분석 도구. 우리의 결과는 실험실-매장 격차를 메우는 것이 주로 아키텍처 문제가 아니라 시스템 통합 과제임을 시사한다. 신중한 데이터 설계와 표적화된 사후 학습은 단순 미세조정에서 실패하는 정책을 단일 GPU만으로 유능한 실세계 시스템으로 변환할 수 있다.

arXiv:2607.08974v2cs.RO

CLAP: 언어-행동 그라운딩을 통한 직접적인 VLM-to-VLA 적응

CLAP: Direct VLM-to-VLA Adaptation via Language-Action Grounding

비전-언어-행동 모델(VLA)은 사전학습된 VLM으로부터 의미적 능력을 물려받지만, 로봇 데이터에 대한 대규모 후학습과 구조 변경이 백본을 광범위하게 변형시켜 VLM이 제어에 기여하는 바를 분리하기 어려워진다. 구조 변경을 최소화하여 사전학습된 VLM을 직접 VLA로 변환하면 모델 규모 전반에서 VLM 능력이 어떻게 전이되는지 이해하는 더 투명한 경로를 제공한다. 핵심 장애물은 출력 분포 불일치이다. 행동을 단순한 숫자 토큰 시퀀스로 예측하면 생성이 VLM의 사전학습된 언어 분포에서 멀어져, 보존하려는 능력이 저하된다. 이를 해결하기 위해 각 숫자 행동 시퀀스 앞에 자연어 행동 설명을 덧붙여, 백본 구조를 수정하지 않고도 정밀한 행동 토큰 예측이 언어-행동 계획에 인과적으로 조건화되도록 하는 CLAP(Causal Language-Action Prediction)을 제안한다. 4~5시간의 학습만으로 2B CLAP은 LIBERO에서 90.8%를 달성하여 VLA-0 대비 14.9%p 높으며, 언어, 객체, 공간 교란 하의 LIBERO-PRO에서 강건성을 개선한다. 절제 실험은 성능 향상이 행동에 근거한 언어 의미에서 비롯됨을 보이며, 실제 UR5e 로봇에서 2B CLAP은 동일 조건의 VLA-0의 15%에 비해 60%의 성공률에 도달한다. 단일 VLM 계보에서 나온 개방 가중치 다중 규모 소형 VLA 계열로서 CLAP을 0.8B, 2B, 4B로 공개하여, VLM-VLA 능력 전이에 대한 통제된 분석을 가능하게 한다.

arXiv:2606.11901v2cs.RO

DuoBench: 시뮬레이션과 실제 환경에서의 양팔 조작을 위한 재현 가능한 벤치마크

DuoBench: A Reproducible Benchmark for Bimanual Manipulation in Simulation and the Real World

양팔 로봇 시스템은 조작 능력을 크게 확장하지만, 두 팔을 조율하는 것은 기존 벤치마크가 충분히 포착하지 못하는 추가적인 제어 복잡성과 실패 모드를 초래한다. 우리는 FR3 Duo 플랫폼에서 양팔 조작 정책을 평가하기 위한 확장 가능한 벤치마킹 프레임워크인 DuoBench를 소개한다. DuoBench는 네 가지 조율 범주에 걸친 11개의 과제로 구성되며, 시뮬레이션으로 구현되고 3D 프린팅이 가능한 자산을 갖춘 재현 가능한 과제 레시피를 통해 실제 환경에서도 부분적으로 재현된다. 또한 우리는 이진 성공 여부를 넘어 세밀한 의미론적 실패 분석을 지원하는 단계 기반 평가 방식을 제안한다. 이는 신뢰구간을 포함한 단계 조건부 통과율과 모든 벤치마크 과제에 대한 사람이 원격 조종한 데이터셋을 포함한다. 우리는 시뮬레이션과 실제 하드웨어에서 여러 모방 학습 및 비전-언어-행동 정책을 벤치마킹한다. 실험 결과, 현재의 정책은 특히 상호작용 초반, 팔의 병렬 실행 중, 그리고 시뮬레이션-실제 전이 환경에서 양팔 조작에 여전히 어려움을 겪는 것으로 나타났다. 또한 시뮬레이션이 실제 실험과 동일한 실패 모드를 드러낸다는 것을 확인했다. DuoBench는 이러한 실패 모드를 분석하고 향후 양팔 정책 학습 방법을 연구하기 위한 재현 가능한 테스트베드를 제공한다. 코드, 데이터셋, 영상은 https://duobench.github.io 에서 이용할 수 있다.

arXiv:2607.22535v2cs.RO

로봇 렌더링을 통한 로봇 요인 분리 월드 모델

Robot-Factored World Models via Robot Rendering

행동 조건부 비디오 월드 모델은 초기 관측과 행동 신호로부터 미래 관측을 예측한다. 우리는 행동 실현과 장면 반응 예측을 분리하기 위해 두 가지 로봇 특유의 요인을 월드 모델 밖으로 옮기는 로봇 분해형 월드 모델(RoFacto)을 제안한다. 첫째는 행동 실현으로, 각 명령 시퀀스를 장면 접촉 없이 로봇 자체의 제어기와 기구학을 통해 전개하여, 미래의 실현된 상태를 요구하지 않는 배포 가능한 공칭 궤적을 얻는다. 둘째는 로봇 렌더링으로, 이 공칭 궤적을 로봇 URDF를 통해 렌더링함으로써 로봇의 형상, 기구학, 외형을 모델에서 분리하여 명시적인 렌더링된 로봇 기하로 옮긴다. 쌍을 이루는 엔드 이펙터 및 장면 깊이는 접촉과 가림에 대한 기하학적 단서를 제공하며, 카메라를 고려한 정적 RGB 문맥과 렌더링된 로봇 기하는 시점과 형태를 가로지르는 공유 시각 인터페이스를 이루고, 모델은 이를 통해 장면 반응을 학습한다. 실험 결과, 렌더링 인터페이스는 벡터 조건부 기준선을 능가하고, 보지 못한 로봇 형태로의 전이를 지원하며, 리타기팅된 인간 시연으로부터 로봇 조작 비디오를 생성한다.

arXiv:2610.03498v2cs.RO

탐지 및 억제: VLA 모델의 적대적 패치에 대한 기제론적 방어

Detect and Suppress: A Mechanistic Defense against Adversarial Patches in VLA Models

적대적 패치(adversarial patch)는 시각적 관측을 조작하여 비전-언어-행동(VLA) 모델을 교란함으로써 로봇 제어 실패를 초래할 수 있습니다. 그러나 이러한 실패의 기저에 어떤 내부 메커니즘이 존재하는지, 표적화된 개입을 통해 이를 어떻게 완화할 수 있는지는 여전히 명확히 이해되지 않았습니다. 본 연구에서는 희소 오토인코더(SAE)를 사용하여 VLA 표현을 기제론적으로 분석하고, 활성화 정도가 적대적 패치의 존재와 강하게 상관되는 특징(feature)을 식별합니다. 이 분석을 바탕으로, 선형 탐침(linear probe)이 공격을 탐지할 때에만 추론(inference) 시점에 식별된 특징을 억제합니다. 이러한 개입은 VLA를 미세조정(fine-tuning)하는 비용 없이도 견고성을 향상합니다. 저자들은 LIBERO-10에서 VLA 적대적 패치 공격에 대해 제안 방식을 평가합니다. 조건부 개입은 간헐적인 공격 상황에서 성공률을 향상하는 반면, 동일한 개입을 지속적으로 적용할 경우 정책(policy) 성능이 크게 저하됩니다. 이러한 결과는 공격 관련 내부 표현이 VLA 적대적 방어를 위한 유용한 표적이 될 수 있음을 보여주며, 정상적인 정책 동작에 대한 방해를 제한하기 위해서는 개입 시점을 제어하는 것이 중요하다는 점을 시사합니다.