PyTorchKR Papers

최신 논문

총 2,515편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2609.12557v2cs.CV

DRS-VPT: 비전 포인트 트랜스포머를 이용한 스캔 내 직접 재위치 추정

DRS-VPT: Directly Relocalizing in a Scan with Vision Point Transformers

본 논문은 기반 모델 수준의 이미지-스캔 정합을 위한 순전파 트랜스포머 아키텍처인 DRS-VPT를 제시한다. 질의 이미지와 참조 3D 포인트 클라우드가 주어지면, 모델은 스캔의 자세와 포인트 맵을 각 카메라의 자세 및 포인트 맵과 함께 예측하며, 모두 첫 번째 카메라의 좌표계로 표현된다. 또한 스캔을 첫 번째 이미지에 직접 재투영 정렬하기 위해 포인트별 및 픽셀별 특징의 조대-정밀 피라미드를 추가로 예측한다. 이러한 정식화는 자율주행의 카메라-LiDAR 보정과 실내 카메라-지도 재위치 추정과 같은 하위 과업을 통합한다. 단일 DRS-VPT 모델은 자율주행의 이미지-LiDAR 정합에서 최고 수준의 성능을, 지도별 가중치를 학습하지 않고도 실내 재위치 추정에서 경쟁력 있는 성능을, 그리고 보지 못한 환경으로의 강력한 제로샷 전이를 달성한다. 또한 모델이 뒷면을 향한 포인트의 가림과 같은 복잡한 스캔-이미지 투영 특성을 학습함을 정성적으로 보인다. 코드와 모델은 https://github.com/ori-drs/drs-vpt 에서 제공된다.

arXiv:2608.07314v2cs.RO

TEMPO: 비전-언어-행동 모델을 위한 의미-행동 분리 강화학습 사후 학습

TEMPO: Semantic-Action Decoupled RL Post-Training for Vision-Language-Action Models

비전-언어-행동(VLA) 모델은 일반적으로 지도 미세조정(SFT) 또는 온라인 강화학습(RL) 사후 학습을 통해 하위 조작 과제에 적응된다. SFT는 분포 불일치가 발생하기 쉽고, 기존 RL 접근법은 학습 가능한 구성 요소들이 서로 다른 기능적 역할을 수행함에도 불구하고 일반적으로 모든 구성 요소를 단일 RL 루프 안에서 균일한 갱신 비율로 최적화한다. 본 논문은 VLA 모델을 위한 의미-행동 분리형 2중 시간 척도 RL 사후 학습 프레임워크인 TEMPO를 제안한다. TEMPO는 사전 학습된 비전-언어 백본을 고정하고, 전용 RL 루프를 갖는 두 구성 요소, 즉 행동 전문가(action expert)를 조건화하는 잠재 행동을 생성하는 의미 투영 계층과 저수준 행동 전문가 자체를 적응시킨다. 의미 투영 계층은 드물게, 행동 전문가는 빈번하게 갱신되며, 이는 잠재 행동의 드리프트를 제한하면서 행동 전문가가 온라인 피드백으로부터 학습하도록 하는 것을 목표로 한다. 분석 결과, 동일한 갱신 빈도와 비교했을 때 의미 갱신을 덜 빈번하게 수행하면 잠재 행동 드리프트가 감소하고 정책 성능이 향상된다. CALVIN 벤치마크와 실제 환경 조작 과제에 대한 실험에서 TEMPO는 사전 학습된 최신 VLA 모델과 RL 사후 학습 기준선을 모두 능가했으며, 세 가지 실제 과제에서 더 높은 평가 보상을 달성하고 유지하였다.

arXiv:2606.18532v2cs.CR

AI 샌드박스: 위협 모델, 분류 체계 및 측정 프레임워크

AI Sandboxes: A Threat Model, Taxonomy, and Measurement Framework

AI 샌드박스는 소프트웨어 도구, 네트워크로 연결된 장치, 또는 물리적 액추에이터를 통해 작동할 수 있는 시스템에 대한 증거를 생산한다. 이 증거의 해석은 실험의 경계에 달려 있다. 우리는 샌드박스 장치를 정의하고, 서로 겹치는 다섯 가지 원형을 구분하며, 주장 상대적인 측정 차원 열다섯 가지를 명시한다. 최약 고리 허가 규칙(weakest-link licensing rule)은 배치 주장을 가장 약한 필수 증거 차원 수준으로 제한한다. 우리는 이 규칙을 외부로의 피해와 평가 장치의 훼손을 모두 다루는 위협 모델과 연결하고, 주행, 산업 제어, 도구를 사용하는 에이전트, 비전-언어-행동 조작을 아우르는 네 가지 실제 사례에 적용한다. 또한 필요한 산출물을 표준 및 규제 수단에 대응시킨다. 이 프레임워크는 제한된 실험이 어떤 주장을 뒷받침하는지, 그 통제가 어떤 실패를 억제하는지, 그리고 배치 이전에 어떤 가정이 추가 검증을 필요로 하는지를 식별한다.

arXiv:2606.03159v4cs.CV

NVIDIA OmniDreams: 폐루프 자율주행 차량 시뮬레이션을 위한 실시간 생성형 월드 모델

NVIDIA OmniDreams: Real-Time Generative World Model for Closed-Loop Autonomous Vehicle Simulation

자율주행 차량의 능력이 발전함에 따라, 롱테일 시나리오에서 주행 정책의 안전한 평가는 여전히 핵심 병목으로 남아 있다. 폐루프(closed-loop) 시뮬레이션에서는 주행 정책 모델이 환경과 능동적으로 상호작용하며, 그 행동이 시뮬레이터 상태를 동적으로 갱신하고 다음에 생성되는 센서 관측값에 직접 영향을 미친다. 최근의 재구성(reconstruction) 기반 신경망 시뮬레이터는 사실적인 시각 품질(photorealism)을 제공하지만, 근본적으로 초기 캡처 데이터에 제약받으며 고도로 동적인 장면이나 새로운 장면으로의 일반화에 어려움을 겪는다. 이러한 한계를 극복하기 위해, 우리는 OmniDreams를 제안한다. OmniDreams는 Cosmos 확산(diffusion) 모델로부터 중간 학습 및 사후 학습된 기반 생성형 월드 모델로, 실시간으로 행동 조건부(action-conditioned) 영상을 자기회귀(autoregressively)적으로 생성한다. Cosmos의 풍부한 시각적 사전 지식(prior)을 활용하고 2만 1천 시간의 주행 시나리오에 대한 중간 학습 및 사후 학습을 통해, OmniDreams는 극한 기상 조건이나 예측 불가능한 동적 에이전트 행동과 같이 기존 시뮬레이터가 포착하기 어려운 복잡하고 관측되지 않은 현상을 합성한다. 중요하게도, OmniDreams는 과거 프레임, 현재 시뮬레이터 상태, 그리고 즉각적인 주행 행동에 조건을 걸어 사실적인 센서 데이터 생성을 자기회귀적으로 수행한다. Alpamayo 1 정책 모델과 AlpaSim 오케스트레이터와 함께 폐루프 시스템에 배치되었을 때, OmniDreams는 고도로 반응적인 환경으로 작동하며, 차세대 자율주행 정책의 학습과 평가를 위한 확장 가능하고 포괄적인 솔루션을 제공한다. 또한 OmniDreams로부터 사후 학습된 월드-행동 모델(WAM)이 Physical AI Autonomous Vehicles NuRec 데이터셋에서 강력한 성능을 달성하며, 총 파라미터 수의 1/5만 사용하면서 VLA 기반 Alpamayo 1.5 연구용 정책 모델을 능가한다는 예비 결과를 제시한다. 이 결과는 OmniDreams와 같은 실시간 월드 모델이 정책 아키텍처의 백본(backbone)으로도 활용될 수 있는 잠재력을 보여준다.

arXiv:2605.21714v2cs.CV

AVI-HT: 장갑을 낀 손의 3D 추적을 위한 적응형 비전-IMU 융합

AVI-HT: Adaptive Vision-IMU Fusion for 3D Gloved Hand Tracking

우리는 1인칭 시점 이미지와 장갑에 장착된 6자유도 IMU 신호를 함께 모델링하여 3D 손 자세를 추적하는 적응형 시각-IMU 융합 접근법인 AVI-HT를 제시한다. AVI-HT는 특히 시각적 가림이 심한 손-물체 상호작용(HOI) 시나리오에서 정확도와 가용성을 크게 향상시켰다. 두 가지 상호 보완적 요소가 그 성공을 뒷받침한다. (1) 신체 착용형 비전-IMU 센서 스트림과 모션 캡처 시스템의 정답 3D 손 자세를 짝지은 동기화된 다중 모달 학습 데이터, 그리고 (2) 비전과 개별 IMU 센서에 부여하는 신뢰도를 적응적으로 조절하는 교차 센서 심층 어텐션 메커니즘이다. 실제 환경에서 AVI-HT를 평가하기 위해, 사용자가 일상 작업 중 다양한 물체를 다루는, 동기화된 3D 주석 자세가 포함된 10만 개 이상의 비전-IMU 쌍 샘플로 구성된 DexGloveHOI 데이터셋에서 폭넓은 실험을 수행한다. 두 가지 손 모델(UmeTrack, MANO) 하에서 여러 단일 및 다중 모달 추적 접근법과 비교한다. 결과는 AVI-HT가 기준 방법 대비 평균 키포인트 오차를 16.1%, 손목 정렬 변형의 오차를 24.2% 줄임을 보여 준다. 손-물체 접촉 평가에서는 AVI-HT가 조작 대상 물체와의 손가락 접촉을 시간에 걸쳐 더 정확하고 일관되게 유지하여 접촉 손실을 8.5% 줄인다. 절제 연구는 또한 우리의 융합 설계가 더 단순한 방식보다 우수하며, 가림이 커질수록 이득이 증가하고 피험자 전반에서 유지됨을 보여 준다.

arXiv:2604.08410v4cs.CV

BLaFA: 도구 사용 시 정교한 로봇 파지를 위한 언어와 3D 기능적 어포던스의 연결

BLaFA: Bridging Language to 3D Functional Affordances for Dexterous Robotic Grasping in Tool Use

산업 조립, 장비 유지보수, 일상적인 도구 사용 상황에서 로봇은 물체를 안정적으로 파지하는 것뿐 아니라 작업 의도와 도구의 기능에 따라 작업에 적합한 접촉 구성을 형성해야 한다. 그러나 기존 방법은 개방형 어휘 지시문에서 3D 기능적 접촉 구조 및 정교한 파지 구성으로의 명시적 매핑이 부족하여, 다양한 도구와 기능적 작업에 대한 로봇의 적응성이 제한된다. 이러한 한계를 해결하기 위해 언어 기반 기능적 정교 파지를 위한 구조화된 프레임워크인 BLaFA(Bridging Language to 3D Functional Affordances for Dexterous Robotic Grasping)를 제안한다. 첫째, 지식 기반 언어 파싱(Knowledge-guided Language Parsing, KLP) 모듈은 구조화된 지식을 활용하여 자연어 지시문을 조작 제약의 의미적 6중항(semantic sextuple)으로 변환한다. 둘째, 3D 가우시안 스플래팅 기반의 계층적 의미 표현과 삼각 기능점 위치 추정(Triangular Functional Point Localization, TriLocation) 모듈을 개발하여 작업-도구 위상 제약 하에서 3D 기능적 접촉 키포인트의 위치를 추정한다. 마지막으로 3D 키포인트 파지 행렬 변환(3D Keypoint Grasp Matrix Transformation, KGT3D+) 모듈은 위치가 추정된 키포인트와 의미적 제약을 실행 가능한 손목 자세와 손가락 수준의 관절 및 힘 명령으로 매핑한다. 100개의 개방형 어휘 언어 지시문, 네 가지 기능적 의도를 포괄하는 14개의 작업-도구 조합, 대표적인 장면에서의 실제 로봇 실험에 대한 평가를 통해, BLaFA가 자연어 지시문을 작업에 부합하는 3D 기능적 접촉 구조와 이에 상응하는 정교한 파지로 효과적으로 변환할 수 있음을 보이며, 이로써 다양한 작업에 걸친 언어 기반 로봇 도구 사용을 가능하게 한다. 소스 코드는 공개될 예정이다. 코드는 https://github.com/PopeyePxx/BLaFA 에서 공개될 예정이다.

arXiv:2507.11662v4cs.AI

두 단계로 생각하자: 자기 근거 기반 검증을 통한 MLLM의 동의 편향 완화

Let's Think in Two Steps: Mitigating Agreement Bias in MLLMs with Self-Grounded Verification

에이전트의 행동에 보상을 부여하는 함수인 검증기(verifier)는 수학, 코드, 게임 분야의 AI 발전에 핵심적이었다. 그러나 명확한 성공 기준이 없는 영역(예: 컴퓨터 사용)으로 이러한 성과를 확장하는 것은 여전히 어려운 과제이다. 인간은 원하는 결과를 알아볼 수 있지만, 이러한 직관을 확장 가능한 규칙으로 옮기는 것은 간단하지 않다. 멀티모달 LLM(MLLM)은 세계 지식, 인간 선호 정렬, 추론 능력을 갖추고 있어 유망한 해결책을 제시한다. 본 연구는 웹 탐색, 컴퓨터 사용, 로보틱스 전반에서 13개 모델, 28개 판정자 설계, 다양한 에이전트 궤적, 서로 다른 하위 응용에 걸쳐 MLLM 검증기를 평가한다. 그 결과 MLLM이 에이전트의 행동을 과도하게 승인하는 강한 경향이라는 중대한 한계를 확인하였으며, 이 현상을 동의 편향(agreement bias)이라 명명한다. 이 편향은 모델 전반에 만연하고, 테스트 시점 확장에도 쉽게 사라지지 않으며, MLLM의 판단에 의존하는 파이프라인(예: 자기 개선)에 해를 끼친다. 검증기의 설계와 평가 원칙을 논의하고, (비)조건부 생성의 조절을 통해 MLLM 자체의 능력을 활용하여 검증을 개선하는 방법인 SGV를 제안한다. 먼저 MLLM이 평가 대상 데이터와 무관하게 바람직한 행동에 대한 폭넓은 사전 정보를 생성한다. 그다음 생성된 사전 정보를 조건으로 후보 궤적을 추론하고 판정한다. 제안 방법은 인간 선호에 더 잘 부합하는 검증기를 만들며, 실패 탐지에서 최대 25pp, 정확도에서 14pp의 향상을 보이고 하위 응용에서도 이점이 나타난다. 자기 개선과 온라인 감독에서, 본 검증기는 OSWorld의 GUI 전문 모델, robomimic의 확산 정책, VisualWebArena의 ReAct 에이전트의 과제 완료율을 높이며, 이전 SOTA를 20pp 능가한다. 마지막으로 개선된 평가기, 10배 이상의 속도 향상을 갖춘 고충실도 환경 병렬화, 그리고 비슷한 평가 충실도를 지닌 1/3 규모의 부분집합 VWA-Lite를 포함하는 VisualWebArena의 업데이트 버전을 공개한다.

arXiv:2505.13339v2cs.RO

OPA-Pack: 물체 속성 인지 로봇 빈 패킹

OPA-Pack: Object-Property-Aware Robotic Bin Packing

로봇 빈 패킹은 전자상거래와 창고 자동화에 폭넓게 응용되는 기본적인 조작 문제이다. 그러나 기존 방법은 주로 물체의 기하 형상에 초점을 맞춰 패킹 밀집도를 최적화하며, 사람이 패킹할 때 일반적으로 고려하는 파손 용이성, 식용 여부, 화학적 호환성과 같은 물체 속성을 명시적으로 모델링하지 않는다. 본 논문은 물체 속성 정보를 로봇 빈 패킹 계획에 통합하는 프레임워크인 OPA-Pack(Object-Property-Aware Packing)을 제시한다. 이 프레임워크는 검색 증강 생성과 사고 연쇄 추론에 기반한 물체 속성 인식 방식을 포함하여, 일상 물체 1,032개에 대한 속성 주석이 달린 데이터셋을 구축한다. 또한 이 프레임워크는 속성 임베딩 층을 통해 후보 물체의 속성을 인코딩하고 취약성 및 회피 높이 맵으로 컨테이너 상태를 표현하는 OPA-Net을 포함한다. 우리는 보상 함수를 설계하고 심층 Q-러닝 방식을 채택하여 OPA-Net을 학습한다. 실험 결과 OPA-Pack은 회피 정확도를 52.3%에서 95.0%로 향상시키고, 깨지기 쉬운 물체에 가해지는 하중을 29.4% 줄이며, 기준 방법의 0.420에 비해 0.413의 패킹 밀집도를 달성한다. 아울러 스캔한 실제 물체 100개에서 추출한 70개의 패킹 순서를 사용하여 물리 플랫폼에서 OPA-Pack을 평가한다. 그 결과 OPA-Pack은 패킹 밀집도를 유지하면서 밀착 배치된 비호환 물체 쌍의 수와 압축된 깨지기 쉬운 물체의 수를 줄이는 데 있어 기준 방법과 다른 패킹 휴리스틱보다 우수한 성능을 보인다.

arXiv:2404.03689v2cs.RO

가우시안 过程 학습 기반 모델 예측 제어 튜토리얼

A Tutorial on Gaussian Process Learning-based Model Predictive Control

이 튜토리얼은 확률적 잔차 모델링과 후退 구간 제어를 결합한 가우시안 과정 학습 기반 모델 예측 제어(GP-MPC)를 이해하기 쉽고 구현 중심으로 소개한다. 핵심적인 튜토리얼 기여는 GP로 보강된 예측 모델에 대한 다단계 평균 및 공분산 전파를 단계별로 상세히 유도한 것이다. 이 유도는 흔히 사용되는 전파 공식이 전체 기댓값의 법칙과 전체 공분산의 법칙에서 어떻게 도출되는지를 보이고, GP 사후 평균, GP 사후 공분산, 불확실한 입력, 질의-출력 교차 공분산의 역할을 명확히 한다. 이를 토대로 본 글은 평균만 사용하는 비제약 GP 예측 제어와 불확실성을 고려하는 제약 GP-MPC를 구분하고, 조정(regulation) 및 출력 추종 공식을 명확히 하며, 실용적인 소프트웨어 도구 참고 자료와 폐루프 보장의 범위에 대한 논의를 포함한 간결한 구현 및 계산 복잡도 지침을 제공한다. 이동 로봇 경로 추종 예제는 평균만 사용하는 비제약 구현을 보여 주며, 혼합 차량 군집 주행 예제는 불확실성에 따라 안전 거리를 강화하는 불확실성 인지 제약 GP-MPC를 보여 준다. 이 튜토리얼은 연구자와 실무자가 모델링 불확실성 하에서 작동하는 로봇 및 자율 시스템을 위한 GP-MPC 설계를 이해하고 구현하며 비판적으로 평가하도록 돕는 것을 목표로 한다.

arXiv:2611.16789v1cs.LG

ScrewSense: 보이지 않는 것의 지도화 - 나사 체결 공정의 이상 탐지 및 오류 분류

ScrewSense: Mapping the Invisible - Anomaly Detection and Error Classification in Screwdriving Processes

나사 체결 시스템에서 생성되는 공정 데이터의 양이 증가하고 컴퓨팅 성능, 데이터 저장, 알고리즘이 발전함에 따라 이 분야에 인공지능을 적용하는 것이 가능해지고 있다. 나사 체결 오류를 정확히 탐지하고 분류하는 일은 제품 품질을 보장하고, 제조 과정에서 비용이 많이 드는 재작업을 피하며, 나사 체결 제품의 유지보수, 재사용, 재활용을 촉진하여 지속가능성을 뒷받침하는 데 매우 중요하다. 이러한 맥락에서 머신러닝 접근법은 윈도 기반 방법이나 포락선 곡선과 같은 기존 모니터링 기법에 대한 유망한 대안이 된다. 본 연구는 나사 체결 공정의 이상 탐지와 오류 분류를 위한 딥러닝 기법의 활용을 검토한다. 데이터 코퍼스는 토크와 회전각 같은 공정 변수를 담은 다변량 시계열로 구성된다. 이상 탐지를 위해 벡터 양자화 변분 오토인코더의 임베딩 공간을 분석하였다. 오류 분류에서는 네 가지 모델 아키텍처를 평가하였다. 결과는 이상 탐지의 효과를 보여 주며, 딥러닝 모델이 기존의 이진 분류를 넘어 여러 오류 범주를 구분할 수 있음을 확인해 준다. 이는 기존 모니터링 접근법의 능력을 확장하는 것으로, 최대 100%의 정확도를 달성한다. 또한 모델의 견고성을 추가로 입증하기 위해 실제 환경의 데이터도 검토하였다. 전반적으로 결과는 강한 일반화 능력을 나타내며, 개발된 모델이 산업용 나사 체결 공정에 활용될 실용적 잠재력을 보여 준다. 이를 통해 오류 식별에 전문가 지식이 필요 없게 되고 수작업과 분석 시간이 크게 줄어든다.

arXiv:2611.16752v1cs.RO

AgriSense: 가상 온실에서의 비전-언어 의사결정 지원 및 로봇 개입

AgriSense: Vision-Language Decision Support and Robotic Intervention in a Virtual Greenhouse Copy title

자율 온실 관리에는 인식, 내비게이션, 환경 조절, 식물 단위 개입을 통합하는 로봇 시스템이 점점 더 요구된다. 본 논문은 Isaac Sim 가상 온실, 사족 보행 모바일 매니퓰레이터, RGB 및 LiDAR-관성 센싱, 환경 제어, 지도 학습 기반 비전-언어 의사결정 지원을 결합한 프레임워크인 AgriSense를 제시한다. 고정된 DINOv2 및 BERT 인코더와 구조화된 환경 입력은 열두 가지 환경 기준값, 목표 구역, 개입 플래그의 공동 예측을 지원한다. 체크포인트 재생은 43건의 구역 결정 중 41건을 재현한다. 출처별로 그룹화한 테스트 세트에서 다섯 개의 시드에 걸쳐, 전체 구성, 이미지 제거 구성, 언어 제거 구성은 각각 44건 중 43건의 구역 결정을 정확히 맞혀, 멀티모달에 의한 구역 정확도의 추가적 향상에 대한 증거를 제공하지 않는다. 전체 모델의 평균 절대 오차는 온도 0.249도(섭씨), 습도 2.030 퍼센트포인트, 토양 수분 0.997 퍼센트포인트이다. 센서만 입력한 경우 전체 모델과 같은 구역 정확도를 보이며, 언어만 입력한 경우 68.64%를 달성한다. 외부 실제 이미지 벤치마크는 분포 변화에 따른 한계를 드러낸다. 다섯 개의 오프라인 Point-LIO 경로는 강체 정렬 후 궤적 오차가 5.22~17.32 mm이다. 가상 팔 목표 40개 중 32개가 기하학적 수용 기준을 충족하고 8개는 경계에서 기각된다. 여섯 개의 장기 기후 사례와 결함 프로토콜은 통합의 한계를 특성화한다. 내비게이션과 통합 처치는 시뮬레이터 상태 입력에 의존하며, 실제 온실에서의 성능과 농학적 처치 효능은 검증되지 않았다. 본 연구의 기여는 가상 온실을 위한 평가된 의사결정 지원 및 로봇 개입 프레임워크이다.

arXiv:2611.17005v1eess.SY

비선형 시간 최적 모델 예측 제어의 데이터 효율적 실시간 신경망 모방을 위한 통합 아키텍처

An Integrated Architecture for Data-Efficient Real-Time Neural Imitation of Nonlinear Time-Optimal Model Predictive Control

비선형 시간 최적 모델 예측 제어(TOMPC)는 제약이 있는 시스템에서 높은 성능의 제어를 가능하게 하지만, 계산 비용 때문에 빠른 동적 시스템에서는 실시간 사용이 어렵다. TOMPC 제어 법칙을 신경망으로 모방하면 온라인 계산 비용을 줄일 수 있으나, 기존 연구는 대체로 시뮬레이션에서 2차 비용 공식을 대상으로 하며 신경망 제어기의 과제를 개별적으로만 다룬다. 본 연구는 엄격한 종단 제약을 가진 장기 호라이즌 비볼록 TOMPC를 모방하며, 이 제어기의 높은 계산 비용은 학습 데이터 생성을 제한한다. 본 논문은 (i) 학습된 잔여 시간(time-to-go)을 이용해 정책이 시간 최적 행동에서 벗어나는 곳에서만 전문가를 질의하는 데이터 효율적 전문가 샘플링 전략인 \emph{자기 정보 기반 샘플링(SIFS)}, (ii) 데이터셋 상관성, 최적이 아닌 전문가 레이블, 공변량 변화, 제약 충족, 모델 불일치를 함께 다루는 완전한 학습 및 제어 아키텍처, (iii) Furuta 진자에서의 실제 환경 검증을 제시한다. SIFS는 표준 데이터셋 집적(dataset aggregation)의 성능을 대략 3분의 1의 학습 시간과 절반 미만의 학습 데이터로 달성한다. 결과 제어기는 전문가 TOMPC의 끌림 영역(region of attraction)에 부합하면서 제어 주파수를 1.4~Hz에서 1~kHz로 높인다. 하드웨어에서 이 제어기는 전문가 TOMPC 해와 매우 유사한 궤적을 따라 진자를 흔들어 올리고 안정화한다.

arXiv:2611.17163v1cs.RO

UAV-Flow++: 언어 기반 UAV 비행의 벤치마킹과 학습을 위한 통합 스위트

UAV-Flow++: A Unified Suite for Benchmarking and Learning Language-Guided UAV Flight

언어 기반 UAV 내비게이션은 주로 장거리 경로 계획에 초점을 맞추어 왔으며, 단거리의 객체 상대적 비행 기동은 충분히 연구되지 않았다. 이러한 공백을 해소하기 위해 우리는 UAV가 간결한 자연어 지시, 자기중심 시각 관측, 현재 상태 동역학을 연속적인 비행 행동으로 변환해야 하는 과제인 Flying-on-a-Word(Flow)를 정식화한다. Flow는 기본 동작 명령과 복잡한 객체 상호작용 행동을 모두 포괄하며, 동작 의도 이해와 공간 맥락 접지를 평가한다. 정책 학습과 폐루프 평가를 가능하게 하기 위해, 우리는 여덟 가지 동작 범주에 걸친 전문 조종사의 실제 궤적 30,692개와 과제별 완료 기준을 갖춘 UAV-Flow-Sim 환경의 시뮬레이션 궤적 10,109개로 구성된 포괄적 데이터셋 UAV-Flow를 소개한다. 나아가 실제-시뮬레이션 혼합 시연에 대한 모방 사전학습과 Tail-Aware GRPO(TGRPO)를 통한 온라인 사후 학습을 거치는 FlowVLA를 개발한다. TGRPO는 그룹 보상 분포를 활용하여 높은 보상의 행동 시퀀스를 효과적으로 강화한다. 보류된 UAV-Flow-Sim 273개 에피소드에서 평가했을 때, 사전학습된 FlowVLA는 평균 성공률 75.58%를 달성하여 가장 강력한 베이스라인을 6.72%p 앞섰으며, TGRPO 사후 학습은 이를 우수한 샘플 효율로 93.16%까지 끌어올린다. 실제 UAV 실험은 실내외 실제 장면 모두에서 객체 상대적 명령이 견고하게 수행됨을 보여준다. 종합하면, Flow는 언어 조건 비행 기동을 위한 새로운 벤치마크와 학습 프레임워크를 확립한다.

arXiv:2611.17330v1cs.RO

ProtoVis-Nav: 시각-공간 정렬 UAV 내비게이션을 위한 프로토타입 기반 시각적 상상

ProtoVis-Nav: Prototypical Visual Imagination for Visual-Spatial Aligned UAV Navigation

시각 언어 내비게이션(VLN)은 3D 움직임 예측의 작은 오류가 내비게이션 오류와 충돌로 이어질 수 있어 무인 항공기(UAV)에게 매우 어려운 과제이다. 기존 방법은 3D 환경에서의 실행 결과를 가늠하지 못해 언어 지시로부터 정확한 내비게이션 경유점을 예측하는 데 어려움을 겪는 경우가 많다. 이를 해결하기 위해 우리는 프로토타입 기반 시각적 상상 프레임워크, 줄여서 ProtoVis-Nav를 제안한다. 이 프레임워크는 모델이 UAV의 의도된 다음 이동에 대해 결과와 연관된 국소 시각 표현을 상상하도록 강제한다. 구체적으로 특징 프로토타입을 예측하고 그 선형 결합을 사용하여 목표 영역의 시각 특징을 추정한다. 이렇게 하여 VLN 모델은 먼저 의도된 다음 위치의 국소 시각 표현을 상상하고, 이후 예측된 프로토타입을 컨텍스트로 사용해 최종 행동을 생성함으로써 시각적 컨텍스트와 경유점 출력 간의 정렬을 촉진한다. 폭넓은 실험을 통해 ProtoVis-Nav 프레임워크의 효과를 입증하였으며 기존 베이스라인 대비 상당한 성능 향상을 보였다.

arXiv:2611.16009v1cs.RO

JustRUA: GPT-6 로봇 사용 에이전트에 대한 통제된 연구

JustRUA: A Controlled Study of GPT-6 Robot-Use Agents

GPT-6 Astra는 고정된 하네스(harness)를 통해 로봇 팔을 직접 구동할 수 있으며, 이후 RoboDojo에서 이러한 로봇 사용 에이전트의 점수가 빠르게 상승했다. 보고된 시스템들은 하네스와 테스트 부분집합이 서로 다르고 여러 설계를 동시에 바꾸는 경우가 많아, 어떤 선택이 성능 향상을 낳는지 파악하기 어렵다. 우리는 이러한 설계를 분해하여 하나의 프레임워크에서 시험하며, 모델을 둘러싼 하네스, 행동 인터페이스, 경험의 재사용, 모델에 제공되는 장면 기하 정보를 살펴본다. 전체 에피소드 이력을 유지하고 각 동작을 일찍 멈추는 간결한 하네스만으로도 상당한 성능을 얻는다. 경험을 재사용하면 모델의 행동 방식은 달라지지만 공짜 점심은 아니며, 장면 기하 정보는 깊이를 RGB만으로 예측한 경우에도 가장 큰 도움이 된다. JustRUA는 공식 L3 하네스에서 출발하여 가장 중요한 요소만 남긴다. 학습된 정책, 자기 개선 루프, 과제별 튜닝이 없더라도 이 단순한 하네스는 RoboDojo 시뮬레이션 벤치마크 점수를 29.7에서 50.3으로 크게 끌어올린다.

arXiv:2611.15981v1cs.RO

DexRemo: 접촉이 많은 제거 조작을 위한 힘 감지 핸드 플랫폼 및 과제 모음

DexRemo: A Force-Sensing Hand Platform and Task Suite for Contact-Rich Removal Manipulation

많은 조작 과제는 부착되거나, 박혀 있거나, 오염되었거나, 기계적으로 구속된 대상을 분리해야 한다. 우리는 이러한 설정을 제거 조작(removal manipulation)으로 연구하며, 여기서 진행 상황은 시각과 운동학만으로는 부분적으로만 관측되는 변화하는 접촉 상태에 좌우된다. 우리는 고출력 구동, 모듈식 손끝, 3축 손끝 힘 감지를 갖춘 3지 로봇 핸드 DexRemo를 소개하며, 접착물 분리, 표면 청소 및 자가 청소, 가려진 물체 회수를 아우르는 9개 시나리오의 실제 로봇 과제 모음도 함께 제시한다. 다지(多指) 힘 관측을 더 쉽게 융합하기 위해, 손끝 힘을 공유된 손목 중심 좌표계로 표현하여 손가락과 시간에 걸쳐 힘 성분에 일관된 기하학적 의미를 부여한다. Action Chunking Transformer 백본을 사용하여, 정책은 다중 시점 시각, 고유수용 감각, 손끝 자세, 힘 관측을 융합해 시연으로부터 폐루프 행동 청크를 예측한다. 평가는 통제된 손끝 입력 및 힘 좌표계 절제 실험을 위한 6개의 핵심 벤치마크 과제와, 추가 보류(held-out) 범위를 위한 3개의 확장 시나리오로 구성된다. 이러한 평가 전반에서 학습된 정책은 일관된 제거 성능을 달성하며, 절제 실험은 특히 손끝 자세와 함께 사용하는 손목 좌표계 힘이 국소 좌표계 힘 입력 및 힘 미사용 기준선보다 안정성과 일반화를 향상시킴을 보여준다. 프로젝트 웹사이트: https://dexremo.github.io

arXiv:2611.16473v1cs.RO

말은 너무 많고 듣기는 너무 적은 로봇

Robots That Talk Too Much and Don't Listen Enough

최근까지 소셜 로봇과의 자연스러운 음성 상호작용에 대한 가장 큰 장애물은 음성 인식 오류와 발화 순서 교대의 실패였다. 음성 인식의 발전으로 훨씬 더 나은 음성 상호작용이 가능해졌지만, 발화 순서 교대 실패와 그 밖의 오해는 여전히 지나치게 흔하다. 이 짧은 논문은 소셜 로봇과의 상호작용에서 음성 인식과 발화 순서 교대를 개선하기 위한 이전 방법들을 돌아본 뒤, 오늘날 무엇을 할 수 있는지 살펴보며, 발화 순서 교대 실패의 빈도를 줄이려면 멀티모달 양방향 스트리밍이 필요하다고 주장한다.

arXiv:2611.16422v1cs.RO

BlinkMimic: 단일 GPU에서 몇 분 만에 휴머노이드 모션 트래커 학습하기

BlinkMimic: Training a Humanoid Motion Tracker in Minutes on a Single GPU

전신 모션 트래킹은 휴머노이드 로봇이 참조 모션을 따르게 하지만, 모션 라이브러리에 대한 트래킹 정책을 학습하는 데는 보통 수 시간의 GPU 시간이 걸렸다. SuperMimic은 병렬 시뮬레이션으로부터 학습된 월드 모델을 통해 역전파함으로써 정책을 대신 학습할 수 있음을 보였고, InstantTrack은 Muon 업데이트, 참조 주변의 잔차 정책, 평균화된 배포 정책을 추가했다. 우리는 두 연구를 기반으로 이 학습을 더 빠르게 만드는 방법론인 BlinkMimic을 제시한다. 시뮬레이션된 Unitree G1에서 BlinkMimic은 연속된 세 체크포인트가 실패한 클립 없이 정규화 수익 0.82 이상에 도달할 때까지 측정하여(세 시드의 평균), 단일 RTX 4090에서 LAFAN1의 40개 클립 전체에 대한 하나의 정책을 3.4분 만에 학습한다. 우리는 학습 시간을 한 번의 반복 비용, 모션을 맞추는 데 필요한 반복 횟수, 마지막 실패를 제거하는 데 필요한 반복 횟수로 나누고, 기존에서 가져왔거나 새로운 각 구성 요소를 이 항들 중 하나에 할당한다. 새로운 구성 요소는 학습이 진행된 후 감소하는 스텝 크기, 배포 조건에서 배포된 정책의 실패에 의해 유도되는 리셋, 반복 전체에 대한 GPU 그래프 캡처이다. 구성 요소별 세 시드를 사용한 하나씩 제외하는 절제 실험은 각 구성 요소가 어느 항에 영향을 미치는지 보여 주며, 그래디언트, 업데이트 규칙, 실패 사례에 대한 추가 측정이 이러한 효과를 설명한다. 코드와 시드별 결과는 https://github.com/fuyichen0725/blinkmimic 에서 확인할 수 있다.

arXiv:2611.16419v1cs.RO

당신이 원하는 것이 보인다: 시각적 원격 조작 이력으로부터 계층적 조작자 의도 해독하기

I See What You Want: Decoding Hierarchical Operator Intent from Visual Teleoperation History

비전-언어 모델(VLM)은 로봇의 장면 이해, 작업 계획, 언어 조건 제어를 위한 강력한 기반이 되었다. 여기서 자연스러운 의문이 따른다. 이러한 모델은 명시적인 지시 없이도 인간 조작자가 로봇을 원격 조작하면서 의도하는 바를 해독할 수 있는가? 우리는 이를 계층적 의도 예측으로 정식화하여, 짧은 시각적 원격 조작 이력으로부터 진행 중인 원자적 행동과 그것이 수행하는 더 넓은 임무를 함께 추론한다. 이를 연구하기 위해 열한 개 로봇 소스에서 수집한 6,600개 에피소드와 시간적으로 정렬된 13,653개의 행동 주석 및 9,702개의 임무 주석으로 구성된 데이터셋 VI AMO(Vision Intention Action and Mission Ongoing)를 소개한다. 대형 독점 모델은 이 문제에서 어려움을 겪는다. 보류된 에피소드에서 GPT-4o는 행동과 임무에 대해 Sentence-BERT 유사도가 각각 0.563과 0.470에 그치고, GPT-5.6 Luna는 0.581과 0.554에 그친다. VI AMO로 VLM을 미세 조정하여 얻은 우리의 Vision-Intention Model(VIM)은 이 점수를 0.825와 0.821로 끌어올리며, 두 레이블 모두 학습에 없던 테스트 행동의 35.4%에서도 0.726과 0.717에 도달한다. 마지막으로 하위 응용으로서, VIM이 예측한 임무는 VIM 미세 조정 중 보지 못한 실제 환경에서 비전-언어-행동(VLA) 정책이 작업 도중 조작자를 대신하도록 하여, 인간의 원격 조작 시간을 GPT-4o 대비 34.6%, GPT-5.6 Luna 대비 39.8% 줄이는 동시에 의도 예측 지연 시간을 평균 약 70% 단축한다.

arXiv:2611.16645v1cs.RO

행동의 재고찰: 월드 모델 계획을 위한 연속성 인식 사전 분포

Rethinking Actions: Continuity-Aware Priors for World-Model Planning

전문가 시연의 행동은 시간적 구조를 보인다. 다섯 가지 환경에 걸친 순서 대 무작위 섞기 분석은 이러한 의존성을 확인해 준다. 우리는 전문가의 연속성을 더 잘 반영하는 행동 제안이 시각 월드 모델 계획을 개선할 수 있는지를 묻는다. 일반적인 매끄러움을 부과하는 대신, 우리는 시연된 행동의 시간적 구조로부터 연속 행동을 학습한다. 우리의 국소성 게이트 심층 커널 가우시안 과정 사전 분포인 LG-DKGP는 최근 및 장거리 실행 행동 이력을 결합하고, 신경 연속 행동을 예측하며, 시간적 가우시안 과정(GP) 잔차를 학습한다. 학습에서 도출된 탐색 규모는 보정된 평균 주위에서 탐색을 초기화하며, 고정된 월드 모델은 목표를 향한 진행 정도를 평가한다. 학습은 먼저 신경 평균을 적합한 다음, 전문가의 미래 행동을 이용해 사전 분포를 GP 잔차와 함께 공동으로 최적화한다. 그 결과 얻은 계획기는 고유 목표와 단편 수준 목표 달성을 아우르는 다섯 가지 시뮬레이션 과제에서 매크로 성공률 87.07\%를 달성하였으며, 이는 INTACT의 71.03\%, PRISM의 61.66\%, LeWM의 58.66\%와 비교된다. 구성 요소 개입과 전문가 대비 행동 구조 비교는 시연 기반 연속 행동을 뒷받침하며, 시각 조건화, 이력 길이, 계획 지평의 과제 의존적 효과를 드러낸다.