PyTorchKR Papers

최신 논문

총 2,515편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2611.18562v1cs.RO

시뮬레이션에서 추론 모델을 학습시켜 실제 로봇을 네이티브하게 사용하기

Training Reasoning Models in Simulation to Natively Use Real Robots

로봇 사용 에이전트(RUA)는 범용 로봇 제어를 위한 유망한 접근법으로 부상하였다. 그러나 지금까지 강력한 성능은 GPT-6 Astra와 Claude Fable 5.2와 같은 최첨단 비공개 모델에서만 달성되었으며, 오픈 웨이트 모델은 여전히 능력이 크게 떨어진다. 본 논문은 270억 파라미터 규모의 오픈 웨이트 추론 모델이 시연 없이 전적으로 시뮬레이션 내에서 강화학습을 통해 실제 로봇을 네이티브하게 사용하도록 학습될 수 있음을 보인다. 컴퓨터 사용 에이전트(CUA)와 마찬가지로, 이 모델은 환경을 관찰하고 사고 연쇄로 추론하며 어떠한 하네스도 없이 다음 엔드 이펙터 자세를 생성한다. 본 논문은 에이전트형 로보틱스를 위한 사후 학습 엔진(PEAR)을 구축하고, 이를 이용하여 최첨단 모델이 컴퓨터 사용 능력을 습득하는 방식을 모방한 로봇 사용 강화학습(RURL)으로 시뮬레이션 로봇 과제에서 대규모로 모델을 학습시킨다. 그 결과 시뮬레이션에서 습득한 기술이 학습 과제를 넘어 잘 일반화됨을 확인하였다. 이 기술은 보지 못한 로봇, 실제 세계, 새로운 지시문으로 전이된다. 시뮬레이션에서 LIBERO와 RoboDojo로 학습한 후, 이 모델은 실제 양팔 로봇에서 시도의 60%에서 성공하였으나 기반 모델은 한 번도 성공하지 못하였다. LIBERO에서는 학습을 통해 성공률이 1.6%에서 74.4%로 상승하였으며, 이는 최대 추론 강도의 GPT-6 Astra 및 GPT-6.1 Sol에 근접한 수준이다. 시연 데이터로 미세조정된 비전-언어-행동 모델인 $\pi_{0.5}$와 비교하면, 본 모델은 과제 자체의 변화에 훨씬 더 강건하다. LIBERO-Pro에서 $\pi_{0.5}$는 익숙한 장면에서 새로운 과제가 주어졌을 때 에피소드의 0.75%에서만 성공한 반면, 본 모델은 57.4%에서 성공하였다. 마지막으로, 이 모델은 일반 능력을 유지하여 추론, 코딩, 비전 벤치마크 9종에서 측정 가능한 성능 저하가 없었다. 이러한 결과는 로봇 사용 강화학습이 파운데이션 모델 사후 학습의 유망한 구성 요소임을 보여준다.

arXiv:2611.18484v1cs.RO

AI 기반 원격 환자 모니터링에서 에이전트형 로보틱스로: 체화, 거버넌스, 돌봄 통합

From AI-Enabled Remote Patient Monitoring Toward Agentic Robotics: Embodiment, Governance, and Care Integration

AI 기반 원격 환자 모니터링은 수동적인 데이터 수집을 넘어, 환자의 상태를 해석하고 돌봄을 조율하며 가정과 임상 환경 전반에서 행동을 개시하는 에이전트형 AI 시스템으로 진화하고 있다. 이 구조화된 범위 문헌고찰은 성숙한 에이전트형 돌봄이 아직 등장하지 않았음을 확인한다. 대부분의 시스템은 여전히 인간이 주도하며, 더 강한 의사결정-행동 결합과 체화된 AI는 대체로 프로토타입과 시범 연구에 국한되어 있다. 의료 로보틱스는 AI가 생성한 권고와 결정을 발화, 이동, 촉구, 물리적 보조, 단계적 상위 보고(에스컬레이션), 돌봄 조율로 전환함으로써 모니터링에서 행동으로의 이행을 특히 뚜렷하게 보여 주며, 이에 따라 체화, 임상 통합, 인간 감독, 거버넌스가 핵심적인 설계 요건이 된다. 더 나아가기 위해서는 지능형 구성요소가 임상적으로 검증되고 책임성을 갖춘 워크플로를 통해 작동하는, 안전하고 상호운용 가능한 돌봄 아키텍처가 필요하다. 우리는 돌봄 생태계에 내장된 감독형 시스템의 미래 방향으로서 에이전트형 로보틱스를 제안한다. 이는 AI 에이전트와 로봇을 임상의, 돌봄 제공자, 환자와 연결하며, 중단할 수 있고 인간의 감독과 명시적인 AI 거버넌스를 받는 감사 가능한 워크플로를 통해 이루어진다.

arXiv:2611.03940v2cs.CV

Sim2Real V2X LiDAR 탐지를 위한 좌표계 복구, 클래스별 NMS, 널 반환 모델링

Coordinate Frame Recovery, Per Class NMS and Null Return Modelling for Sim2Real V2X LiDAR Detection

우리는 UrbanTwin Sim2Real LiDAR Challenge의 V2X-Real 트랙에 대한 접근법을 기술한다. 이 트랙에서는 3D 객체 탐지기를 합성 데이터만으로 학습시켜 Ouster OS1-64 장치의 보지 못한 실제 노변 LiDAR 데이터로 평가하며, 동시에 합성 포인트 클라우드는 분포 사실성에 대해 점수가 매겨진다. 우리의 최종 제출물은 탐지 mAP 0.4382와 사실성 점수 0.9251로 종합 0.7457점을 얻었다. 결과의 대부분은 세 가지 발견으로 설명되며, 세 가지 모두 아키텍처가 아니라 진단에 관한 것이었다. 첫째, 예측과 평가용 정답 사이의 좌표계 불일치가 탐지 AP를 완전히 억누르고 있었으며, 이를 복구하자 단 한 번의 제출로 점수가 0.3520에서 0.5147로 올랐다. 둘째, 보행자는 무리 지어 나타나기 때문에 0.7 m 박스에 0.3 IoU 임계값을 적용하면 서로 다른 인접 보행자가 억제되어, 단일 전역 비최대 억제 임계값이 실제 보행자 탐지를 파괴하고 있었다. 이를 클래스별로 바로잡자 전체 mAP가 0.0751에서 0.4295로 상승했다. 셋째, 실제 기준 포인트 클라우드의 약 31퍼센트는 문자 그대로의 점 (0, 0, 0)으로 인코딩된 널 반환으로 이루어져 있는데, 이는 우리의 합성 클라우드에는 전혀 없던 형식적 특징이며, 이를 모델링하기 전까지 Earth Mover's Distance가 하한 근처에 묶여 있었다. 부정적 결과도 같은 분량으로 보고하며, 9절에서 데이터 출처와 규정 준수에 대해 상세히 설명한다. 해당 절은 제출된 점수에 기여한 모든 메커니즘도 설명한다.

arXiv:2611.03936v2cs.CV

Sim2Real 노변 LiDAR 탐지를 위한 기하학적 정제와 분포 정렬

Geometric Refinement and Distributional Alignment for Sim2Real Roadside LiDAR Detection

우리는 UrbanTwin Sim2Real LiDAR Challenge의 LUMPI 트랙에 대한 접근법을 기술한다. 이 트랙에서는 3D 객체 탐지기를 합성 데이터만으로 학습시켜 보지 못한 실제 노변 LiDAR 데이터로 평가하며, 동시에 합성 포인트 클라우드는 분포 사실성에 대해 점수가 매겨진다. 우리의 최종 제출물은 탐지 mAP 0.1333과 사실성 점수 0.9126으로 종합 0.4793점을 얻었다. 우리의 기여는 새로운 아키텍처가 아니다. PointPillars 기준 모델에서 출발하여 세 가지 원천에서 대부분의 이득을 얻었다. 첫째, 노변 LiDAR에서 작은 객체의 실패는 탐지 문제가 아니라 위치 추정 문제라는 진단이며, 이는 보행자 AP에서 상대 86퍼센트의 가치가 있는 매개변수 없는 기하학적 정제로 이어졌다. 둘째, 기본 제공되던 규칙이 유효한 예측을 파괴하고 있음을 밝혀낸 자체 후처리 감사이며, 이를 수정하여 Van 클래스에서 상대 335퍼센트라는 가장 큰 단일 탐지 이득을 얻었다. 셋째, 사실성 지표를 블랙박스가 아니라 해석적으로 다루어, 네 구성 요소 중 하나가 아홉 개 요약 통계량의 닫힌 형태 함수임을 보인 것이다. 또한 더 이전 가능한 결과라고 우리가 생각하는 실험 방법론도 보고한다. 평균 AP는 독립적인 클래스별 항으로 분해되므로 단일 제출이 서로 통제된 여러 실험을 담을 수 있고, 이전에 측정된 구성 요소만으로 조립한 제출물은 제출 전에 점수를 알 수 있다. 우리는 제출 전에 최종 점수를 소수점 넷째 자리까지 예측했다. 부정적 결과도 같은 분량으로 보고하며, 8절에서 제출된 점수에 기여한 모든 메커니즘에 대한 설명을 포함하여 데이터 출처와 규정 준수를 상세히 설명한다.

arXiv:2611.00482v3cs.CV

직선은 카메라 포즈가 아니다: 짧은 클립 포즈 벤치마크 감사

A Straight Line Is Not a Camera Pose: Auditing Short-Clip Pose Benchmarks

많은 비전 벤치마크는 예측값을 점수화하기 전에 정답에 정렬한다. 정렬이 오차를 최소화하는 경우, 입력이 없는 템플릿은 정렬이 도달할 수 있는 모든 것으로부터 정답까지의 거리만큼의 점수를 얻는다. 따라서 어떤 모델이 실행되기 전에 정답만으로 템플릿이 얻을 수 있는 점수가 결정된다. 카메라 포즈는 본 연구의 핵심 사례이다. 표준 카메라 움직임 척도인 절대 궤적 오차(ATE)는 유사 변환으로 카메라 위치를 정렬한다. 일반적인 Sintel 프로토콜에서 이미지를 사용하지 않는 등속 직선은 최근 모델 11개 중 10개, 발표된 방법 110개 중 85개보다 평균 ATE가 낮았고, Lightspeed에서는 모델 9개 중 5개, 발표된 방법 11개 중 10개보다 낮았다. 실제 경로의 직진성은 이 두 데이터셋을 모든 모델이 직선을 능가하는 TUM, ScanNet, DyCheck, ADT와 구분한다. 정렬의 1차 재적합을 포함한 잔차 신호 대 잡음 기준은 예측을 직선화하면 ATE가 낮아지는 경우를 모델-클립 평가 4010건 중 한 건을 제외하고 모두 예측하며, 여기에는 사전에 등록된 세 벤치마크의 504건 전체가 포함된다. 또한 정렬은 카메라가 바라보는 방향을 무시한다. 궤적을 그 방향에 대해 30도 회전시켜도 ATE는 변하지 않지만, Sintel, TUM, ScanNet에서 모든 모델의 정적 점 재투영은 악화된다. 정렬의 회전을 예측된 방향에 맞추어 적합하면 포즈 고정 ATE(PA-ATE)가 얻어지며, 이는 ATE와 비슷한 비용(클립당 37마이크로초 대 34마이크로초)으로 함수 하나만 바꾸는 변경이다. PA-ATE는 ATE보다 낮아지는 일이 없고, Sintel에서 모든 이미지 없는 기준을 모든 모델보다 낮게 순위를 매기며, 통제된 회전과 직선화에서 재투영 오차를 추적하고, 모델의 순서를 대체로 보존하며, 이미지와 모순되는 Lightspeed 정답 방향을 드러낸다. 포즈를 넘어 템플릿은 KITTI 비디오 깊이, SSP-3D 신체 형상, NoW 얼굴에서도 일부 발표된 방법을 능가하며, 비디오 깊이에서는 이 거리가 KITTI를 Sintel 및 Bonn과 구분한다.

arXiv:2610.39180v2cs.RO

EmbodiExp: 체화 에이전트를 위한 조합적 경험 전이

EmbodiExp: Compositional Experience Transfer for Embodied Agents

과거 과제의 경험은 체화 에이전트가 새로운 과제를 수행하는 데 도움이 될 수 있으나, 조건이 바뀌면 더 이상 적용되지 않거나 효과적이지 않을 수 있다. 전체 목표가 다른 과제도 하위 목표를 공유하는 경우가 많아, 과제 간 경험 전이의 기반이 된다. 본 논문은 결과에 근거한 하위 목표 경험을 구성하고 이를 새로운 과제에서 조합하는 프레임워크인 EmbodiExp를 제시한다. 각 경험은 하위 목표를 달성하는 방법, 그 지침이 적용되는 시점, 완료를 위해 검증해야 하는 결과를 기술한다. 한 경험을 적용해 검증된 결과는 다른 경험을 적용하기 위한 조건을 충족시킬 수 있어, 서로 다른 과거 과제의 경험을 온라인으로 조합할 수 있다. EmbodiExp는 하위 목표 수준에서 행동과 관측된 결과를 검토함으로써 성공한 하위 목표의 경험을 보존하고, 명시적인 행동 실패를 활용해 특정 조건에서 피해야 할 행동을 식별한다. EmbodiedBench와 VIGIL에서의 실험은 홀드아웃 평가 내내 경험을 고정한 채 과제 간 전이를 평가한다. EmbodiExp는 EB-Habitat에서 68.0%, EB-ALFRED에서 68.3%의 성공률을 달성하며, 저장된 경험이 없는 에이전트는 각각 50.0%와 54.7%이다.

arXiv:2610.23826v3cs.AI

스스로 구축하는 연구실

Self-Building Labs

자율 주행 실험실(SDL)은 실험 수행과 최적화를 자동화하여 과학적 발견을 가속한다. AI 에이전트는 점점 더 새로운 실험을 제안할 수 있게 되었으나, 기존 SDL은 구축 당시 설계된 절차만 실행할 수 있다. 새로운 실험에 맞게 이를 조정하려면 여전히 광범위한 수작업 엔지니어링이 필요하며, 이로 인해 실험실의 유연성이 발견을 확장하는 데 병목이 된다. 우리는 높은 수준의 과학적 목표가 주어지면 스스로 실험실 구성을 설계하고, 설정하고, 운영하는 자가 구축 실험실(SBL)을 소개한다. SBL은 빈 방에서부터 가동 중인 SDL에 이르기까지 이미 존재하는 것에서 출발하여, 실험실 배치, 디지털 트윈, 로봇 기술, 실험 워크플로와 같은 부족한 역량을 구축한다. 우리는 이 시스템이 서로 다른 로봇과 설정에서 작동함을 보이며, 단일 워크스테이션에서 여러 로봇이 함께 작업하는 실험실로까지 확장됨을 시연한다. 또한 실제 양자점 합성 실험을 통해 SBL의 종단간 능력을 검증한다. SBL은 연구자가 장치 자동화를 수작업으로 설정하고 프로그래밍하는 대신 과학적 목표를 지정하도록 전환함으로써 과학 자동화를 더 접근하기 쉽고, 유연하며, 확장 가능하게 만든다. 프로젝트 웹사이트: https://self-building-labs.github.io/

arXiv:2607.20289v2cs.RO

배려적 선제: 지속적 공유 환경에서 장기 과업 계획 개선

Courteous Anticipation: Improving Long-Lived Task Planning in Persistent Shared Environments

본 논문은 지속적인 환경을 공유하는 로봇들이 보류된(held-out) 시퀀스로부터 한 번에 하나씩 과업을 할당받는 과업 계획 시나리오를 다룬다. 표준 과업 계획기는 미래 과업에 대한 예측이 없고 다른 로봇의 제약을 고려하지 않으므로 각 과업을 독립적으로 해결하여, 모든 로봇의 미래 비용을 증가시키는 종료 상태를 남기며, 이러한 부작용은 긴 과업 시퀀스에서 누적된다. 시퀀스 전체의 비용을 줄이려면 로봇은 현재의 행동이 환경을 공유하는 모든 로봇의 미래 과업 수행에 어떤 영향을 미칠지 예측해야 한다. 이에 본 논문은 모델 기반 계획기가 후보 계획을 제안하고, 로봇별로 독립적으로 학습된 추정기를 통해 추정한 즉각적 비용과 모든 로봇에 대한 집계된 기대 미래 비용을 함께 최소화하는 계획을 선택하는 배려형 예측 계획(courteous anticipatory planning)을 제시한다. 이러한 분해된 정식화는 조합적인 공동 롤아웃을 피하고 모듈식 배치를 지원하며, 로봇을 추가하려면 해당 로봇의 추정기만 훈련하면 된다. 비슷한 능력을 갖지만 책임이 다른 로봇들이 있는 가정 환경과, 로봇들의 서로 다른 능력으로 인해 다른 로봇이 해결할 수 없는 상태가 만들어지는 레스토랑 환경이라는 두 가지 지속적 PDDL 도메인에서 평가한다. 긴 과업 시퀀스에서 본 계획기는 2대 로봇 가정 환경에서 근시안적 계획 대비 총비용을 10.4%, 이기적 예측 계획 대비 4.5% 줄였으며, 3대 로봇 레스토랑 환경에서는 각각 20.5%와 6.7% 줄였다.

arXiv:2605.13276v3cs.AI

D-VLA: 시각-언어-행동 모델을 위한 고동시성 분산 비동기 강화학습 프레임워크

D-VLA: A High-Concurrency Distributed Asynchronous Reinforcement Learning Framework for Vision-Language-Action Models

체화 AI의 급속한 발전으로 시각-언어-행동(VLA) 모델은 멀티모달 인식과 과제 수행에서 뛰어난 성능을 보이고 있다. 그러나 이러한 대규모 모델에 대규모 분산 환경에서 강화학습(RL)을 적용하는 데는 심각한 시스템적 병목이 존재하며, 이는 주로 고충실도 물리 시뮬레이션과 딥러닝의 집약적인 VRAM 및 대역폭 요구 사이의 자원 충돌에서 비롯된다. 이러한 충돌로 인해 전체 처리량이 실행 단계의 비효율에 의해 제약되는 경우가 많다. 이를 해결하기 위해 본 연구는 대규모 체화 파운데이션 모델을 위한 고동시성·저지연 분산 RL 프레임워크 D-VLA를 제안한다. D-VLA는 고빈도 학습 데이터와 저빈도 가중치 제어를 물리적으로 분리하여 시뮬레이션과 최적화 간의 간섭을 제거하는 "평면 분리(Plane Decoupling)"를 도입한다. 또한 샘플링, 추론, 그래디언트 계산, 매개변수 배포가 완전히 병렬로 중첩되도록 하는 4스레드 비동기 "스윔레인(Swimlane)" 파이프라인을 설계한다. 아울러 이중 풀 VRAM 관리 모델과 토폴로지 인식 복제는 메모리 단편화를 해소하고 통신 효율을 최적화한다. LIBERO 등의 벤치마크 실험에서 D-VLA는 10억 매개변수 규모 VLA 모델의 처리량과 샘플링 효율 면에서 주류 RL 프레임워크를 크게 능가한다. 1조 매개변수 규모 확장성 시험에서도 본 프레임워크는 뛰어난 안정성과 선형적 속도 향상을 유지하여, 고성능 범용 체화 에이전트를 위한 견고한 시스템을 제공한다.

arXiv:2601.10455v2cs.CL

궤적 유사도를 넘어: 프로토콜 준수 여부로 수술 계획 평가하기

Beyond Trajectory Similarity: Evaluating Surgical Planning by Protocol Adherence

수술 계획은 흔히 관찰된 단일 수행과의 궤적 유사도로 평가되는데, 이는 Ego4D와 같은 활동 예측 벤치마크에서 차용한 패러다임이다. 이는 과제 완료와 프로토콜 준수라는 서로 다른 두 개념을 혼동하며, 완료된 수술 궤적과 유사하면 유효한 계획이라고 가정한다. 수술에서 이 가정은 잘못되었다. 임상적으로 관련된 목표는 단순한 완료가 아니라 프로토콜 준수이며, 기준 궤적은 그 자체로 프로토콜에서 벗어났을 수도 있는 하나의 관찰된 수행일 뿐이다. 따라서 본 논문은 전문가가 정의한 프로토콜 규칙에 기반하여 프로토콜 준수를 직접 측정하는 평가 프레임워크를 제안한다. 이 프레임워크에서 유사도 기반 지표는 체계적으로 실패한다. 즉, 기준 궤적에서 벗어나더라도 프로토콜을 준수하는 계획에는 불이익을 주고, 겉보기에 기준과 유사하지만 프로토콜을 위반하는 계획에는 보상을 준다. Video-LLM을 평가한 결과, 신뢰할 수 없는 비디오-상태 기반 이해와 제약이 부족한 계획이라는 분리 가능한 두 가지 실패 양상이 추가로 드러났다. 어느 것도 모델 규모 확대만으로는 해결되지 않는 반면, 구조적 지식 주입은 일관된 향상을 제공한다. 본 연구 결과는 수술 계획의 평가 기준을 궤적 유사도에서 프로토콜 준수로 전환해야 함을 시사한다.

arXiv:2511.21542v3cs.RO

E0: Tweedie 이산 확산을 통한 시각-언어-행동 모델의 표현력 있는 세밀한 이산 행동 예측

E0: Expressive Fine-Grained Discrete Action Prediction for Vision-Language-Action Models via Tweedie Discrete Diffusion

시각-언어-행동(VLA) 모델은 시각 인식, 언어 이해, 제어 생성을 통합하여 로봇 조작을 위한 통합 프레임워크를 제공한다. 그러나 기존 VLA 시스템은 다양한 과제, 장면, 카메라 시점에 걸쳐 일반화하는 데 여전히 어려움을 겪으며 거칠거나 불안정한 행동을 생성하는 경우가 많다. 우리는 이러한 한계가 VLA 환경에서 행동이 지니는 구조적 특성, 즉 행동 분포의 본질적인 다봉성, 사전 학습된 VLM/VLA 백본의 토큰 기반 기호적 추론, 그리고 실제 로봇 제어가 부과하는 유효한 유한 해상도와 밀접하게 관련되어 있다고 주장한다. 이러한 특성에 착안하여 우리는 행동 생성을 양자화된 행동 토큰에 대한 반복적 잡음 제거로 정식화하는 Tweedie 이산 확산 프레임워크 E0를 제안한다. E0는 원칙에 입각한 확산 과정으로 이산 행동 공간에서 동작함으로써 토큰 기반 추론과 자연스럽게 정렬되고, 세밀하면서도 실행 가능한 행동 제어를 지원하며, 마스킹 기반 이산 확산의 분포 불일치를 피한다. LIBERO, VLABench, ManiSkill 및 실제 Franka 로봇 팔에서의 실험은 E0가 다양한 환경에서 최고 수준의 성능을 달성하며 강력한 베이스라인을 평균 8.1% 앞섬을 보여 준다.

arXiv:2611.18422v1cs.RO

병목은 상태가 아니다: 삼중 모드 멀티캐스트 메시 상의 페이지형 상태 Gated-DeltaNet 타일, RTL에서 실리콘까지 비트 단위 일치

The State Is Not the Bottleneck: A Paged-State Gated-DeltaNet Tile on a Tri-Mode Multicast Mesh, Bit-Exact from RTL to Silicon

선형 어텐션 언어 모델은 계속 커지는 키-값 캐시를 고정 크기의 순환 상태로 대체한다. 엣지 FPGA에서는 이 상태가 온칩 메모리를 초과할 수 있어 외부 메모리로 페이징해야 한다. 본 논문은 이러한 페이징이 디코딩(토큰 생성) 비용을 지배하는지를 묻는다. 우리는 Agilex 5 FPGA에서 3억 6,900만 파라미터의 맞춤형 하이브리드 Gated DeltaNet 모델의 한 레이어 전체를 계산하고 그 순환 상태를 페이징하는 하드웨어 타일을 구축하였다. 모델 상태는 6.2 MiB가 필요한 반면 장치의 블록 메모리는 0.87 MiB이다. 페이징은 디코딩된 토큰당 26.0 MB의 메모리 트래픽을 추가하며, 이는 계산된 전체의 최대 11.2퍼센트이다. 75 MHz의 보드에서 합성 가중치를 사용했을 때 이 레이어에서 토큰 하나에 11.15 ms가 걸린다. 가중치와의 행렬-벡터 곱이 이 시간의 약 62퍼센트를, 페이징을 포함한 상태 단계가 13퍼센트를 차지한다. 이 타일은 삼중 모드 처리 요소로 이루어진 멀티캐스트 메시의 한 노드이다. 부동소수점 대비 고정소수점 연산의 오차를 측정하고, 하드웨어가 고정소수점 기준과 비트 단위로 일치하는지 확인한다. 시뮬레이션에서 상태 로직은 18개 순환 레이어 모두에서 기준과 일치한다. 보드에서는 여섯 개의 빌드가 64토큰 30회 실행과 1,024토큰 2회 실행을 모두 통과한다. 이 모델과 메모리 인터페이스에서는 가중치 전달이 디코딩 성능을 제한하며 순환 상태는 그렇지 않다. 따라서 상태 페이징은 엣지 FPGA 상의 이러한 모델에 실용적이다.

arXiv:2611.18359v1cs.RO

에이전틱 로보틱스의 구상: 로봇 시스템의 새로운 시대

Envisioning Agentic Robotics: A New Era of Robotic Systems

GPT-6 Astra의 출시는 로보틱스의 새로운 패러다임인 에이전틱 로보틱스의 등장을 알린다. 몇 주 만에 에이전트 하네스를 갖춘 최첨단 모델이 다수의 체화(embodied) 벤치마크에서 과업 특화 정책과 대등하거나 그 이상의 성능을 보였다. 에이전틱 로봇 시스템은 과업군마다 전용 정책을 학습시키는 대신 파운데이션 모델을 개방형 세계의 체화 과업에 적용한다. 이 시스템은 환경을 관찰하고, 사용자 의도를 해석하고, 과업에 대해 추론하고, 스킬과 도구를 호출하고, 결과를 검증하고, 전략을 조정하는 폐루프로 동작한다. 이러한 발전에도 불구하고 학계는 공통된 정의, 신뢰할 수 있는 평가 프레임워크, 연구 로드맵에 아직 합의하지 못했다. 우리는 파운데이션 모델과 체화 하네스로 구현되는 Embodied System 2가 에이전틱 로보틱스의 의사결정 핵심을 이룬다고 주장한다. 그 핵심 과제는 제한된 반응 시간, 기계적 한계, 예측 불가능한 환경 변화, 되돌릴 수 없는 결과와 같은 물리적 제약 아래에서 범용 추론을 효과적이고 검증 가능한 행동으로 옮기는 것이다. 이러한 관점에 따라 모델의 능력과 폐루프 시스템 성능을 모두 측정하는 평가 프레임워크를 제안한다. 아울러 디지털 에이전트에서 물리 에이전트로 이어지는 원칙과 신뢰할 수 있는 물리적 자율성을 달성하기 위해 해결해야 할 과제를 규명한다. Embodied System 2와 평가 프레임워크를 토대로, 개별 기본 동작의 수행에서 상시 역할의 이행에 이르기까지 점차 더 넓은 책임 아래 안전하고 신뢰할 수 있게 작업을 수행하는 능력인 지속적 자율성을 향한 연구 로드맵을 구상한다.

arXiv:2611.17529v1cs.RO

확장되는 커리큘럼을 통한 시각적 세계 모델 계획용 잠재 목표 비용 학습

Learning Latent Goal Costs for Visual World-Model Planning with an Expanding Curriculum

고정된 시각적 세계 모델을 이용한 이미지 목표 계획은 예측된 관측을 목표와 비교해 점수화하는 방식에 좌우된다. 사전 학습된 시각 인코더의 임베딩 간 평균제곱오차(MSE)는 목표 근처에서는 유용한 신호를 제공할 수 있으나, 장애물 반대편에 있으면서 목표와 시각적으로 비슷하고 도달하기 어려운 상태를 선호할 수 있다. 본 연구에서는 이 잠재 목표 비용을 개선하기 위해 고정된 I-JEPA 임베딩 위에 작은 잔차 어댑터를 학습한다. 각 목표 근처에서 시작하여, 플래너가 점차 넓어지는 초기 상태 영역에서 궤적을 수집한다. 어댑터는 성공한 궤적을 따른 관측의 순서로부터 학습하며, 실패한 롤아웃에서 추론된 추가 비교도 함께 사용한다. 학습에 과제별 진행도 레이블은 사용되지 않으므로, 이 절차는 다른 목표 도달 과제에도 적용할 수 있다. 본 연구에서는 DotWall과 PointMaze를 사용한다. 시작점, 목표, 세계 모델, 플래너 설정이 동일한 50개 사례의 쌍체 평가에서 성공률은 DotWall에서 54%에서 98%로, PointMaze에서 82%에서 96%로 증가한다. 보지 못한 16개의 DotWall 배치-목표 사례에서, 하나의 고정된 배치로 학습한 어댑터는 잠재 비용 순서와 최단 합법 경로 순서 간의 일치도를 71.9%에서 85.8%로 향상시킨다. 이 결과는 인코더나 세계 모델을 재학습하지 않고도 계획 경험이 고정된 시각 표현의 목표 비용을 개선할 수 있음을 시사한다.

arXiv:2611.17720v1cs.RO

Ego2Flow: 실제 도로에서 증류한 지도 위에서 자율주행이 교통 시스템에 미치는 영향 벤치마킹

Ego2Flow: Benchmarking the Traffic-System Impact of Autonomous Driving on Maps Distilled from Real-World Roads

종단간 자율주행은 주로 자차의 안전성과 과제 완수를 통해 평가된다. 그러나 도시 교통에서의 배치는 차량 간에 지속적인 상호작용을 만들어 내며, 그 집단적 영향은 여전히 충분히 평가되지 않고 있다. 본 논문은 실제 도시에서 증류한 지도 위에서 자율주행이 교통 시스템에 미치는 영향을 평가하기 위한 폐루프 벤치마크인 Ego2Flow를 제시한다. 지속적인 폐루프 교통 시뮬레이션을 위한 현실적인 3D 도시 환경을 구축하기 위해, 실제 지도와 관측을 보완적인 지리 정보와 통합하는 에이전트 유도 지도 증류 프레임워크를 개발한다. 반복적 피드백 메커니즘과 장면 생성을 함께 유도하는 교통 정보 그래프를 통해, 이 프레임워크는 차선 위상, 핵심 도로 기하, 의사결정과 관련된 시각 조건을 보존하면서 비본질적 세부 사항을 단순화하고 관측되지 않은 영역을 보완한다. 제안한 프레임워크를 사용하여 Argoverse 2 데이터셋에서 여섯 개의 CARLA 지도를 생성하여 공개하며, 이는 해당 실제 지역을 포괄하고 실제 및 시뮬레이션 관측 하에서의 주행 행동을 짝지어 비교할 수 있게 한다. 이 지도들에서 Ego2Flow는 자율주행 정책이 다양한 도로 구조에 걸쳐 교통 효율, 안전, 안정성, 에너지 소비에 어떤 영향을 미치는지 평가한다. 기존 구축 방법과 비교하여 본 프레임워크는 짝지은 실제 및 시뮬레이션 관측에서 얻은 계획 출력 간 평균 변위 오차가 가장 낮다. 또한 대표적인 주행 정책을 벤치마킹하여 도시 교통에 대한 시스템 수준의 영향을 규명한다. 프로젝트 페이지: https://github.com/Fisher-007/Ego2Flow.

arXiv:2611.17658v1cs.RO

모방 정책은 고유수용성 앵커를 학습한다: 지각 잡음에 대한 예측 법칙과 폐루프 비용

Imitation Policies Learn a Proprioceptive Anchor: A Predictive Law for Perception Noise and Its Closed Loop Cost

로봇 조작을 위한 모방 정책은 흔히 잡음이 섞인 물체 위치로 학습되며, 이때 잡음이 섞인 관측값을 할인하도록 학습한다. 본 연구는 정책이 관측값을 얼마나, 그리고 왜 할인하는지를 보인다. 시연자가 물체를 향해 움직이기 때문에 로봇 자신의 상태에는 물체가 어디에 있는지에 대한 정보가 담겨 있다. 학습된 정책은 이 고유수용성 앵커를 관측값과 결합하며, 관측값에 $\alpha = V/(V + s^2)$의 가중치를 부여한다. 여기서 $s^2$은 관측 잡음이고 $V$는 앵커의 오차 분산이다. $V$는 학습자에 귀속되는 값으로, 시연에 대한 선형 모델이 시사하는 값보다 훨씬 작으며, 이 때문에 고전적인 변수 오차(EIV) 회帰가 $\alpha$를 과대추정한다. $V$를 한 번 측정하면 두 개의 robomimic 과제, 두 종류의 학습자, 네 가지 새로운 잡음 수준에 걸친 열 개의 보류된 민감도를 예측했으며, 평균 절대 오차는 0.025로 고전적 EIV의 0.37보다 작았다. 또한 매개변수가 없는 편향 검정은 정책이 단지 잡음을 과대추정한다는 더 단순한 설명을 배제한다. 이러한 할인은 정책이 자신의 상태를 스스로 생성하는 실제 배포 환경으로는 이어지지 않는다. 지속적인 관측 오프셋에 대한 폐루프 민감도는 사전 등록된 기준을 통과한 15개 정책 모두에서 $\alpha$를 초과하였으나, 모든 정책이 오프셋을 완전히 따른다는 더 엄격한 사전 등록 예측은 그중 8개에서만 성립하였다. 사후 분석에서는 $\alpha$가 낮을수록 성공률이 낮았으며 특히 diffusion에서 가파르게 나타났고, 사전 등록된 전향적 검정은 Can 과제에서 두 개의 새로운 잡음 수준에 대해 diffusion의 이러한 경향을 확인하였다. 측정된 $\alpha$는 롤아웃 이전에 성공률을 0.03 이내(95% 구간 $\pm 0.08$)로 예측했으나, 학습 잡음도 이를 동등하게 잘 예측한다. 실패한 고전적 벤치마크를 포함하여 모든 검정은 데이터 확보 이전에 등록되었으며, 그 외 모든 분석은 사후 분석으로 표기하였다. 모든 결과는 합성 가우시안 잡음을 사용한 시뮬레이션에서 얻은 것이다.

arXiv:2611.17598v1cs.RO

X-Nav 기술 보고서: 휴머노이드 로봇의 실세계 장거리 실내외 연계 내비게이션

X-Nav Technical Report: Real-World Long-Horizon Indoor-to-Outdoor Navigation on a Humanoid Robot

실내에서 실외로 이어지는 장거리 내비게이션은 휴머노이드 로봇에게 여전히 해결되지 않은 문제이다. 하나의 지시가 방, 문, 도로를 아우르며 카메라는 보행에 따라 움직인다. AGIBOT이 생산적 로봇 작업을 측정하는 지표인 Worken은 로봇이 작업 현장에 자율적으로 도달하는 능력에 달려 있다. 본 논문은 우리가 아는 한 이족 휴머노이드가 언어로 지시된 장거리 임무를 실내에서 실외까지 수행하도록 한 최초의 시스템인 X-Nav를 제시한다. X-Nav는 데이터에서 배포까지의 파이프라인을 포괄한다. 데이터 엔진은 오픈소스 장면, 배포 현장의 디지털 트윈, 실제 로봇에서 내비게이션 데이터를 수집한다. 내비게이션 모델 MELIOR는 로봇에 내장된 카메라의 RGB 영상만을 입력으로 받으며 두 가지 버전이 있다. MELIOR-A는 행동을 예측하고, MELIOR-N은 내비게이션 목표를 예측한다. 에이전트 워크플로 X-Navarch는 간단한 사람의 지시를 하위 과제로 바꾸고, 명시적인 목표 내비게이션과 장애물 회피를 통해 MELIOR를 로봇에 배포한다. Lingxi X2에서 X-Nav는 사무실 로비에서 인접 건물의 상점까지 약 100미터에 이르는 임무를 완수한다. 목표 접근과 저수준 제어에는 LiDAR와 주행 거리계가 사용된다. 임무는 MELIOR의 두 버전 모두로 완수되며, 로봇은 목적지 변경을 따르고 로비에서 도로로 이어지는 문을 통과하며, X-Navarch를 사용하면 경로상의 정적·동적 장애물도 통과한다. 배포 중 MELIOR는 현장의 디지털 트윈에서 수집한 데이터로 적응되며, 이 적응은 트윈에서의 폐루프 성공률을 높이고, 적응된 모델은 이후 실제 현장의 로봇에 배포된다. 또한 MELIOR는 R2R-CE 및 RxR-CE 벤치마크에서 경쟁력 있는 결과를 달성한다.

arXiv:2611.17802v1cs.RO

관측 조건 변화 하에서 인물 식별을 위한 멀티모달 인물 개념 모델

Multimodal Person Concept Model for Person Identification under Varying Observation Conditions

가정과 사무실 환경의 서비스 로봇은 사용자의 선호와 이전 상호작용에 기반한 개인화된 서비스를 제공하기 위해 사용자를 식별해야 한다. 학습에 사용할 수 있는 관측이 적을 수 있고, 외모, 환경 소음, 발화 내용으로 인해 관측 조건이 변하기 때문에 이는 어려운 과제이다. 이 과제를 해결하기 위해 본 연구는 인물 레이블 없이 소수의 관측으로부터 인물 개념을 학습하며 변화하는 조건에서도 강건한 식별을 가능하게 하는 멀티모달 인물 개념 모델을 제안한다. 이 모델은 중국집 프로세스에 기반한 비모수 베이지안 생성 모델을 사용하며, Contrastive Language-Image Pre-training(CLIP)과 Contrastive Language-Audio Pretraining(CLAP)으로 추출한 시각, 음향, 언어 특징을 통합한 뒤 주성분 분석(PCA)을 적용한다. 외모 변화, 가산 잡음, 전사 오류를 개별적으로 또는 조합하여 도입한 여덟 가지 조건에서 여섯 명의 참가자를 평가하였다. 여덟 가지 조건에 대해 평균한 결과, 제안 모델은 관측으로부터 인물 개념의 수를 추론하면서 0.89의 식별 정확도를 달성하였으며, 이는 실제 참가자 수를 입력받은 k-means 군집화의 0.88과 비슷한 수준이다. 또한 PCA 차원, 모달리티 가용성, 변동 강도를 검토하고 Toyota Human Support Robot에서 모델을 시연하였다. 이러한 결과는 멀티모달 인물 개념 학습이 변화하는 조건에서 강건한 인물 식별을 뒷받침하며, 개념의 수가 올바르게 복원되지 않더라도 식별에 성공할 수 있음을 보여준다. 프로젝트 페이지와 시연 영상은 https://okitamisan01.github.io/person_concept/ 에서 확인할 수 있다.

arXiv:2611.17775v1cs.RO

예측 이득을 넘어서: 월드 모델에서 행동에 기반한 잠재 변수를 위한 지표로서의 LASR

Beyond Prediction Gain: LASR as a Metric for Action-Grounded Latents in World Models

계획, 제어, 해석 가능한 추론을 지원하는 월드 모델에는 행동을 실제로 인코딩하는 잠재 표현이 필요하다. 그러나 이러한 모델이 학습되는 대규모 비디오 데이터에는 행동 주석이 거의 없다. 잠재 행동 모델은 관측 시퀀스로부터 행동과 유사한 변수를 추론하여, 레이블 없는 비디오나 궤적으로부터 행동을 인지하는 학습을 가능하게 한다. 그러나 근본적인 우려가 남아 있다. 미래 예측을 개선하는 잠재 변수가 단지 현재 상태, 에피소드 진행도, 과제 정체성 또는 기타 예측 지름길을 인코딩하는 것일 수 있다는 점이다. 재구성 손실, 롤아웃 충실도, 행동 복원, 하위 과제 성능 같은 기존 평가 방식으로는 이러한 구분을 분리해 낼 수 없다. 본 논문은 오프라인 평가에서 보류된 데이터를 대상으로, 학습된 잠재 변수가 현재 상태와 비행동 대안을 넘어 행동 관련 목표에 대한 예측 지지를 제공하는지를 측정하는 무차원 지표인 Latent Action Support Ratio(LASR)를 제안한다. LASR은 두 가지 상호 보완적 요약을 제공하는데, GeoLASR은 전형적인 지지를 포착하고 WorstLASR은 가장 약한 경우를 식별한다. 기록된 행동과 이에 대응하는 물리적 상태 변화를 목표로, 에피소드 단위로 보류한 분할, 모든 비교에 하나의 예측기 유형, 그리고 양성 및 음성 대조군을 사용하여 LASR 벤치마크를 구성한다. 기록된 로봇 조작 데이터와 짝지은 다중 과제 패널에 대한 실험에서 LASR은 알려진 행동 정보를 탐지하고, 대표적인 비행동 지름길을 기각하며, 불완전한 잠재 표현 간의 단계적 비교를 가능하게 함을 보인다. 또한 LASR을 사용하여 경량 잔차 어댑터를 학습하고 감사하였으며, 짝지은 비교로 불확실성을 평가한 결과 기술적으로 더 나은 점추정치를 얻었다. 이에 LASR은 월드 모델 잠재 변수에서 행동 관련 예측 지지를 측정하기 위한 원칙적인 오프라인 프로토콜을 제공한다.

arXiv:2611.16020v1cs.LG

불완전함을 모방하기: 이질적 시연자로부터의 오프라인-온라인 강건 모방 학습

Imitating the Imperfect: Offline-to-Online Robust Imitation Learning from Heterogeneous Demonstrators

모방 학습(IL)은 일반적으로 여러 사람 또는 알고리즘 시연자로부터 수집한 대규모 오프라인 시연에 의존한다. 그러나 기존 접근법 대부분은 이러한 시연자가 동질적이거나 거의 최적인 전문가라고 가정하는데, 이는 편리하지만 실제 응용에서는 비현실적인 가정이다. 실제로 시연은 알려지지 않았고 서로 다른 숙련도를 지닌 이질적인 시연자들로부터 수집되는 경우가 많아, 품질이 크게 섞인 데이터가 된다. 본 연구는 이러한 이질적이고 불완전한 시연자로부터의 모방 학습이라는 어렵지만 실용적인 설정을 다룬다. 본 논문은 레이블이 없는 차선의 오프라인 시연으로부터 (i) 상태-행동 최적성 점수 모델과 (ii) 각 시연자의 잠재 숙련도를 함께 학습하는 원리적 프레임워크인 잠재 숙련도 및 최적성 점수 기반 모방 학습(LEOS-IL)을 제안한다. 학습된 점수 모델은 온라인 정책 최적화 절차에 통합되며, 여기서 에이전트는 추정된 최적성 점수를 최대화하도록 학습되고 온라인 롤아웃은 점수 모델을 정제하는 데 반복적으로 활용되어 온라인 적응 중의 분포 이동을 완화한다. 또한 명시적인 충분 조건 아래에서 최적성 점수 식별, 조건부 최적 점유 및 정책 복원에 대한 이론적 보장을 제시한다. 연속 제어 벤치마크 실험에서 제안한 접근법은 매우 이질적이고 품질이 낮은 시연 조건 전반에서 기존 기준선을 일관되게 능가하였다.