본 논문에서는 인간의 1인칭 시점 영상이 행동 지도 없이도 로봇 정책 학습에 어떻게 도움이 될 수 있는지 조사한다. 사전 학습된 VLM을 기반으로, 우리는 행동 및 표현에 대한 공유 예측(Shared Prediction on Action and Representation, SPAR)을 제안한다. SPAR는 MoT 아키텍처로서, 미래 시각 상태 예측이 행동 예측과 함께 독립적이면서 상호 보완적인 학습 신호를 제공할 수 있다. 1인칭 영상으로부터 학습된 표현이 분포 외 로봇 과제에서 하위 성능을 향상시키며, 영상 데이터 규모가 커질수록 성능이 더욱 향상됨을 확인했다. 또한 목적 함수 선택과 데이터 큐레이션의 효과를 연구하여, 행동 정보가 없는 영상을 확장 가능한 로봇 학습에 활용하는 방법에 대한 통찰을 제공한다.
사람들의 행동을 바탕으로 그들의 계획과 목표를 추론하는 것은 인간의 사회적 상호작용에 근본적이며 협력적인 체화 인공지능에 필수적이다. 이러한 능력을 자연스러운 체화 환경에서 형식화하는 것은 오랫동안 어려운 과제였다. 본 연구에서는 다단계 장기 체화 계획에 대해 추론할 수 있는 새로운 에이전트 표현인 GenEA를 제시한다. GenEA의 핵심은 관절 신체의 개략적 생체역학과 주변 물체와의 상호작용을 결합하는 다중 수준 상태 공간으로, 로보틱스의 과제-동작 계획 프레임워크를 시뮬레이션 기반 직관 물리로 확장하여 구성한다. 이 상태 공간을 생성 모델에 내장함으로써 GenEA는 목표와 체화 계획에 대한 결합 확률 분포를 도출한다. 물체 조작과 내비게이션이라는 질적으로 구별되는 영역에 걸쳐 다양한 과제와 여러 행동 측정치를 포함하는 여러 실험에서, 우리는 GenEA가 이 결합 분포에 대한 단순한 변환만으로 인간이 체화된 계획을 추론하는 방식을 재현함을 보인다. 결정적으로 GenEA는 그럴듯한 휴리스틱, 표준 과제-동작 계획, 최첨단 비전-언어 모델을 포함한 강력한 대안 모델들을 일관되게 능가한다. 이로써 GenEA는 인간 추론과 사회 인지의 구조에 대한 새로운 관점을 제시하며, 인간과 매끄럽게 상호작용하고자 하는 체화 인공지능 시스템이 GenEA와 유사한 행동 계획 생성 모델을 채택해야 함을 시사한다.
여러 과제를 처리할 수 있는 스마트 산업 솔루션에는 기반 공정을 이해하는 모델이 필요하다. 우리는 이러한 솔루션의 한 예로 사출 성형 공정을 모델링하기 위한 표현 학습을 살펴본다. 고전적인 기계학습 대안과 비교하여 데이터 효율성과 멀티모달 이점을 고찰한다. 이를 위해 Erlanger Träger 부품의 실제 기준 사이클을 바탕으로 공정 정보 기반 데이터셋을 합성한다. 이어서 금형 내 신호를 재구성하면서 부품을 합격품 또는 합성 불량 유형 중 하나로 분류하는, 시간 합성곱과 어텐션 기반의 변분 오토인코더인 MouldIt을 소개한다. 단일 모달 및 멀티모달 설정에서 아홉 가지 데이터셋 크기에 걸쳐 기지 클래스 분류와 미지 클래스 탐지라는 두 과제에서 MouldIt을 평가한다. 이를 전부 합격 처리 기준선, 그리고 두 과제를 모두 지원하도록 적응시킨 k-최근접 이웃, 로지스틱 회귀, 랜덤 포레스트, 주성분 분석과 같은 고전적 방법과 비교한다. MouldIt은 단일 모달 설정에서는 4000 사이클부터, 멀티모달 설정에서는 2000 사이클부터 두 과제 모두에서 고전적 방법을 능가한다. 부품 선별 손실은 단일 모달 및 멀티모달 설정에서 각각 6.0 $\pm$ 0.7%와 1.0 $\pm$ 0.3%를 달성하여, 모든 기준선과 주성분 분석 및 랜덤 포레스트의 조합 가운데 1위를 기록하였다.
사실적이면서 계량적으로 일관된 세계 표현은 연속 운용되는 로봇에 쓰이는 LiDAR--관성--시각 SLAM 시스템의 핵심 요구 사항이다. 3D 가우시안 스플래팅은 명시적이고 렌더링 가능하며 질의 가능한 장면 모델을 제공함으로써 이러한 표현을 달성 가능하게 한다. 본 논문은 가우시안 맵을 기하학적으로 정확하고, 전역적으로 정제되며, 재진입 가능하게 만들어 로봇의 인지와 의사결정에 더 나은 외관을 제공하기 위해 GEMOR-GS(Global Extrinsic-calibration-refined Mapping and Online Relocalization for 3D Gaussian-Splatting SLAM)를 제시한다. 3DGS 맵을 개선하기 위해, LiDAR--카메라 외부 파라미터를 전용 보정 구간에서 직접법 정렬로 오프라인 추정하고 이후 모든 온라인 및 오프라인 과정에서 재사용한다. 보정된 기하 하에서 키프레임 자세와 가우시안 파라미터는 게이트된 미분 가능 렌더링 및 LiDAR 투영 목적함수 아래에서 번갈아 정제된다. 이후 모든 온라인 제약을 해제한 채 정제된 키프레임 스키마로부터 최종 전역 재구성을 다시 구축한다. 로봇 SLAM 수명주기에서는 추적 손실 후 XFeat 우회 맵, RANSAC-PnP 대략적 위치 추정, 가우시안 RGB-D 워프 정제를 통해 3DGS 맵으로부터 자세를 복구한다. 자체 수집한 1개와 공개된 5개의 시퀀스에 대한 실험은 각 요소를 정량화한다. 오프라인 재구성은 온라인 맵 대비 모든 짝지은 키프레임에서 14.3--19.9 dB 우위를 보이고, Gaussian-LIC2 대비 PSNR을 약 9 dB 개선하며, 외부 파라미터 품질에 연동된 86--100%의 홀드아웃 재위치 추정 성공률을 달성한다. 이 결과는 GEMOR-GS가 3DGS 맵의 기하 정확도, 외관 충실도, 재진입성을 향상시켜 SLAM 및 후속 과제를 위한 신뢰할 만한 로봇 세계 모델로 기능함을 보여 준다.
정확한 관성 오도메트리는 자율 시스템에 필수적이지만, 센서 잡음과 바이어스의 적분으로 인한 무한한 드리프트가 발생한다. TLIO와 같은 접근법에서는 신경망 의사 측정값이 하위 필터와 독립적으로 학습된다. 본 논문은 오차 상태 칼만 필터의 갱신 단계를 계산 그래프에 직접 내장하는 학습 프레임워크인 관성 오도메트리를 위한 미분 가능 필터링(DFIO)을 소개한다. 독립 사전 학습 이후, DFIO는 미분 가능한 측정 갱신을 통한 사후 위치 지도를 사용하여 변위 및 공분산 출력 헤드를 공동으로 최적화한다. 제안한 시스템은 보정된 관성 측정과 보정되지 않은 관성 측정을 모두 포함하는 공개 보행자 운동 데이터셋에서 검증된다. 보행자 데이터셋에 대한 실험 결과, DFIO는 평균 절대 및 1초 상대 병진 오차를 TLIO 베이스라인 대비 13.2%와 39.6%, 사전 학습된 대응 모델 대비 7.7%와 17.4% 감소시킨다. 나아가 보정되지 않은 스마트폰 관성 데이터에 대한 평가는 제안 방법이 병진 드리프트를 효과적으로 완화하고 잡음이 심한 센서 조건에서도 궤적 정렬을 유지함을 보여 준다. 소스 코드는 공개될 예정이다.
플로 매칭 로봇 정책은 일반적으로 오프라인 정확도 스윕에서 선택한 고정된 오일러 스텝 수를 사용한다. 그러나 추론 시에는 각 정책 입력(시각 관측, 로봇 상태, 언어 지시)이 소스 노이즈 추출과 함께 서로 다른 ODE 궤적과 국소 야코비안의 열을 정의한다. 우리는 공칭 노이즈-행동 궤적을 정확히 따르는 스텝 수가, 그 주변의 강하게 수축하는 방향에 대해서는 여전히 너무 거칠 수 있는지 묻는다. 정확한 두 좌표 시스템과 학습된 여섯 개 플로 모델의 통제된 증강은, 원래 학습된 수송이 변하지 않더라도 궤적 정확도와 국소 오일러 안정성이 서로 다른 스텝 요구 조건을 부과할 수 있음을 보여준다. 이어서 가중치나 행동 동역학을 수정하지 않은 고정된 $\pi_{0.5}$-LIBERO 체크포인트를 연구한다. LIBERO-10의 10개 과제에서 추출한 30개 정책 입력에 대해, 야코비안은 행동 종점 근처에서 강하게 수축하는 방향을 보이지만 샘플링된 어떤 모드도 오일러 비팽창 조건을 위반하지 않는다. 그중 다섯 입력에서 정확도 스윕은 종단 오차 5%에 4--9개의 오일러 스텝을, 1%에 87--112개를 요구한다. 따라서 이 다섯 개의 짝지어진 사례는 이 국소 기준 하에서 안정성 제한이 아닌 정확도 제한 샘플링과 일치하며, 통제된 실험은 종점 정확도만으로는 별도의 안정성 요구 조건을 배제할 수 없는 이유를 보여준다.
밀리미터파(mmWave) 레이다는 날씨에 강건한 센싱과 직접적인 도플러 측정을 제공하지만, 자동차 인지 파이프라인은 그 출력을 희소 포인트 클라우드나 2차원 투영으로 축소하는 경우가 많아 원시 거리-방위각-도플러(RAD) 큐브가 충분히 활용되지 못하고 있다. 자차 운동은 세계 정지 구조물에서 도플러 응답을 유발하고, 도플러 랩핑은 반경 속도에 에일리어싱을 일으켜 이동 객체 탐지와 속도 추정을 어렵게 만든다. 본 논문에서는 차량에 장착된 단일 칩 레이다로 획득한 원시 RAD 큐브로부터 이동 객체를 탐지하고 속도를 추정하는 실시간 프레임워크인 RaMOD(Radar-based Moving-Object Detection)를 제안한다. RaMOD는 프레임별 자차 운동을 명시적으로 추정하고, 추정된 레이다 병진 속도를 이용해 세계 정지 구조물의 도플러 영역을 예측하여 그 안의 반사 신호를 억제한다. 억제된 큐브를 시간적으로 다중 스케일 특징으로 인코딩하여 클래스 레이블이 포함된 RAD 공간 박스를 예측한다. 탐지된 각 객체에 대해 원시 도플러 가설과 도플러 언랩핑 가설 하에서의 반경 속도 및 전방 속도를 도플러 랩핑 확률과 함께 예측한다. 자체 구축한 BRIDGE-Liv 데이터셋에서 RaMOD는 RAD 큐브, RA, RD 탐지 설정 전반에서 비교한 모든 원시 레이다 방법을 능가하였으며, IoU 0.30에서 큐브 mAP 80.8%를 달성하여 가장 강력한 RAD 큐브 기준선보다 15.7퍼센트포인트 높았다. 속도 MAE는 1.128 m/s이고 도플러 랩핑 정확도는 99.87%이다.
실험대에서 실험을 수행하는 사람은 인쇄된 지침서를 따라 작업하고, 용기에 적힌 라벨로 동일한 용기를 구분하며, 각 단계 전에 실험대를 다시 살펴본다. 실험실 자동화는 보통 그 반대로 작동한다. 절차는 스크립트로 작성되고, 용기는 고정된 위치에 놓이거나 기준 마커를 달고 있다. 우리는 로봇 팔이 사람을 위해 꾸며진 실험대에서 화학 실험을 수행하도록 하는 시스템인 Curie's Jarvis를 제시한다. 이 시스템은 인쇄된 지침서 사진에서 단계를 읽고, 고정된 위치나 마커가 없는 일반 실험대에서 용기를 찾으며, 네 개의 카메라 뷰에서 라벨을 읽어 비슷하게 생긴 용기를 구분하고, 각 단계 전에 목표물을 다시 찾아내며, 속도를 포함해 각 단계를 수행하는 방식을 다루는 대상에 따라 설정한다. Franka Panda 팔에서 Curie's Jarvis는 어린이용 화학 키트의 한 프로토콜을 5회 중 5회, 다른 프로토콜을 5회 중 4회 사람의 개입 없이 완료하였고, 인쇄 및 손글씨 라벨에 대한 160회의 위치 탐색에서 모든 용기를 올바르게 식별하였다. 이는 로봇이 사람처럼 실험대 화학 작업을 수행하는 데 한 걸음 더 다가가게 한다.
비전-언어-행동(VLA) 모델은 이제 LIBERO 시뮬레이션 벤치마크에서 95%를 넘는 성공률을 보이지만, 이 성능에서 학습 시연을 넘어서는 일반화가 얼마나 필요한지는 여전히 불분명하다. 본 연구에서 우리는 인접한 시연을 검색하여 그 행동 청크를 재사용하는 방식이 정책 학습 없이도 LIBERO에서 91.7%의 성공률을 달성함을 보인다. LIBERO-Plus 교란 아래에서 검색 방식은 평가된 모든 정책 중 성능 하락이 가장 작다. 공개적으로 이용 가능한 아홉 개의 VLA 전반에서, 파인튜닝은 대체로 비전-언어 백본을 더 나은 검색 키로 만들며, VLA의 행동은 시연에 가깝게 유지된다. 또한 우리는 표현 공간에서 인접한 관측이 유사한 미래 행동과도 연관되는지를 측정하는 오프라인 지표인 국소 행동 일관성(Local Action Consistency, LAC)을 도입한다. 우리는 LAC가 검색의 성공률을 따라가며 검색 키의 학습을 안내할 수 있음을 보인다. 우리의 평가와 소스 코드는 https://github.com/sereact/lerobot_knn 에서 이용할 수 있다.
학습 기반 분산 충돌 회피는 상태 추정 불확실성과 이질적인 에이전트 동역학 하에서도 신뢰성을 유지해야 한다. 기존 방법은 대개 학습 도메인의 변형을 통하거나 실행 시점에 불확실성과 능력 추정치를 정책에 제공함으로써 이러한 요인을 다룬다. 그러나 두 방식 모두 이러한 양이 안전한 상호작용에 필요한 물리적 이격을 어떻게 바꿔야 하는지를 정책이 스스로 추론하도록 남겨 두며, 이는 충돌 회피 행동을 학습 분포에서 학습된 관계에 결합시킬 수 있다. 본 논문은 현재 상태 추정치, 불확실성, 에이전트별 응답 특성을 동적이고 방향에 의존적인 안전 여유로 매핑하는 온라인 기하 표현인 동적 방향성 경계 상자(Dynamic Oriented Bounding Box, DOBB)를 제안한다. 에이전트의 DOBB 간 상호작용의 상대 배치와 심각도를 함께 나타내는 기하학적 특징을 도출하고, 이러한 상호작용의 물리적 해석을 보존하는 보상 함수도 함께 도출한다. 네 가지 평가 환경에서 DOBB는 평균 총 실패율 2.6%로 가장 낮은 값을 달성했다. 이 성능은 구동 동역학과 상태 추정 불확실성의 분포 외 변화에서도 유지되며, 충돌에 의한 실패는 시험한 모든 조건에서 2.3% 이하로 유지된다. 이러한 강건성은 안전 여유의 기하학적 추상화 덕분이라고 보며, 이는 학습 중에 접한 특정 불확실성 및 구동 영역에 대한 결합이 더 적다.
시스템 식별에는 식별 방법, 사전 물리 지식의 반영, 모델 검증에 관한 전문가의 판단이 필요하다. 본 논문은 대규모 언어 모델 에이전트가 식별 방법을 선택하고 실행하는 비선형 시스템 식별 프레임워크 ASPIRE를 제안한다. ASPIRE는 측정 데이터로부터 닫힌 형태의 비선형 정적 또는 동적 모델을 구성하며, 선택적으로 시스템 설명, 모델의 의도된 용도, 형식적 또는 자연어로 표현된 물리적 요구사항을 보조 입력으로 사용할 수 있다. 각 모델은 파라미터, 추정 기록, 항에 대한 해석, 그리고 에이전트가 접근할 수 없는 테스트 데이터로 평가한 오차를 포함한다. 형식적 물리 요구사항은 독립적으로 검증된다. ASPIRE는 자율적으로 또는 대화형으로 동작할 수 있으며, 에이전트가 질문하고 사용자가 추가 분석과 식별 라운드를 요청할 수 있다. 우리는 이동 로봇, 건마찰이 있는 회전 시스템, 실험실 발효기라는 세 가지 실측 시스템에서 ASPIRE를 평가한다. 각 시스템은 설명이 있는 경우와 없는 경우로 나누어 과제당 5회씩 실행하였다. 30회의 실행 모두 유효한 모델을 산출하였으며, 실행당 비용은 0.96~3.38 미국 달러였다. 저자들의 평가에 따르면, 실행마다 하나씩 에이전트가 추천한 30개 모델에 대해 모델 해석과 구조 선택 및 파라미터 추정에 대한 문서화는 평가 대상 150개 항목 중 132개를 완전히 충족하고 18개를 부분적으로 충족하였다. 가장 빈번한 불일치는 9개 모델에서 발견되었으며, 모델 구조 선택에 관한 부정확하거나 근거 없는 주장이었다.
임바디드 비전-언어 모델(VLM)은 로봇 계획 및 조작의 백본이다. 그러나 그라운딩 과제의 좌표 예측에서 기존 아키텍처는 두 가지 뚜렷한 병목을 겪는다. 이산 토큰화는 공간 연속성을 훼손하고 디코딩 지연이 크며, 표준 점 회귀는 다중 접촉 어포던스와 불규칙한 형태의 대상에서 실패한다. 이러한 문제를 해결하기 위해 우리는 세 가지 핵심 기여를 담은 PhysMoE를 제안한다. (1) 하위 계층은 멀티모달 문맥을 위해 공유하고 상위 계층은 물리적 모달리티에 따라 공간(픽셀) 전문가와 언어(텍스트) 전문가로 라우팅하여 그래디언트 간섭을 제거한다. (2) 시각 인코더가 학습한 위치 임베딩을 재사용하여 각 좌표를 단일 토큰으로 인코딩함으로써, 2D 공간 사전 정보를 주입해 좌표를 시각 특징과 자연스럽게 정렬하고 학습을 쉽게 한다. (3) 비용이 큰 마스크 디코더 없이 어포던스와 불규칙한 기하를 수용하도록, 포인팅에 대해 미분 가능한 부호 거리장(SDF) 지도를 적용한다. 기반 모델과 비교하여 PhysMoE는 9개의 좌표 기반 그라운딩 벤치마크(궤적, 어포던스, 위치 추정)에서 평균 15.7%의 향상과 8.31배의 처리량 가속을 달성하면서, 11개의 텍스트 기반 임바디드 벤치마크에서 멀티모달 이해와 추론 능력을 유지한다.
연속 제어를 위한 심층 강화학습(RL)의 탐색은 일반적으로 시간적으로 상관되지 않은 가우시안(백색) 행동 잡음으로 이루어지며, 이는 국소적으로 제한된 탐색과 덜컥거리는 움직임을 낳는다. 반면 시간적으로 상관된 유색 잡음, 특히 핑크 잡음은 RL에서 더 효율적인 탐색을 뒷받침하는 것으로 알려져 있다. 이러한 발견에 착안하여, 본 연구는 학습 과정에서 잡음 색을 바꾸도록 스케줄링하면 연속 제어 로보틱스에서 백색 잡음을 능가할 수 있는지 살펴본다. Fetch 로봇 팔과 Shadow Dexterous Hand를 사용하는 네 가지 희소 보상 조작 과제에서, 백색 잡음과 적색 잡음 사이의 49가지 선형 스케줄을 일반화 상태 의존 탐색(gSDE)과 함께 체계적으로 연구한다. 학습 종료 시점의 잡음 색은 학습 효율이나 최종 성능에 영향을 주지 않는 반면, 적색 잡음으로 점차 전환하면 모든 과제에서 탐색의 저크가 절반으로 줄어듦을 확인했다. 학습 효율, 최종 성능, 부드러움을 균형 있게 고려하면 적색 잡음이 선호되는 전략으로 나타나며, 핑크 잡음만큼 효율적으로 학습하면서 움직임 저크는 거의 2배 적다. 따라서 오프폴리시 로봇 학습의 기본값으로 적색 잡음을 향해 점차 전환하는 탐색 스케줄러를 권장한다.
사전학습된 비전 언어 행동(VLA) 모델은 강력한 제로샷 성능을 보이지만 직접 배포되는 경우는 드물며, 대개 먼저 대상 환경의 시연으로 사후 학습된다. 그럼에도 VLA는 보통 제로샷 또는 전체 데이터 미세조정 성공률로 비교되는데, 이는 하위 적응에 필요한 데이터와 연산량에 대해 거의 알려 주지 않는다. 본 논문은 네 개의 LIBERO 스위트에서 여섯 개의 VLA($\pi_0$, $\pi_{0.5}$, GR00T N1-N1.7)의 적응 효율성을 시연 수와 학습 스텝 수를 모두 달리하며 연구한다. 그 결과 전체 데이터 미세조정에서는 드러나지 않던 차이가 나타난다. 전체 LIBERO-Spatial 데이터셋에서 2포인트 이내인 모델들이 50개 시연에서는 성공률이 최대 3$\times$ 차이가 난다. $\pi_{0.5}$는 $\pi_0$보다 2-5$\times$ 적은 시연이 필요하고 모든 예산에서 가장 샘플 효율적인 모델이며, 장기 과제 스위트에서 격차가 가장 크다. GR00T 내에서는 N1.5가 더 강한 제로샷 성능을 가진 N1.6 및 N1.7보다 네 스위트 중 세 곳에서 더 효율적으로 적응한다. 또한 미세조정 중 VLM을 고정함으로써 이러한 차이의 배후에 있는 한 가지 사전학습 요인을 연구한다. 이는 사전학습 중 VLM이 행동 전문가와 함께 공동 학습된 $\pi$ 모델의 성능은 심각하게 저하시키지만, GR00T 모델에는 거의 영향을 주지 않는다.
로봇은 언제 컵을 보아야 하고, 언제 포터필터를 보아야 하는가? 한 과제에 유익한 시점이 같은 작업대에서도 다른 과제에는 쓸모없을 수 있다. 본 논문은 시뮬레이션된 탁상 조작에서 과제 조건부 실행 가능 공간 신념을 평가하는 벤치마크인 Seeing What Execution Needs를 소개한다. 정렬된 3개 도메인 트랙은 1,080개의 고정된 사례(커피 작업대, 서랍/캐비닛, 전자레인지/가전 각 360개)를 포함한다. 주된 커피 프로토콜인 폐루프 실행 가능성과 동일 물체 기능적 분포 외(OOD) 일반화는 평가된 방법, 예산, 추론 반복 전반에서 115,000개가 넘는 평가자 에피소드를 생성한다. 각 사례는 후보 RGB 시점, 조작 명령, 공유 스크립트 기술, 숨겨진 사후조건을 짝지어, 선택된 관측이 실행을 뒷받침하는지를 직접 측정한다. 메타데이터를 활용한 진단용 참조 파이프라인은 공간-기능 신념을 유지하고 부족한 증거를 기준으로 시점의 순위를 매긴다. 주요 예산 설정에서 이 파이프라인은 폐루프 성공률 98.8%, 기능적 OOD 성공률 98.9%에 도달하며, 기능 필드나 명령 결합을 제거하면 기능적 OOD 성공률이 각각 0.0%와 19.7%로 감소한다. 별도의 전체 미리보기 조건에서 일곱 개의 비전-언어 모델은 26-43%에 도달한다. 커버리지 메타데이터를 고정된 RGB 기반 점수로 대체해도 98.5%/98.9%의 성공률이 유지되며, 이 점수를 섞으면 성공률이 15%/11%로 감소하여 이미지 내용에 대한 의존성을 뒷받침한다. 이와 별도로, H=3에서의 정렬된 3개 도메인 평가는 고정된 도메인별 스키마 하에서 벤치마크 인터페이스의 이식성을 뒷받침한다. 이러한 결과는 조작을 위한 공간 신념이 획득된 증거가 현재 명령의 실행 요구를 충족하는지에 따라 평가되어야 함을 시사한다.
자기 시점 인간 영상은 로봇 학습을 위한 조작 사전 지식의 확장 가능한 원천이지만, 원시 데이터의 규모를 일반화 가능한 로봇 정책으로 전환하려면 엄밀한 데이터 큐레이션과 학습 레시피가 필요하다. 본 논문에서는 자기 시점 사전 학습을 50,000시간으로 확장하는 최초의 완전 공개 레시피인 Open-HumanWAM을 소개하며, 이는 손 동작과 자연어로 촘촘히 주석된 큐레이션된 자기 시점 영상 코퍼스인 Open-HumanWAM-50K를 기반으로 한다. 이 코퍼스를 활용하여 폐루프 시뮬레이션 평가를 통해 순수 인간 사전 학습을 체계적으로 조사하고, 사전 학습 데이터 시간과 하위 로봇 성공률을 잇는 경험적 로그-선형 스케일링 법칙을 발견한다. 이러한 결과에 기반하여 50k시간의 자기 시점 인간 영상으로만 사전 학습된 세계-행동 모델인 HumanWAM-Vanilla를 개발한다. 로봇 사후 학습 후 HumanWAM-Vanilla는 RoboTwin 2.0 Clean2Clean에서 92.08%, Clean2Random에서 68.88%의 성공률에 도달하며, RoboDojo에서는 평균 성공률 14.17%와 평균 진행 점수 19.00을 기록한다. 성능 한계를 더 끌어올리기 위해 시각 목표 조건 세계-행동 모델인 HumanWAM-Goal로 인간-로봇 공동 사전 학습을 탐구한다. 하이브리드 데이터 확장은 시뮬레이션과 실제 벤치마크 모두에서 폭넓은 제로샷 일반화를 가능하게 하여, 사후 학습된 RoboTwin 2.0 성능을 Clean2Clean 92.70%, Clean2Random 84.60%로 크게 도약시키며 새로운 최고 수준에 도달시킨다. 실제 로봇에서 HumanWAM-Goal은 또한 창발적인 체화 문맥 내 학습을 보이며, 파라미터 갱신 없이 보지 못한 시각 목표에 맞춰 조작 행동을 동적으로 조정한다. 체화 AI에서 재현 가능한 스케일링 연구를 지원하기 위해, Open-HumanWAM-50K 코퍼스, 데이터 큐레이션 및 사전 학습 파이프라인, 사전 학습 및 사후 학습된 HumanWAM 체크포인트, 추론 코드, 시뮬레이션 평가 스위트를 오픈 소스로 공개한다.
가상 에이전트를 위한 전통적인 비언어 행동 생성 시스템은 일반적으로 발화를 입력으로 받아 발화된 말과 일치하거나 이를 예시하는 행동을 생성한다. 그러나 인간의 비언어 행동은 발화 내용 이상의 요인에 의해 형성된다. 화자의 역할, 대인 관계, 사회적 맥락, 상호작용 참여자의 인지적·정서적 상태의 영향을 받는다. 따라서 비언어 채널은 말 속에 숨겨진 정보나 감정을 전달한다. 이러한 복잡한 언어-비언어 불일치를 모델링하는 것은 특히 훈련 응용에서 현실적인 가상 에이전트에 중요하다. 본 연구는 불일치의 분류 체계로 강화, 완화, 누설을 제안하고, LLM이 맥락에 적합한 불일치 행동을 선택할 수 있는지 평가한다. 인간 대상 연구를 통해, 가상 인간 프레임워크에서 구현된 이러한 맥락 기반 행동이 의도한 효과를 내는지 평가한다. 결과는 LLM이 사회적 맥락을 프롬프트로 받았을 때 목표로 하는 불일치 행동(예: 빈정거림)을 성공적으로 선택함을 보여 준다. 나아가 인간 대상 평가는 이러한 비언어 단서가 관찰자가 지각하는 에이전트의 태도와 정서가에 유의미한 변화를 일으킴을 확인해 준다. 참가자들은 강화, 완화, 누설과 같은 서로 다른 불일치 기능을 성공적으로 구분하였고, 일치하는 베이스라인과 비교하여 사회적 의미의 뚜렷한 방향성 변화를 지각하였다.
더 풍부한 학습 지도는 배포되는 정책을 소형으로 유지하면서 로봇 제어를 어떻게 향상시킬 수 있는가? 본 논문은 교사 모델에서 유도한 공간 레이블과 시연 조건화 행동 학습을 활용하는 단계별 학습 프레임워크 XS-VLA를 제안한다. 조대 공간 증류(Coarse-Grained Spatial Distillation, CSD)는 보조 영역 레이블 과제를 통해 백본을 초기화한다. 이어서 잠재 흐름 정합(Latent Flow Matching, LFM)은 시연 잠재 변수에 행동 공간 속도장을 조건화하며, KL 정규화를 사용하면서 백본과 행동 모듈을 함께 최적화한다. 배포되는 정책은 243.99M개의 파라미터를 가지며 교사 모델이나 사후 인코더 없이 동작한다. XS-VLA는 두 학습 시드 각각에서 LIBERO 평균 성공률 90.25%를 달성하였으며, 동일한 설정에서 학습한 SmolVLA-0.25B 기반 모델은 86.00%였다. 어블레이션은 대응되는 이미지 사전학습과 Huber/MSE 대조군을 통해 두 학습 단계를 모두 검토한다. Mobile ALOHA 세 가지 과제에서 평균 엄격 성공률은 21.7%에서 65.0%로 증가하였다. 이러한 결과는 소형 VLA 정책에서 보조 표현 초기화와 정규화된 시연 조건화 흐름 학습이 제어에 유용함을 보여준다.
인간 시연에서 물체에 가해지는 힘과 토크를 중심으로 한 접촉 렌치 공간(contact wrench space) 가이던스를 강화학습에 적용하는 CHORD 프레임워크를 제안하며, 서로 다른 신체 구조의 로봇도 인간 시연의 기계적 효과를 공유 표현으로 비교할 수 있게 한다. 4,739개의 양손 정교 조작 태스크 벤치마크에서 82.12%의 평균 성공률을 달성하고, 전신 조작 태스크에서도 90.77%의 성공률로 실제 로봇 환경까지 정책 이전을 검증했다.
시각-언어-행동(VLA) 모델은 종단간 모션 플래너로서 효과적이지만, 전통적인 모방 학습 프레임워크로 학습되기 때문에 폐루프 환경에서 평가할 때 취약할 수 있다. 기존의 폐루프 지도 방식은 확장성이 부족하고 반응형 환경을 완전히 모델링하지 못한다. 우리는 VLA 모델의 잠재 공간에서 동적 주행 시나리오를 반응형 다중 에이전트로 롤아웃하는 새로운 프레임워크인 MAPLE을 제안한다. 자차(ego vehicle)와 주변 교통 에이전트는 다단계 시간 범위에 걸쳐 독립적으로 제어되면서 장면 내 다른 에이전트에 반응하여 폐루프 학습을 가능하게 한다. MAPLE은 두 가지 학습 단계로 구성된다. (1) 정답 궤적에 기반한 잠재 롤아웃에 대한 지도 미세 조정, 이어서 (2) 안전성, 진행도, 상호작용 현실성을 장려하는 전역 및 에이전트별 보상을 이용한 강화학습이다. 또한 기록된 주행 데이터에 존재하지 않을 수 있는 계획 행동을 모델이 생성하도록 장려하는 다양성 보상을 제안한다. 특히 우리의 폐루프 학습 프레임워크는 확장 가능하며, 실행에 계산 비용이 많이 들고 실제 세계에 대한 시각적 충실도가 제한적일 수 있는 외부 시뮬레이터를 필요로 하지 않는다. MAPLE은 Bench2Drive에서 최고 수준의 주행 성능을 달성하며, 견고한 종단간 자율주행 시스템을 위한 확장 가능한 폐루프 다중 에이전트 플레이를 입증한다.