arXiv:2609.22611v1 cs.RO

HIGenNTO: 노이즈 공간 궤적 최적화를 통한 확장 가능한 휴머노이드 상호작용 생성

HIGenNTO: Scalable Humanoid Interaction Generation via Noise-Space Trajectory Optimization

Lalit Jayanti, Kashu Yamazaki, Yuto Shibata, Kotaro Amaya, Katerina Fragkiadaki

제출 2026-09-22

한국어 초록

휴머노이드 로봇은 운동학적 휴머노이드 동작 참조를 모방하여 복잡한 기술을 습득할 수 있지만, 접촉이 많은 상호작용에 대한 신뢰할 수 있는 참조를 얻기는 여전히 어렵다. 모션 캡처는 가림(occlusion)과 밀접한 물리적 접촉 하에서 품질이 저하되며, 리타게팅(retargeting)은 추가적인 접촉 및 기하학적 불일치를 초래한다. 우리는 희소 시공간 및 장면 제약 하에서 사전학습된 텍스트 조건 동작 모델의 초기 노이즈를 최적화하여 휴머노이드-장면 상호작용 동작 참조를 합성하는 프레임워크 HIGenNTO를 제안한다. 동일한 공식화는 원하는 접촉을 만족하고, 충돌을 피하며, 안정적인 지지를 유지하면서 사전(prior)의 현실성과 시간적 일관성을 보존하고, 처음부터 상호작용 동작을 생성하며 장기 행동을 단계별로 구성한다. 로봇-환경 및 로봇-객체 과제 전반에서 HIGenNTO는 시뮬레이션에서 추적 정책(tracking policy)으로 실행 가능한 동작을 생성하며, 온보드 센싱만으로 동작하는 깊이 조건 시각-운동(visuomotor) 정책 학습에 사용할 수 있다. 우리는 네 가지 접촉이 많은 과제에서 Unitree G1에 이러한 정책을 배포한다. 마지막으로, 과제 명세 자체를 코딩 에이전트가 작성할 수 있으며, 이 에이전트는 상호작용 과제를 제안하고 이를 프롬프트, 제약, 및 장면 프로그램으로 컴파일하여 평가한 8개 과제 중 3개와 추가 4개 행동을 작성했다. 종합하면, 이러한 결과는 고수준 과제 기술에서 물리적으로 실행 가능한 휴머노이드 상호작용까지의 확장 가능한 경로를 제시한다.

원문 초록

Humanoid robots can acquire complex skills by imitating kinematic humanoid motion references, yet reliable references for contact-rich interactions remain difficult to obtain: motion capture deteriorates under occlusion and close physical contact, while retargeting introduces additional contact and geometric inconsistencies. We present HIGenNTO, a framework that synthesizes humanoid-scene interaction motion references by optimizing the initial noise of a pretrained text-conditioned motion model under sparse spatiotemporal and scene constraints. The same formulation satisfies desired contacts, avoids collisions, and maintains stable support while retaining the prior's realism and temporal coherence, generating interaction motions from scratch and composing long-horizon behaviors stage-wise. Across robot-environment and robot-object tasks, HIGenNTO produces motions that can be executed by tracking policies in simulation and used to train depth-conditioned visuomotor policies operating solely from onboard sensing. We deploy these policies on a Unitree G1 across four contact-rich tasks. Finally, the task specifications themselves can be written by a coding agent, which proposes interaction tasks and compiles them into prompt, constraint, and scene programs, authoring three of our eight evaluated tasks and four further behaviors. Together, these results establish a scalable path from high-level task descriptions to physically executable humanoid interactions.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.22611v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24187v1cs.RO공통 태그 Imitation Learning, Continuous Control, Depth Estimation, Scene Understanding

StenoVLA-3D: 위장관 협착 통과를 위한 3D 인식 추론 VLA

StenoVLA-3D: 3D-Aware Reasoning VLA for Navigation Through Gastrointestinal Stenoses

자율 내시경 내비게이션에서는 정책 모델이 질감 정보가 빈약한 단안(monocular) 관측으로부터 행동을 예측하고, 안전한 제어 결정을 내려야 하며, 병변이 시야(field of view)를 벗어난 뒤에도 병변에 대한 증거를 유지해야 한다. 기존 비전-언어-행동(VLA) 모델은 주로 시각적 외관과 단기 문맥에 의존하여 기하학적 그라운딩(grounding)과 에피소드 수준 보고가 제한된다. 본 연구는 협착(stenotic) 구간 통과 내비게이션을 위한 3D 인식 VLA 프레임워크인 StenoVLA-3D를 제안한다. 학습된 기하 게이트 융(geometry-gated fusion)을 통해 포인트 맵(point-maps)을 Cosmos-Reason 2 백본에 통합하고, 통과 진행(traversal progress)을 모델링하기 위한 시간적 상태 분기(temporal state branch)도 제안한다. 추론-행동 백본은 행동과 함께 그라운딩된 추론을 예측하며, 전용 헤드는 협착 형상을 추정하고 최종 병변 보고서를 생성한다. 또한 병변 주석, 행동, 시간적으로 그라운딩된 추론을 포함한 에피소드 수준 데이터셋 EndoCausal를 도입한다. 보류(hold-out)된 40개 녹화 테스트 에피소드에서 StenoVLA-3D는 95.2%의 의미 정확도와 83.4%의 행동 정확도를 달성한다. 물리적 3-DoF 내시경에서는 식도 및 결장 팬텀(각 36회 시험)에서 각각 88.9% 및 77.8%의 과제 성공률을 기록하여, 평가한 베이스라인을 크게 상회한다.

arXiv:2610.02626v2cs.CV공통 태그 Imitation Learning, Continuous Control, Scene Understanding

미래를 상상하고 핵심을 내면화하기: 내면화된 시공간 상상을 통한 효율적인 VLA 추론

Imagine the Future, Internalize the Gist: Efficient VLA Reasoning via Internalized Spatiotemporal Imagination

비전-언어-행동(Vision-Language-Action, VLA) 모델은 로봇 조작 능력을 향상시키기 위해 중간 추론(intermediate reasoning)을 점진적으로 통합하고 있으나, 기존 접근법들은 미래 장면의 변화를 명시적으로 예측하지 않고 주로 관찰된 상태만을 바탕으로 추론합니다. 그러나 이러한 추론을 모든 추론(inference) 단계에서 명시적인 미래 롤아웃(rollout)으로 확장하는 것은 상당한 연산 오버헤드를 유발합니다. 본 논문에서는 모델이 미래를 상상하고 핵심(gist)을 내면화할 수 있도록 하는 VLA 추론 프레임워크인 IG-VLA를 제안합니다. 제안하는 잠재 시공간 추론(Latent Spatiotemporal Reasoning)은 시각적 표현 공간에서 직접 작업과 관련된 미래 장면 변화를 상상하도록 학습하여, 비용이 많이 드는 픽셀 수준의 비디오 생성 없이도 행동 예측을 유도합니다. 추론 오버헤드를 더욱 줄이기 위해, 추론을 통해 도출된 장면-행동 연관성을 컴팩트한 장면 요약 토큰(Scene Gist Token)으로 내면화하는 장면 요약 메모리(Scene Gist Memory)를 도입하여, 추론 시 명시적인 미래 상상을 거치지 않으면서도 미래 추론의 이점을 유지하도록 합니다. LIBERO, LIBERO-Plus 및 VLABench에 대한 광범위한 실험은 IG-VLA의 효과성과 효율성을 입증합니다. LIBERO-Plus Language 제품군에서 추론 정책과 요약 정책 모두 성공률 면에서 가장 강력한 기준선(baseline) 대비 약 6% 높은 성능을 보였습니다. 또한 요약 정책은 기준선 대비 최대 6.38배의 속도 향상을 달성하여, 단일 NVIDIA A6000 GPU에서 액션 청크당 추론 지연 시간을 1081ms에서 169.5ms로 단축했습니다. 이러한 결과는 효율적인 VLA 배포를 위해 미래 시공간 추론이 효과적으로 내면화될 수 있음을 보여줍니다.

arXiv:2609.27656v1cs.RO공통 태그 Imitation Learning, Continuous Control, Scene Understanding

InternW0: 효율적인 실세계 상호작용을 위한 기반 물리 세계 모델

InternW0: A Foundational Physical World Model for Efficient Real-World Interactions

물리 지능(physical intelligence)은 세계가 어떻게 변화할 수 있는지를 예측하는 것 이상을 요구한다. 세계가 계속 변하는 동안에도 예측은 실행 가능(actionable)한 상태로 남아 있어야 한다. 우리는 Shanghai AI Laboratory의 InternW 물리 세계 모델 시리즈의 첫 번째 구현인 InternW0을 소개한다. InternW0은 옴니모달(omnimodal) 인터페이스, 비동기 다중 주파수 처리, 부분 관측 및 외부 영향 하에서의 국소 물리 모델링을 중심으로 구축되었다. InternW0은 flow matching을 갖춘 비대칭 video–action 아키텍처를 통해 미래 시각 역학과 연속 로봇 제어를 공동 학습한다. 고용량 video expert는 더 긴 수평의 예측적 컨텍스트를 제공하고, 경량 action expert는 더 빠른 시간 척도에서 동작한다. 모든 action 업데이트마다 미래를 재생성하는 대신 InternW0은 계층별 K/V를 재사용하고, 관측 조건 컨텍스트 라우팅(observation-conditioned context routing)을 통해 새로 관측된 상태에 맞게 이를 적응시킨다. 도메인별 인터페이스와 soft prompt는 이질적인 embodiment를 지원하며, 접촉 인지(contact-aware) 사후 학습은 접촉이 풍부한 조작을 위해 힘과 촉각 신호를 통합한다. InternW0은 EgoLab(275시간 규모의 실험실 egocentric 데이터셋)을 포함하여 약 7,200시간의 이질적인 로봇 및 egocentric 데이터로 학습한다. 평가는 시뮬레이션 벤치마크와 실세계 과학 과제에 걸쳐 이루어지며, 15단계 metal–organic framework 합성 워크플로와 범용 정량 피펫팅(quantitative pipetting)을 위한 5단계 접촉·힘 인지 dexterous manipulation이 포함된다. 이러한 결과는 보편적이고 효율적인 실세계 상호작용을 위한 확장 가능하고 비동기적이며 science-native 물리 세계 모델을 발전시킨다.

arXiv:2609.22691v1cs.AI공통 태그 Imitation Learning, Continuous Control, Motion Generation

인간 유사 에이전트를 위한 생성형 체화 다중 행동 통제 시스템

Generative Embodied Multiple Behavior Control Systems for Human-like Agents

인지 신경과학에서 오랫동안 정교하게 논의되어 온 이분법은 습관적(habitual) 행동과 목표 지향적(goal-directed) 행동으로 나뉘는 인간 행동 통제 메커니즘이다. 기존 인간 유사 에이전트 프레임워크는 주로 목표 지향적 행동 모델링에 초점을 맞추었으며, 인간 일상에서 핵심적인 역할을 하는 습관적 행동은 대체로 간과되어 왔다. 본 논문에서는 목표 지향적 행동과 습관적 행동을 공동으로 모델링하는 다중 행동 통제 시스템을 연구하여 이 공백을 해소한다. 우리는 인간 행동 통제 메커니즘에서 영감을 받은 프레임워크를 제안한다. Habitual Controller는 개인화된 습관 메모리에서 단서에 의해 촉발된 행동을 검색하고, Goal-directed Controller는 문맥 인식(context-aware) 월드 모델(world model)을 사용하여 행동 결과를 예측하고 그 가치를 추정한다. Arbiter는 개인차와 순간적인 내부 상태에 따라 두 시스템의 영향을 동적으로 균형 잡는다. 3D 환경에서 다양한 인간 수준 행동 지시를 재구성하기 위해 keyframe-guided 3D 모션 생성 모듈을 추가로 개발한다. 광범위한 평가 방법, 인간 연구, ablation 연구를 통해 실험 결과는 우리 접근법이 인간 유사성(human-likeness) 성능을 유의미하게 향상시킴을 보여준다. 우리 접근법의 효과는 믿을 만한(believable) 체화형 인간 유사 에이전트를 위해 습관적 행동과 다중 행동 통제 시스템의 조율을 활용하는 것의 이점을 시사한다.

arXiv:2609.24682v1cs.RO공통 태그 Imitation Learning, Continuous Control, Scene Understanding

월드 모델처럼 생각하고 VLA처럼 행동하기: 월드 모델 표현을 소형 로봇 정책으로 증류하기

Think Like a World Model, Act Like a VLA: Distilling World-Model Representations into Compact Robot Policies

비전-언어-행동(VLA, Vision-Language-Action) 모델은 세상이 어떻게 반응하는지를 고려하는 목적 함수 없이 관측을 행동으로 매핑하므로, 이들의 견고성은 주로 데이터 커버리지에 의해 제한됩니다. 월드 모델은 바로 그 결여된 목적 함수를 지니고 있어 그 덕분에 더 우수한 그라운딩(grounding)을 갖추고 있지만, 미래를 시뮬레이션(rolling forward)하는 데 결정당 수 초가 걸려 제어 루프에서 배제됩니다. 우리는 이 둘을 분리할 수 있음을 보여줍니다. 물리적 장면에 대해 월드 모델이 알고 있는 것은 그것의 내부 특징(feature)에 존재하며, 미래를 생성하는 것은 단지 그 특징을 생성해 낸 목적 함수일 뿐이므로, 생성 메커니즘은 남겨둔 채 그라운딩만을 물려받을 수 있습니다. 우리는 일반적인 VLA 학습(training)에 특징 정렬(feature-alignment) 손실 항 하나를 추가합니다. 즉, 동결된 월드 모델을 학습 프레임에 대해 한 번 실행하여 캐시해 두고, 학생 모델은 해당 캐시와 일치하도록 학습합니다. 학습 중에는 교사 모델이 로드되지 않고, 프로젝터는 학습 후 폐기되며, 배포된 정책은 증류되지 않은 기준선(baseline)과 동일하여 소비자용 RTX 5090에서 32 ms 및 1.86 GB로 동작하므로, 모든 성능 향상은 추가된 용량이나 테스트 시점 연산(test-time compute)이 아닌 표현(representation) 덕분입니다. 0.8B 학생 모델은 LIBERO에서 97.9%를 달성하고, RoboCasa-GR1 휴머노이드 조작에서 48.2%에서 50.5%로 향상되었으며, 동일한 목적 함수가 단일 암 및 양팔 플랫폼 모두의 실제 하드웨어로 이어집니다. 이러한 성능 향상은 학생 모델 크기, 백본, 정렬 층(layer), 교사 모델의 변경에도 유지되어, 두 특정 네트워크 간의 취약한 정렬이 아닌 광범위한 표현 사전 확률(representational prior)임을 나타냅니다. 프로젝트 페이지: https://thaw-vla.trung-dt.com/.

arXiv:2610.03391v2cs.CV공통 태그 Imitation Learning, Continuous Control

월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습

Native Action-Prior Learning from Videos for World Action Models

월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.