휴머노이드 로봇을 위한 데이터 표준: 물리적 AI를 위한 누락된 인프라
Data Standards for Humanoid Robotics: The Missing Infrastructure for Physical AI
한국어 초록
휴머노이드 로봇의 확장성은 모델과 하드웨어뿐만 아니라, 로봇, 작업, 조직, 시간에 걸쳐 물리적 경험이 축적될 수 있는지에 달려 있습니다. ISO/TC 299/WG 16 내에서 ISO/WD 26264-1, Humanoid robot datasets -- Part 1: General requirements를 개발하는 저자들의 작업을 바탕으로, 이 기사는 데이터 표준이 물리적 AI(Physical AI)의 기반 인프라가 되고 있음을 논증합니다. 우리는 세 가지 통찰을 제시합니다. 첫째, 휴머노이드 로봇 데이터는 격리된 디지털 샘플의 집합이 아니라 구현된(embodied) 상호작용 데이터입니다. 유용한 데이터셋(dataset)은 로봇 신체, 행동, 작업, 장면, 실행 추적, 결과 간의 관계를 보존해야 합니다. 둘째, 그 가치는 물리적 일관성에 달려 있습니다. 멀티모달 스트림은 타이밍, 좌표계, 캘리브레이션, 운동학, 단위, 동기화 가정이 검사 가능한 상태로 유지될 때만 재사용 가능합니다. 셋째, 주요 병목 현상은 데이터 부족뿐만 아니라 높은 수집 비용, 데이터 사일로(data silos), 불일치하는 평가로 인해 발생하는 누적되지 않는 데이터(non-cumulative data)에 있습니다. 우리는 휴머노이드 로봇 데이터 표준이 구현된 경험을 해석 가능하고, 공유 가능하며, 추적 가능하고, 재사용 가능하게 만듦으로써 이러한 병목 현상을 해결한다고 주장합니다. 일반 표준은 수명 주기 관리, 메타데이터, 기원(provenance), 품질, 버전 관리, 추적 가능성을 위한 수평적 인프라를 제공해야 하며, 능력별 부분은 조작, 이동(locomotion), 인간-로봇 상호작용(HRI), 인지 및 미래의 휴머노이드 능력에 대한 도메인 문법을 정의해야 합니다. AI가 화면에서 신체로 이동함에 따라, 데이터 표준은 디지털 정보를 구성하는 것에서 물리적 상호작용을 구조화하는 것으로 진화해야 합니다.
원문 초록
The scalability of humanoid robots will depend not only on models and hardware, but also on whether physical experience can accumulate across robots, tasks, organizations, and time. Drawing on the authors' work in developing ISO/WD 26264-1, Humanoid robot datasets -- Part 1: General requirements, within ISO/TC 299/WG 16, this article argues that data standards are becoming foundational infrastructure for Physical AI. We develop three insights. First, humanoid robot data is embodied interaction data, not a collection of isolated digital samples; a useful dataset must preserve the relationship among robot body, action, task, scene, execution trace, and outcome. Second, its value depends on physical coherence: multimodal streams are reusable only when timing, coordinate frames, calibration, kinematics, units, and synchronization assumptions remain inspectable. Third, the main bottleneck is not only data scarcity, but non-cumulative data caused by high collection costs, data silos, and inconsistent evaluation. We argue that humanoid robot data standards address these bottlenecks by making embodied experience interpretable, shareable, traceable, and reusable. A general standard should provide horizontal infrastructure for lifecycle management, metadata, provenance, quality, versioning, and traceability, while capability-specific parts should define domain grammar for manipulation, locomotion, human-robot interaction, cognition, and future humanoid capabilities. As AI moves from screens into bodies, data standards must evolve from organizing digital information to structuring physical interaction.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.19769v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
실험실-매장 격차 해소: 소매 휴머노이드를 위한 데이터 효율적 사후 학습 및 경험 기반 학습 VLA 프레임워크
Closing the Lab-to-Store Gap: A Data-Efficient Post-Training and Experience-Driven Learning VLA Framework for Retail Humanoids
벤치마크 성능과 신뢰할 수 있는 실세계 운용 사이의 격차를 좁히는 것은 실행 오류, 분포 이동(distribution shift), 환경 변동성을 처리해야 하는 비전-언어-행동(VLA) 휴머노이드 로봇의 핵심 과제로 남아 있다. 본 논문은 DEED(Data-Efficient Post-Training and Experience-Driven Learning, 데이터 효율적 사후 학습 및 경험 기반 학습)를 제안하며, 이는 Unitree G1-Edu 휴머노이드 로봇과 GR00T N1.6 파운데이션 모델을 사용한 슈퍼마켓 과자 재입고 작업에서 평가된 시스템 수준 접근법이다. DEED는 세 가지 핵심 구성 요소로 이루어진다: (1) 제어 주파수 정렬, 데이터 큐레이션, 작업 관련 시각적 강조, VLA 의존도 감소를 포함하는 데이터 효율적 사후 학습 파이프라인; (2) 텍스트 기반 advantage 접두 문맥과 비전-언어 가치 함수를 통해 RECAP에서 적용한 경험 기반 정제의 실세계 연구; (3) 분포 내(in-distribution) 및 분포 외(out-of-distribution) 행동을 연구하기 위한 잠재 공간(latent-space) 분석 도구. 우리의 결과는 실험실-매장 격차를 메우는 것이 주로 아키텍처 문제가 아니라 시스템 통합 과제임을 시사한다. 신중한 데이터 설계와 표적화된 사후 학습은 단순 미세조정에서 실패하는 정책을 단일 GPU만으로 유능한 실세계 시스템으로 변환할 수 있다.
Towards Trustworthy Physical Intelligence: From Theory to Practice Across Life Cycle
EgoHTR: 자아시점 4D 인간 지형 통과 시연
EgoHTR: Egocentric 4D Demonstrations of Human Terrain Traversal
비정형 지형에서 휴머노이드 로봇을 배치하는 것은 여전히 미해결 문제이다. 전통적인 강화학습은 실세계 상호작용의 막대한 복잡성 때문에 어려움을 겪는 반면, 인간 사전지식(human priors)을 활용하는 더 유망한 방법들은 맥락 인식이 부족한 모델에 국한되어 있다. 제한된 동작 합성은 기존 데이터셋 파이프라인이 어려운 환경에서 인간-장면(human-scene) 시퀀스를 포착하지 못하는 데서 비롯된 직접적인 결과이다. 휴머노이드 학습과 장면 재구성(scene reconstruction) 사이의 이러한 격차를 메우기 위해, 우리는 자아시점 인간-지형 재구성(Egocentric Human-Terrain Reconstruction, EgoHTR) 데이터셋을 제안한다. 우리는 자아시점 웨어러블과 휴대용 3D 스캐너로 구성된 다중 센서 설정을 사용하여 다양하고 복잡한 환경에서 55개의 장면 정렬(scene-aligned) 4D 인간 동작 시퀀스를 포착하는 재구성 파이프라인을 개발하고 오픈소스로 공개한다. 결과 데이터셋은 15만 프레임 이상으로 구성되며, 우리는 이를 모션 캡처(motion-capture) 정답(ground truth)과 비교 평가하여 최첨단 수준의 정확도를 보여 주고, 인간 동작 분석 및 합성을 위한 엄격한 벤치마크를 확립한다. 또한, 우리는 이 데이터를 활용하여 지각적(perceptive) 보행(locomotion) 정책을 학습하고, 재구성된 기준(reference) 동작에 대해 Unitree G1에서 하드웨어 배포를 시연한다. 우리의 파이프라인은 커뮤니티 주도의 데이터셋 확장을 가능하게 하며, 문제를 분해하여 연구자들이 불균일한 지형을 안정적으로 통과하는 기반적이고 맥락 인식이 가능한 로봇을 구축할 수 있도록 돕는다.
인지에서 제어로: 인간-휴머노이드 협력 운반을 위한 다중 에이전트 학습
Cognition to Control - Multi-Agent Learning for Human-Humanoid Collaborative Transport
전 스택 인간-로봇 협업(HRC)에서는 플래너, 파트너 모델, 협조 정책, 또는 제어기를 교체할 때 층 간 신호의 물리적 의미가 바뀌면 시스템이 쉽게 취약해질 수 있다. 본 논문은 물리적 계약(physical contracts)을 통해 이러한 의미를 보존하는 객체 중심 인지-제어(cognition-to-control) 아키텍처 C2C를 제안한다. C2C는 개별 모듈을 표준화하기보다, 모듈 사이에 교환되는 물리적 의미를 표준화한다. 과제 의도는 기하학적으로 검증된 페이로드 경로로, 파트너 정보는 소스에 독립적인 물리 상태로, 학습된 협조는 유계 11차원 작업 공간 명령으로 표현하며, 로봇별 실행 가능성은 전신 제어(WBC) 내부에 둔다. 참조 시스템은 비전-언어 모델, 결정론적 기하 검증, 파트너 인지 협조를 위한 다중 에이전트 강화학습(MARL)을 결합한다. 아홉 가지 운반 시나리오에서 적응형 MARL 변형은 인터페이스를 바꾸지 않은 채 평균 성공률 77.1–82.1%를 달성했으며, 스크립트형 파트너 기준은 56.5%였다. 동일한 계약은 신경망 및 해석 가능한 hard-tree 액터, 2·3인 운반 팀, 시뮬레이션 파트너에서 인간 파트너로의 대체까지 추가로 지원한다. 실제 Unitree G1–인간 시험에서는 공간 제약 운반에서 100% 성공, 초장형 물체 취급에서 80% 성공을 보였고, G1 휴머노이드 2대와 인간 1명으로 구성된 3인 운반 시스템이 하드웨어에서 동일한 인터페이스 구조를 검증했다. 이 결과들은 C2C가 밀접하게 결합된 HRC 스택을 핵심 구성요소를 바꿔도 물리적 협업 과제를 재정의하지 않아도 되는 플러그 호환 시스템으로 전환할 수 있음을 보여준다.
HIGenNTO: 노이즈 공간 궤적 최적화를 통한 확장 가능한 휴머노이드 상호작용 생성
HIGenNTO: Scalable Humanoid Interaction Generation via Noise-Space Trajectory Optimization
휴머노이드 로봇은 운동학적 휴머노이드 동작 참조를 모방하여 복잡한 기술을 습득할 수 있지만, 접촉이 많은 상호작용에 대한 신뢰할 수 있는 참조를 얻기는 여전히 어렵다. 모션 캡처는 가림(occlusion)과 밀접한 물리적 접촉 하에서 품질이 저하되며, 리타게팅(retargeting)은 추가적인 접촉 및 기하학적 불일치를 초래한다. 우리는 희소 시공간 및 장면 제약 하에서 사전학습된 텍스트 조건 동작 모델의 초기 노이즈를 최적화하여 휴머노이드-장면 상호작용 동작 참조를 합성하는 프레임워크 HIGenNTO를 제안한다. 동일한 공식화는 원하는 접촉을 만족하고, 충돌을 피하며, 안정적인 지지를 유지하면서 사전(prior)의 현실성과 시간적 일관성을 보존하고, 처음부터 상호작용 동작을 생성하며 장기 행동을 단계별로 구성한다. 로봇-환경 및 로봇-객체 과제 전반에서 HIGenNTO는 시뮬레이션에서 추적 정책(tracking policy)으로 실행 가능한 동작을 생성하며, 온보드 센싱만으로 동작하는 깊이 조건 시각-운동(visuomotor) 정책 학습에 사용할 수 있다. 우리는 네 가지 접촉이 많은 과제에서 Unitree G1에 이러한 정책을 배포한다. 마지막으로, 과제 명세 자체를 코딩 에이전트가 작성할 수 있으며, 이 에이전트는 상호작용 과제를 제안하고 이를 프롬프트, 제약, 및 장면 프로그램으로 컴파일하여 평가한 8개 과제 중 3개와 추가 4개 행동을 작성했다. 종합하면, 이러한 결과는 고수준 과제 기술에서 물리적으로 실행 가능한 휴머노이드 상호작용까지의 확장 가능한 경로를 제시한다.
PhysAI-Bench: 자율 무인 항공기(UAV) 중심 피지컬 AI에서의 LLM 기반 에이전트 의사결정을 위한 벤치마크
PhysAI-Bench: A Benchmark for LLM-Based Agentic Decision-Making in Autonomous UAV-Centric Physical AI
피지컬 AI(Physical AI)의 최근 발전은 동적 환경에서 인지하고, 추론하며, 계획하고, 행동해야 하는 무인 항공기(UAV)와 같은 자율 시스템에서 파운데이션 모델의 활용을 가속화했습니다. 기존 벤치마크는 물리적 인지, 직관적 물리학, 체화된 내비게이션, 협업 추론을 평가하지만, 신뢰할 수 있는 자율성에 필요한 에이전트(agent) 의사결정을 평가하는 경우는 드뭅니다. 본 연구에서는 이러한 역량을 평가하기 위한 벤치마크인 PhysAI-Bench를 소개합니다. 이 벤치마크는 자율 UAV 임무의 대화 추적 기록에서 자동으로 추출된 10,178개의 표준화된 의사결정 인스턴스를 포함합니다. 각 인스턴스는 임무 컨텍스트, 시계열 의존성, 물리적 제약 조건, Model Context Protocol(MCP) 도구 호출, 에이전트 간(A2A) 상호작용, 센서 관측치, 그리고 지연 시간, 패킷 손실(loss), 처리량, 에지 부하, 네트워크 슬라이싱을 포함한 AI 네이티브 6G 네트워크 조건을 보존합니다. 각 의사결정에 선행하는 정보만을 노출하여 미래 사건 누출을 방지하고 온라인 의사결정을 근사합니다. 2단계 프로토콜을 사용하여 29개의 파운데이션 모델(model)을 평가합니다. 인간이 검증한 35개 인스턴스의 개발 세트에서 3회 실행하여 테스트한 제로샷(zero-shot), 3샷, 5샷 프롬프트(prompt) 및 4가지 온도의 12가지 조합으로부터 모델별 설정을 선택합니다. 그런 다음 선택된 각 설정을 고정하고, 에피소드가 겹치지 않는 고정된 500개 인스턴스 세트에서 3회 실행하여 평가합니다. GPT-5.3이 가장 높은 정확도(52.00%)를 달성했으며, GPT-5.2(49.40%)와 Grok 4.5(49.07%)가 그 뒤를 이었습니다. 퓨샷(few-shot) 프롬프트는 전반적으로 성능을 향상시키는 반면, 온도의 영향은 제한적이었습니다. 결과는 피지컬 AI에서 신뢰할 수 있는 에이전트 의사결정이 여전히 미해결 과제로 남아 있음을 보여줍니다. 데이터셋(dataset)은 https://github.com/maferrag/physai-bench 에서 이용할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.