PyTorchKR Papers

최신 논문

총 11편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.20345v2cs.RO

실험실-매장 격차 해소: 소매 휴머노이드를 위한 데이터 효율적 사후 학습 및 경험 기반 학습 VLA 프레임워크

Closing the Lab-to-Store Gap: A Data-Efficient Post-Training and Experience-Driven Learning VLA Framework for Retail Humanoids

벤치마크 성능과 신뢰할 수 있는 실세계 운용 사이의 격차를 좁히는 것은 실행 오류, 분포 이동(distribution shift), 환경 변동성을 처리해야 하는 비전-언어-행동(VLA) 휴머노이드 로봇의 핵심 과제로 남아 있다. 본 논문은 DEED(Data-Efficient Post-Training and Experience-Driven Learning, 데이터 효율적 사후 학습 및 경험 기반 학습)를 제안하며, 이는 Unitree G1-Edu 휴머노이드 로봇과 GR00T N1.6 파운데이션 모델을 사용한 슈퍼마켓 과자 재입고 작업에서 평가된 시스템 수준 접근법이다. DEED는 세 가지 핵심 구성 요소로 이루어진다: (1) 제어 주파수 정렬, 데이터 큐레이션, 작업 관련 시각적 강조, VLA 의존도 감소를 포함하는 데이터 효율적 사후 학습 파이프라인; (2) 텍스트 기반 advantage 접두 문맥과 비전-언어 가치 함수를 통해 RECAP에서 적용한 경험 기반 정제의 실세계 연구; (3) 분포 내(in-distribution) 및 분포 외(out-of-distribution) 행동을 연구하기 위한 잠재 공간(latent-space) 분석 도구. 우리의 결과는 실험실-매장 격차를 메우는 것이 주로 아키텍처 문제가 아니라 시스템 통합 과제임을 시사한다. 신중한 데이터 설계와 표적화된 사후 학습은 단순 미세조정에서 실패하는 정책을 단일 GPU만으로 유능한 실세계 시스템으로 변환할 수 있다.

arXiv:2607.13472v2cs.RO

EgoHTR: 자아시점 4D 인간 지형 통과 시연

EgoHTR: Egocentric 4D Demonstrations of Human Terrain Traversal

비정형 지형에서 휴머노이드 로봇을 배치하는 것은 여전히 미해결 문제이다. 전통적인 강화학습은 실세계 상호작용의 막대한 복잡성 때문에 어려움을 겪는 반면, 인간 사전지식(human priors)을 활용하는 더 유망한 방법들은 맥락 인식이 부족한 모델에 국한되어 있다. 제한된 동작 합성은 기존 데이터셋 파이프라인이 어려운 환경에서 인간-장면(human-scene) 시퀀스를 포착하지 못하는 데서 비롯된 직접적인 결과이다. 휴머노이드 학습과 장면 재구성(scene reconstruction) 사이의 이러한 격차를 메우기 위해, 우리는 자아시점 인간-지형 재구성(Egocentric Human-Terrain Reconstruction, EgoHTR) 데이터셋을 제안한다. 우리는 자아시점 웨어러블과 휴대용 3D 스캐너로 구성된 다중 센서 설정을 사용하여 다양하고 복잡한 환경에서 55개의 장면 정렬(scene-aligned) 4D 인간 동작 시퀀스를 포착하는 재구성 파이프라인을 개발하고 오픈소스로 공개한다. 결과 데이터셋은 15만 프레임 이상으로 구성되며, 우리는 이를 모션 캡처(motion-capture) 정답(ground truth)과 비교 평가하여 최첨단 수준의 정확도를 보여 주고, 인간 동작 분석 및 합성을 위한 엄격한 벤치마크를 확립한다. 또한, 우리는 이 데이터를 활용하여 지각적(perceptive) 보행(locomotion) 정책을 학습하고, 재구성된 기준(reference) 동작에 대해 Unitree G1에서 하드웨어 배포를 시연한다. 우리의 파이프라인은 커뮤니티 주도의 데이터셋 확장을 가능하게 하며, 문제를 분해하여 연구자들이 불균일한 지형을 안정적으로 통과하는 기반적이고 맥락 인식이 가능한 로봇을 구축할 수 있도록 돕는다.

arXiv:2609.24742v1cs.RO

MyBuddy 휴머노이드 로봇을 위한 LLM 기반 대화형 AI 지식 어시스턴트

LLM-based Conversational AI Knowledge Assistant for MyBuddy Humanoid Robot

휴머노이드 로봇은 인간 중심 애플리케이션을 위해 점점 더 대중화되고 개발되고 있으나, 지능형 대화 및 자연스러운 상호작용 기반 지식 지원을 제공하는 능력은 기존의 규칙 기반 대화 시스템, 사전 정의된 응답 및 제한된 지식 저장소로 인해 여전히 제약을 받고 있습니다. 대규모 언어 모델(LLM)은 자연스럽고 적응적이며 문맥을 인식하는 인간-로봇 상호작용(HRI)을 가능하게 하는 강력한 기반으로 부상하였으며, 로봇이 자연어 음성을 이해하고, 복잡한 질의에 대해 추론하며, 높은 품질의 대화 문맥을 유지하고, 지식이 풍부한 응답을 생성할 수 있도록 함으로써 이러한 한계를 해결할 수 있는 중요한 기회를 제공합니다. 본 연구에서는 라즈베리 파이(Raspberry-Pi) 기반 13축 MyBuddy 휴머노이드 로봇을 위한 LLM 기반 다목적 대화형 AI 지식 어시스턴트를 독창적으로 제시하고 구현합니다. 이 시스템은 LLM 기반 언어 이해 및 AI 추론을 실시간 음성 인식, 확장 가능한 인터넷 엔진(예: Wikipedia, arXiv) 접근을 통한 지식 검색, 유연한 대화 관리, 자연스러운 음성 합성과 통합하여 훨씬 더 지능적인 다중 턴(multi-turn) 연속 대화와 진보된 정서적 지원 인간-로봇 상호작용을 가능하게 합니다.

arXiv:2609.22611v1cs.RO

HIGenNTO: 노이즈 공간 궤적 최적화를 통한 확장 가능한 휴머노이드 상호작용 생성

HIGenNTO: Scalable Humanoid Interaction Generation via Noise-Space Trajectory Optimization

휴머노이드 로봇은 운동학적 휴머노이드 동작 참조를 모방하여 복잡한 기술을 습득할 수 있지만, 접촉이 많은 상호작용에 대한 신뢰할 수 있는 참조를 얻기는 여전히 어렵다. 모션 캡처는 가림(occlusion)과 밀접한 물리적 접촉 하에서 품질이 저하되며, 리타게팅(retargeting)은 추가적인 접촉 및 기하학적 불일치를 초래한다. 우리는 희소 시공간 및 장면 제약 하에서 사전학습된 텍스트 조건 동작 모델의 초기 노이즈를 최적화하여 휴머노이드-장면 상호작용 동작 참조를 합성하는 프레임워크 HIGenNTO를 제안한다. 동일한 공식화는 원하는 접촉을 만족하고, 충돌을 피하며, 안정적인 지지를 유지하면서 사전(prior)의 현실성과 시간적 일관성을 보존하고, 처음부터 상호작용 동작을 생성하며 장기 행동을 단계별로 구성한다. 로봇-환경 및 로봇-객체 과제 전반에서 HIGenNTO는 시뮬레이션에서 추적 정책(tracking policy)으로 실행 가능한 동작을 생성하며, 온보드 센싱만으로 동작하는 깊이 조건 시각-운동(visuomotor) 정책 학습에 사용할 수 있다. 우리는 네 가지 접촉이 많은 과제에서 Unitree G1에 이러한 정책을 배포한다. 마지막으로, 과제 명세 자체를 코딩 에이전트가 작성할 수 있으며, 이 에이전트는 상호작용 과제를 제안하고 이를 프롬프트, 제약, 및 장면 프로그램으로 컴파일하여 평가한 8개 과제 중 3개와 추가 4개 행동을 작성했다. 종합하면, 이러한 결과는 고수준 과제 기술에서 물리적으로 실행 가능한 휴머노이드 상호작용까지의 확장 가능한 경로를 제시한다.

arXiv:2603.03768v2cs.RO

인지에서 제어로: 인간-휴머노이드 협력 운반을 위한 다중 에이전트 학습

Cognition to Control - Multi-Agent Learning for Human-Humanoid Collaborative Transport

전 스택 인간-로봇 협업(HRC)에서는 플래너, 파트너 모델, 협조 정책, 또는 제어기를 교체할 때 층 간 신호의 물리적 의미가 바뀌면 시스템이 쉽게 취약해질 수 있다. 본 논문은 물리적 계약(physical contracts)을 통해 이러한 의미를 보존하는 객체 중심 인지-제어(cognition-to-control) 아키텍처 C2C를 제안한다. C2C는 개별 모듈을 표준화하기보다, 모듈 사이에 교환되는 물리적 의미를 표준화한다. 과제 의도는 기하학적으로 검증된 페이로드 경로로, 파트너 정보는 소스에 독립적인 물리 상태로, 학습된 협조는 유계 11차원 작업 공간 명령으로 표현하며, 로봇별 실행 가능성은 전신 제어(WBC) 내부에 둔다. 참조 시스템은 비전-언어 모델, 결정론적 기하 검증, 파트너 인지 협조를 위한 다중 에이전트 강화학습(MARL)을 결합한다. 아홉 가지 운반 시나리오에서 적응형 MARL 변형은 인터페이스를 바꾸지 않은 채 평균 성공률 77.1–82.1%를 달성했으며, 스크립트형 파트너 기준은 56.5%였다. 동일한 계약은 신경망 및 해석 가능한 hard-tree 액터, 2·3인 운반 팀, 시뮬레이션 파트너에서 인간 파트너로의 대체까지 추가로 지원한다. 실제 Unitree G1–인간 시험에서는 공간 제약 운반에서 100% 성공, 초장형 물체 취급에서 80% 성공을 보였고, G1 휴머노이드 2대와 인간 1명으로 구성된 3인 운반 시스템이 하드웨어에서 동일한 인터페이스 구조를 검증했다. 이 결과들은 C2C가 밀접하게 결합된 HRC 스택을 핵심 구성요소를 바꿔도 물리적 협업 과제를 재정의하지 않아도 되는 플러그 호환 시스템으로 전환할 수 있음을 보여준다.

arXiv:2607.15163v1cs.RO

휴머노이드 로봇을 위한 행동 기반 모델 스케일링

Scaling Behavior Foundation Model for Humanoid Robots

휴머노이드 제어는 자연스러운 전신 협응, 제어 신호에 대한 정밀한 실시간 응답, 다양한 환경 맥락에 걸친 강건한 일반화를 요구하므로 범용 체화(embodied) 에이전트의 핵심 기반이 된다. 행동 기반 모델(BFM)은 최근 대규모 행동 데이터를 활용하여 뛰어난 표현력, 범용성 및 일반화를 달성함으로써 이러한 과제들을 해결하는 유망한 방법으로 부상했다. 그러나 BFM을 스케일링하여 역량을 더욱 향상시키려는 관심이 커지고 있음에도, 학습 패러다임, 행동 데이터, 모델 아키텍처를 포함한 핵심 요인들을 어떻게 조율해야 효과적인 스케일링을 가능하게 하는지는 여전히 불분명하다. 본 연구에서는 BFM의 스케일링 레시피를 재검토하고, 다음 세 가지 핵심 구성 요소의 조율을 통해 상당한 성능 향상을 달성할 수 있음을 보인다: 1) 다양한 휴머노이드 제어 문제를 전역 좌표계에서 통합된 전신 행동의 재현으로 재정식화하는 모션 추적(motion tracking)의 학습 패러다임; 2) 온-정책 롤아웃 수량과 참조 모션(reference motion) 다양성 간의 전략적 시너지; 3) 구조화된 행동 표현의 자연스러운 창발을 촉진하는 Humanoid 트랜스포머라고 명명된 표현력 있고 확장 가능한 모델 아키텍처. 시뮬레이션과 실제 배포 모두에서 광범위한 실험을 통해, 본 접근법이 제어 충실도와 과제 일반화에서 상당한 개선을 가져오며, 기존 휴머노이드 컨트롤러 대비 테스트 세트에서 local mode에서 Mean Per-Keypoint Position Error(MPKPE)를 10% 이상, global mode에서 82% 줄였음을 보인다. 이러한 결과는 BFM이 확장 가능하고 범용적인 휴머노이드 제어를 위한 원칙적이고 효과적인 기반임을 확립한다.

arXiv:2607.14182v1cs.RO

동적 휴머노이드 전신 제어를 위한 의미 기반 오디오 주도 이해

Semantic Audio-driven Understanding for Dynamic Humanoid Whole Body Control

최근 휴머노이드 로보틱스와 강화학습의 발전으로 고도로 표현력 있는 전신 운동 정책을 획득할 수 있게 되었다. 그러나 대부분의 로봇 공연은 여전히 사전 스크립트된 시퀀스 또는 외부로 트리거되는 행동에 기반하여, 동적 환경에 대한 자율성과 반응성을 제한한다. 본 연구에서는 의미 기반 오디오 주도 휴머노이드 제어를 위한 새로운 다중 모달 오케스트레이션 프레임워크를 제안하여, 로봇이 실시간으로 적절한 운동 스킬을 자율적으로 선택하고 실행할 수 있게 한다. 이 시스템은 연속적인 오디오 스트림을 처리하여 음악 또는 음성 분기로 라우팅한다. 음악 입력은 오디오 핑거프린팅과 의미 임베딩을 통해 트랙 식별과 시간적 정렬을 검색하며, 음악 구간과 운동 정책 간의 동적 매핑을 가능하게 한다. 음성 입력은 모방 학습으로 학습된 스킬의 이산 라이브러리에 그라운딩되어 직접적인 인간-로봇 상호작용을 가능하게 한다. 두 모달리티는 강화학습 제어 파이프라인 위에서 스킬 실행을 스케줄링하는 통합 인터페이스를 공유한다. 우리는 시뮬레이션과 Unitree G1 휴머노이드에서 이 접근법을 검증하여, 견고한 sim-to-real 전이와 일관된 오디오 조건화 정책 선택을 보여준다. 보충 자료는 다음 사이트에서 확인할 수 있다: https://lab-rococo-sapienza.github.io/semantic-WBC/

arXiv:2606.27581v1cs.RO

SceneBot: 접촉 프롬프트 기반 장면 상호작용 일반 휴머노이드 전신 추적

SceneBot: Contact-Prompted General Humanoid Whole Body Tracking with Scene-Interaction

현재 휴머노이드 강화학습(RL) 정책은 자유 공간(free-space) 동작에는 뛰어나지만, 접촉이 많은(contact-rich) 과제에서는 어려움을 겪는다. 순수 운동학(kinematic) 추적만으로는 물체 및 고르지 않은 지형과의 상호작용에서 발생하는 물리적 모호성을 해결할 수 없기 때문이다. 이를 해결하기 위해, 자유 공간 보행, 지형 통과, 전신 조작을 처리할 수 있는 통합 동작 추적 프레임워크인 SceneBot을 제안한다. SceneBot은 단일 정책에 참조 동작과 링크별 접촉 레이블을 모두 조건으로 주어 기대되는 환경 상호작용을 명시적으로 정의한다. 주석이 달린 상호작용 데이터 부족을 극복하기 위해, 재타겟팅된 인간 동작으로부터 장면-상호작용 그래프를 추론하는 사후(hindsight) 장면 재구성 접근법을 제안한다. 이렇게 재구성된 접촉이 풍부한 데이터 7.5시간으로 학습한 SceneBot은 미경험 동작과 환경에 성공적으로 일반화한다. 결과는 SceneBot이 계단을 오르며 상자를 운반하는 것과 같은 복잡하고 장기적인(long-horizon) 과제를 수행하며 자유 공간 및 접촉이 풍부한 행동을 매끄럽게 통합하는 최초의 일반 프레임워크임을 보여주며, 접촉 조건화(contact conditioning)를 휴머노이드 제어를 위한 강력한 인터페이스로 확립한다. 모든 코드와 데이터는 오픈소스로 공개될 예정이다. 더 많은 데모와 정보는 https://ericcsr.github.io/scenebot/ 에서 확인할 수 있다.

arXiv:2606.19935v1cs.AI

PhysDrift: 휴머노이드 음성 동반 모션 생성에서의 구현 격차 해소

PhysDrift: Bridging the Embodiment Gap in Humanoid Co-Speech Motion Generation

휴머노이드 로봇은 표현력이 있고 음성과 정렬(speech-aligned)될 뿐만 아니라, 구현(embodiment) 제약 조건 하에서 물리적으로 실행 가능한 음성 동반(co-speech) 모션이 필요합니다. 기존의 음성 동반 생성 파이프라인은 주로 인간 중심적입니다: 모션은 먼저 SMPL-X와 같은 인간 신체 표현으로 생성된 후 휴머노이드 로봇으로 리타겟팅(retargeting)됩니다. 본 연구에서 우리는 이 패러다임에 존재하는 근본적인 구현(embodiment) 격차를 식별합니다. 여기서 인간 모션 매니폴드(motion manifold)와 휴머노이드 구현 제약 조건 간의 불일치는 모션 전달 및 물리적 실행 중 구현 일관성을 저해합니다. 광범위한 분석을 통해, 리타겟팅이 대략적인 모션 의미는 보존할 수 있지만 모션 다양성을 크게 압축하고 운율-모션 동기화(prosody-motion synchronization)를 약화시켜 표현적인 휴머노이드 동작을 제한함을 보여줍니다. 이 문제를 해결하기 위해 우리는 먼저 IK-EER를 제안합니다. 이는 운율 보존 휴머노이드 모션 정제(curation) 프레임워크로, 리타겟팅 중 운동학적 타당성과 음성-모션 시간적 정렬을 공동으로 최적화합니다. 정제된 로봇 고유(robot-native) 모션 데이터셋을 기반으로, 우리는 중간 인간 신체 표현에 의존하지 않고 음성에서 직접 실행 가능한 휴머노이드 관절 궤적을 예측하는 구현 인식(embodiment-aware) 음성 동반 모션 생성 프레임워크인 PhysDrift를 추가로 소개합니다. 기존의 인간 중심 파이프라인과 달리, PhysDrift는 로봇 모션 역학을 안정화하기 위해 물리적 정규화(physical regularization)를 통합하면서 학습(training) 및 추론(inference) 전반에 걸쳐 구현 일관성을 유지합니다. 광범위한 실험과 실제 휴머노이드 배포(deployment)를 통해 구현 인식 로봇 고유 생성이 음성-모션 정렬, 물리적 타당성, 모션 부드러움, 추론(inference) 효율성 및 실시간 상호작용 능력을 크게 향상시킴을 입증합니다.

arXiv:2606.19769v1cs.RO

휴머노이드 로봇을 위한 데이터 표준: 물리적 AI를 위한 누락된 인프라

Data Standards for Humanoid Robotics: The Missing Infrastructure for Physical AI

휴머노이드 로봇의 확장성은 모델과 하드웨어뿐만 아니라, 로봇, 작업, 조직, 시간에 걸쳐 물리적 경험이 축적될 수 있는지에 달려 있습니다. ISO/TC 299/WG 16 내에서 ISO/WD 26264-1, Humanoid robot datasets -- Part 1: General requirements를 개발하는 저자들의 작업을 바탕으로, 이 기사는 데이터 표준이 물리적 AI(Physical AI)의 기반 인프라가 되고 있음을 논증합니다. 우리는 세 가지 통찰을 제시합니다. 첫째, 휴머노이드 로봇 데이터는 격리된 디지털 샘플의 집합이 아니라 구현된(embodied) 상호작용 데이터입니다. 유용한 데이터셋(dataset)은 로봇 신체, 행동, 작업, 장면, 실행 추적, 결과 간의 관계를 보존해야 합니다. 둘째, 그 가치는 물리적 일관성에 달려 있습니다. 멀티모달 스트림은 타이밍, 좌표계, 캘리브레이션, 운동학, 단위, 동기화 가정이 검사 가능한 상태로 유지될 때만 재사용 가능합니다. 셋째, 주요 병목 현상은 데이터 부족뿐만 아니라 높은 수집 비용, 데이터 사일로(data silos), 불일치하는 평가로 인해 발생하는 누적되지 않는 데이터(non-cumulative data)에 있습니다. 우리는 휴머노이드 로봇 데이터 표준이 구현된 경험을 해석 가능하고, 공유 가능하며, 추적 가능하고, 재사용 가능하게 만듦으로써 이러한 병목 현상을 해결한다고 주장합니다. 일반 표준은 수명 주기 관리, 메타데이터, 기원(provenance), 품질, 버전 관리, 추적 가능성을 위한 수평적 인프라를 제공해야 하며, 능력별 부분은 조작, 이동(locomotion), 인간-로봇 상호작용(HRI), 인지 및 미래의 휴머노이드 능력에 대한 도메인 문법을 정의해야 합니다. AI가 화면에서 신체로 이동함에 따라, 데이터 표준은 디지털 정보를 구성하는 것에서 물리적 상호작용을 구조화하는 것으로 진화해야 합니다.

arXiv:2606.12814v1cs.RO

Stubborn: 휴머노이드의 강건한 모션 추적 및 낙상 복구를 위한 간결한 통합 강화학습 프레임워크

Stubborn: A Streamlined and Unified Reinforcement Learning Framework for Robust Motion Tracking and Fall Recovery for Humanoids

휴머노이드의 모션 추적(motion tracking)과 낙상 복구(fall recovery)를 통합적으로 학습하기 위해 비대칭 Actor-Critic 구조와 확률적 종료 메커니즘을 갖춘 강화학습 프레임워크 Stubborn을 도입했다. 요 정렬 추적 표현과 추적 오류 기반 샘플링 전략을 통해 불안정한 상태에서의 탐색을 유도하여 기존 최신 방법들 대비 강건한 성능을 보여주었다.