비정형 지형에서 휴머노이드 로봇을 배치하는 것은 여전히 미해결 문제이다. 전통적인 강화학습은 실세계 상호작용의 막대한 복잡성 때문에 어려움을 겪는 반면, 인간 사전지식(human priors)을 활용하는 더 유망한 방법들은 맥락 인식이 부족한 모델에 국한되어 있다. 제한된 동작 합성은 기존 데이터셋 파이프라인이 어려운 환경에서 인간-장면(human-scene) 시퀀스를 포착하지 못하는 데서 비롯된 직접적인 결과이다. 휴머노이드 학습과 장면 재구성(scene reconstruction) 사이의 이러한 격차를 메우기 위해, 우리는 자아시점 인간-지형 재구성(Egocentric Human-Terrain Reconstruction, EgoHTR) 데이터셋을 제안한다. 우리는 자아시점 웨어러블과 휴대용 3D 스캐너로 구성된 다중 센서 설정을 사용하여 다양하고 복잡한 환경에서 55개의 장면 정렬(scene-aligned) 4D 인간 동작 시퀀스를 포착하는 재구성 파이프라인을 개발하고 오픈소스로 공개한다. 결과 데이터셋은 15만 프레임 이상으로 구성되며, 우리는 이를 모션 캡처(motion-capture) 정답(ground truth)과 비교 평가하여 최첨단 수준의 정확도를 보여 주고, 인간 동작 분석 및 합성을 위한 엄격한 벤치마크를 확립한다. 또한, 우리는 이 데이터를 활용하여 지각적(perceptive) 보행(locomotion) 정책을 학습하고, 재구성된 기준(reference) 동작에 대해 Unitree G1에서 하드웨어 배포를 시연한다. 우리의 파이프라인은 커뮤니티 주도의 데이터셋 확장을 가능하게 하며, 문제를 분해하여 연구자들이 불균일한 지형을 안정적으로 통과하는 기반적이고 맥락 인식이 가능한 로봇을 구축할 수 있도록 돕는다.
1인칭(egocentric) 비디오는 임바디드 모델(embodied model)의 주요 지도 신호원이 되었으며, 그 가치는 카메라 움직임과 손의 가려짐으로 인해 추정이 까다로운 월드 좌표계(world coordinates)에서의 손 움직임 복원에 달려 있습니다. 기존의 재구성 파이프라인은 일반적으로 손과 장면 추정을 분리하고, 상호작용 속성을 별도의 태스크 특화 모델에 맡기며, 비디오당 여러 모델을 실행합니다. 이로 인해 기존 재구성 모델 중 이러한 속성을 직접 추정하는 모델은 없었으며, 처리율(throughput)은 대규모 어노테이션에서 실질적인 제약이 되었습니다. 이에 본 연구에서는 장면과 공유되는 미터법 단위(metric scale)로 월드 좌표계 손 형상을 추정하고, 가시성, 접촉, 거리를 포함한 점별 상호작용 속성을 예측하는 통합 엔드투엔드 모델인 EgoFound3R을 제안합니다. 이 모델은 세 가지 설계를 통합합니다. (i) 사전학습된 기하학적 사전 지식을 월드 좌표계 손 재구성으로 전이하는 구조화된 손 프롬프트, (ii) 손 형상과 상호작용 속성을 디코딩하는 명시적 손 표현, (iii) 추론 비용을 낮추는 매개변수 공유 멀티레이트(multi-rate) 설계입니다. 이러한 설계가 결합되어 한 번의 패스로 손 형상과 점별 속성을 동시에 예측합니다. OakInk-v2, TACO, HOI4D 벤치마크에서 EgoFound3R은 기존 방법 대비 관절당 평균 위치 오차(MPJPE)를 각각 43.2%, 22.4%, 11.6% 줄였으며, 동일한 패스 내에서 형상과 함께 점별 접촉 및 거리를 예측하는 동시에 약 6배 더 높은 처리율을 달성했습니다.
장기(long-horizon) 1인칭/3인칭 데이터는 풍부한 절차적 증거를 포함하고 있지만, 중복되고 노이즈가 많으며 처리하거나 보관하는 데 많은 비용이 듭니다. 본 논문에서는 연속적인 멀티모달 작업장 비디오를 작업 환경 모델(WEM)로 구현된 구조화된 절차적 상태 메모리(Procedural State Memory)로 변환하는 컴팩트한 프레임워크를 제안합니다. 사건 분할 이론(event segmentation theory)에서 영감을 받아, 고정된 윈도우나 시각적 새로움에만 의존하는 대신 시각적 맥락, 위치, 동작, 내레이션, 시선/물체 상호작용 및 선택적인 3인칭 작업 공간 증거의 변화를 활용하여 경계를 감지합니다. 각 세그먼트는 행위자, 시간 구간, 위치, 행동, 물체/도구, 이전/이후 상태, 신뢰도 및 출처를 포함하는 증거 연계형 이벤트 카드로 추상화됩니다. 이러한 이벤트 카드는 WEM을 점진적으로 업데이트하여 온프레미스(on-premise) 프라이버시 제약 조건 하에서 컴팩트하고 감사 가능한 문서화 및 검색을 가능하게 합니다. 본 연구에서는 동결된 DINOv2 및 VJEPA-2 인코더와 로컬 언어 모델로 설계를 구현하고, 분할 품질, 메모리 압축률, 검색 충실도 및 장기 질의응답(QA)에 대한 평가 기준을 제시합니다.
견고한 체화(embodied) 로봇은 비구조적이고 노이즈가 많은 실제 환경에서 안정적으로 동작하기 위해 실패로부터 복구하고 작업을 재시도할 수 있어야 한다. 이러한 능력을 달성하려면 복구 행동을 포착하는 데이터로 정책을 학습해야 한다. 그러나 로봇 텔레오퍼레이션(teleoperation)을 통해 이러한 데이터를 수집하는 것은 확장하기 어렵다. 다양한 실패 상태를 유도하고, 교정 행동을 수행하며, 환경을 재설정하는 데 시간이 많이 소요되기 때문이다. 실패 모드의 높은 다양성으로 인해 이 과제는 더욱 악화되며, 성공 시연보다 상당히 더 많은 복구 데이터가 필요하다. 본 연구에서는 실패 복구 과정을 포착한 1인칭(egocentric) 인간 데이터가 확장 가능한 대안이 됨을 보인다. 작업 수준의 실패 구성을 효율적으로 배치하고 짧은 복구 구간을 기록함으로써, 인간 운영자는 우리 프로토콜 하에서 로봇 텔레오퍼레이션에 비해 시간당 10배 이상 많은 유효한 복구 데이터를 생성할 수 있다. 인간과 로봇 사이의 체화 격차(embodiment gap)를 해결하기 위해, 복구 행동 학습을 위한 공동 학습(co-training) 프레임워크인 EgoRecovery를 제안한다. 여기서 인간 복구 시연은 로봇 데이터와 공유하는 간결한 교정 의도(corrective-intent) 공간에 정렬되며, 이 공간은 교정의 시점과 크기를 포착한다. 실행 가능한 로봇 행동에 이 의도를 연결하기 위해서는 소수의 로봇 복구 시연만 필요하다. 배포 시, 학습된 복구 게이트(recovery gate)가 로봇 관측으로부터 교정이 필요한 시점을 예측하고, 복구 상태에서만 교정 의도를 활성화한다. 실제 환경 복구 작업에 대한 실험에서 EgoRecovery는 로봇 전용 복구, 인간 복구 데이터와의 직접 공동 학습, 직접 의도 전이(intent-transfer) 베이스라인 대비 실패 시작 상태에서의 성공률을 향상시킨다.
자기중심적 시각 질의응답(Egocentric Visual Question Answering, VQA)은 멀티모달 대규모 언어 모델(MLLM)이 실세계와 상호작용할 수 있도록 하는 중요한 과제로서 널리 주목받고 있다. 그러나 기존 MLLM은 공간 인지 능력이 제한적이어서 복잡한 자기중심적 장면에서 효과적인 공간 추론을 수행하는 데 어려움을 겪는다. 이를 위해 우리는 제안한 Ego-element Graph를 기반으로 자기중심적 관점에서 공간 인지 능력을 적극적으로 향상시키는 자기중심적 공간 인지 프레임워크인 Ego Scene Augmentation(ESA)을 제안한다. 우리의 핵심 통찰은 시각 기초 모델(visual foundational models)을 통해 Ego-element Graph를 중간 표현으로 활용하여 MLLM의 자기중심적 공간 인지를 증강하는 것이다. 구체적으로, 우리는 1) 시각 기초 모델이 제공하는 자기중심적 공간 특징을 캡슐화하고 통합하는 Ego-element Graph를 구축하고, 2) 자기 시점 장면에 대해 Ego-element Graph를 통해 MLLM의 공간 인지 능력을 향상시킨다. 제안한 ESA 프레임워크는 EgoTextVQA 벤치마크에서 유의미한 성능 향상을 보여준다. 실내 설정에서 8.14%, 실외 설정에서 8.72%의 향상을 달성했다. 또한 ESA는 실내 설정의 쇼핑(shopping) 하위 집합에서 가장 인상적인 성능 향상을 보인다. 프로젝트 코드는 공개되어 있다.
자아 중심 인간 조작 영상은 체화 지능을 위한 확장 가능한 감독 신호를 제공하지만, 기존 자료는 저비용 연속 촬영, 조작 수준의 구조화된 주석, 로봇 학습을 위한 재사용 가능한 도구를 거의 동시에 갖추지 못한다. 우리는 스마트폰 촬영부터 모델 학습까지 전 과정에 걸친 파이프라인을 아우르는, 커뮤니티 중심의 공개 자아 중심 조작 데이터셋 및 툴체인인 Open-AoE를 제시한다. 첫 번째 릴리스에는 400대 이상의 스마트폰을 사용한 500명 이상의 기여자가 자연 환경에서 수집한 약 2,000시간 분량의 조작 영상이 포함된다. 데이터셋은 텍스트 주석, MANO 기반 손 자세, 카메라 궤적, 시간적으로 국소화된 원자적 동작을 제공한다. Open-AoE에는 시간적 동작 분할, 의미 주석, 손 재구성, 카메라 궤적 재구성을 통해 원시 녹화를 구조화된 샘플로 변환하는 데이터 처리 파이프라인이 추가로 포함된다. 한편, 시각화, 교차 체화(cross-embodiment) 리타겟팅, 모델별 데이터 변환, VLA 정책, WAM, 월드 모델(World Model)을 위한 학습 레시피를 지원하는 별도의 하류(downstream) 툴체인도 제공한다. 확장 가능한 촬영, 구조화된 처리, 하류 적응을 통합함으로써 Open-AoE는 데이터 기여와 재사용 모두의 장벽을 낮추며, 체화 모델 학습, 인간-로봇 전이, 월드 모델링을 위한 실용적인 공개 인프라를 제공한다.
헤드 마운트 스테레오 카메라를 이용한 자아중심(egocentric) 3D 인체 자세 추정은 어안 왜곡, 심각한 자기 폐색, 카메라 시야 밖으로 빈번하게 잘리는 신체 관절로 인해 어려운 과제이다. 최근 스테레오 자아중심 방법들은 히트맵 리프팅, 스테레오 대응, 트랜스포머 기반 정제를 통해 성능을 향상시켰지만, 프레임 단위의 로컬 증거에 과도하게 의존하거나 시간적 정보를 보조적인 자세 수준의 컨텍스트로만 활용하는 경우가 많다. 이는 현재 프레임의 스테레오 단서가 약하거나, 폐색되거나, 모호한 경우 견고성을 저해한다. 우리는 단기 모션 증거와 투영 유도 특징 샘플링을 결합한 시간 유도 스테레오 프레임워크인 TSR-Ego를 제안한다. 본 모델은 먼저 인과적 깊이별 분리 가능 시간 합성곱(causal depthwise-separable temporal convolution)을 사용하여 밀집 스테레오 특징 맵을 풍부하게 만들어, 변형 가능한 교차 어텐션(deformable cross-attention) 이전에 과거 시각적 증거가 특징 공간에 영향을 미칠 수 있도록 한다. 이어서 단일 단계 인과적 스테레오 디코더가 시간적 자기 어텐션, 관절 자기 어텐션, 어안 변형 가능 스테레오 교차 어텐션을 통해 학습된 3D 관절 쿼리를 정제하며, 진화하는 자세 추정값을 활용하여 2D 샘플링 참조를 생성한다. 자세 예측 이후에 시간적 추론을 주로 적용하는 방법들과 달리, TSR-Ego는 미래 프레임 없이 온라인 추론을 유지하면서 모션 컨텍스트를 활용하여 샘플링된 스테레오 특징과 관절 표현 모두를 형성한다. UnrealEgo2 및 UnrealEgo-RW에 대한 실험에서 최첨단 성능을 달성하였으며, 특히 실제 환경 시퀀스에서 두드러진 성능 향상을 보였다.
진전(tremor), 운동완서(bradykinesia), 보행 이상, 자세 불안정을 포함한 운동 장애는 다양한 신경학적·운동 관련 질환에서 흔하게 나타난다. 기존의 임상 평가는 간헐적으로 이루어지는 경우가 많아 운동 행동의 미세한 시간적 변화를 포착하지 못할 수 있다. 착용형 IMU와 3인칭 비디오는 객관적인 운동 평가에서 가능성을 보여왔으나, 3인칭 녹화는 개인 정보 보호 문제를 야기하고 제한된 수집 환경을 요구한다. 이와 대조적으로, 1인칭(egocentric) 비전은 보다 자연스럽고 프라이버시를 고려한 대안을 제공한다. 본 연구에서는 운동 장애 분석을 위해 동기화된 1인칭 비디오와 착용형 IMU 신호를 결합한 멀티모달 벤치마크 데이터셋인 EgoInertia-MI를 소개한다. 이 데이터셋은 건강한 자원봉사자들이 운동 장애 없음, 경도 장애, 중증 장애의 다양한 수준을 시뮬레이션하며 수행한 상체 및 하체 활동 19가지를 포함한다. 우리는 행동 인식과 운동 장애 중증도 추정이라는 두 가지 벤치마크 태스크를 설정하고, 다수의 단일 모달 및 멀티모달 베이스라인을 평가한다. 실험 결과, 1인칭 비디오가 운동 장애 평가에 강력한 단서를 제공하며, 멀티모달 융합이 중증도 추정에서 Macro-F1 0.78, 행동 인식에서 Macro-F1 0.93을 달성하는 최고의 전반적 성능을 보임을 확인하였다. 이러한 결과는 생태학적으로 타당하고 프라이버시를 고려한 운동 평가를 위해 1인칭 비전과 착용형 센싱을 결합하는 것의 잠재력을 강조한다. 코드와 데이터는 https://fatemah-alh.github.io/EgoInertia-MI-Page/ 에서 공개되어 있다.
1인칭 시점(egocentric) 시선 추정에서 오프라인 모델과 실시간 인과적 추론 간의 불일치를 해소하기 위해, 학습 중에는 미래 프레임에 접근하는 future-aware branch를 활용하되 추론 시에는 제거하는 ECOGaze 프레임워크를 제안한다. EGTEA Gaze+와 Ego4D 실험에서 미래 특권 감독(future-privileged supervision)이 인과적 시선 예측 성능을 일관되게 향상시키며, 최적 효과는 약 1.7~3.3초의 제한된 미래 컨텍스트 범위에서 나타남을 확인했다.
의미 있는 인간-로봇 상호작용(HRI)을 위해서는 로봇이 지속적인 사용자 추적을 통해 사용자 참여도를 지속적으로 평가해야 한다. 그러나 최신 다중 객체 추적(Multi-Object Tracking) 모델은 감시 또는 자율 주행에 최적화되어 있다. 소셜 로봇은 인간이 예측 불가능한 비선형 패턴으로 이동하거나, 서로를 가리거나, 장면을 벗어났다가 다시 진입하는 등 에고센트릭(egocentric) 특유의 어려움에 직면한다. 이러한 역동성은 빈번한 신원 전환(IDSW)을 유발하여 로봇이 대화 도중 추적 대상을 잃게 만든다. 이를 해결하기 위해 Furhat 로봇을 통해 수집한 집중적이고 맞춤형 어노테이션이 적용된 에고센트릭 데이터셋을 소개한다. 본 논문은 탐지 오류와 추적 로직을 분리하고, 얼굴 추적과 신체 추적을 비교하며, 확장된 메모리와 외관 재식별(ReID)의 영향을 평가하는 체계적인 평가를 제시한다. 결과에 따르면, 시간적 메모리를 늘리면 장시간 가림(occlusion)은 완화되지만 복잡한 동적 이벤트에서는 효과가 없다. ReID를 통합하면 복잡한 전환 문제는 해결되나 상반된 효과를 나타낸다: 신체 추적 안정성은 크게 향상되는 반면, 프로필 각도 민감성으로 인해 얼굴 IDSW가 급증한다. 최종적으로 최적화된 파이프라인은 표준 탐지 기반 추적 기준선(baseline) 대비 IDSW를 49% 감소시켜 상호작용 중단을 효과적으로 완화한다. 표준 벤치마크에는 밀집된 근거리 가림 상황이 부재하므로, 본 연구는 HRI 인식 모델을 진정으로 검증하기 위해 자연스럽게 포착된 소셜 역동성 데이터셋의 절실한 필요성을 강조한다.
Despite being a pivotal frontier, interactive world modeling remains underexplored in terms of the versatile controllability required by practical scenarios. To bridge this gap, we present AnchorWorld, a framework that advances egocentric simulation through enhanced interaction integrity and a flexible mechanism for world customization. First, we utilize 3D human motion as the primary interaction modality. To complement the out-of-view or truncated body parts in egocentric views, we introduce an auxiliary training supervision that incorporates exogenous viewpoints decoupled from the agent's first-person sensorium. It allows the model to observe the agent's full-body positioning relative to the environment, facilitating a more robust spatial grounding of human-world interactions. Furthermore, we propose a simple yet effective mechanism for customizing self-evolving worlds. This is achieved by defining anchor views within a unified world coordinate system, coupled with textual descriptions dictating the dynamic evolution of local scenes. Experimental results show that AnchorWorld significantly outperforms state-of-the-art baselines, while ablation studies validate the effectiveness of our key designs. Notably, our customization scheme exhibits promising spatio-temporal geometric consistency and adheres strictly to the prescribed evolutionary dynamics.
자기중심 시점에서 손 표면 접촉 압력을 추정하는 것은 AR/VR 기기, 로봇 모방, 및 인간공학 분석에 매우 중요하다. 기존 방법은 종종 압력 신호를 이산화하고 프레임을 독립적으로 처리하여 양자화 오류와 시간적 불일치를 초래한다. 우리는 시각 입력으로부터 UV-압력 맵을 생성하는 조건부 비디오 디퓨전 프레임워크인 EgoPressDiff를 제안한다. 우리 접근법의 핵심은 멀티모달 조건화 전략으로, PoseNet과 Vertex Encoder를 도입하여 손 자세와 3D 메시 정점으로부터 특징을 효율적으로 추출한다. 이 신호들은 깊이 정보와 함께 생성 과정을 안내하여 압력 필드가 물리적으로 그라운딩되도록 한다. 이질적인 특징을 효과적으로 융합하기 위해, 우리는 결합 전에 통계적 특성을 정렬하는 Distribution-Calibrated Spatial Layer(분포 보정 공간 층)를 추가로 제안한다. EgoPressure 자기중심 시점 설정에서 평가한 결과, EgoPressDiff는 최신(state-of-the-art) 성능을 달성하여, 기존 기준선 대비 Volumetric IoU를 34% 이상 상대적으로 향상시키는 동시에 MAE를 감소시키고 높은 시간적 정확도를 유지한다. 프로젝트 페이지는 https://egopressdiff.github.io/ 입니다.