고유 수용-시각 대응이 휴머노이드 로봇의 자기-타인 구별을 가능하게 한다
Proprioceptive-visual correspondence enables self-other distinction in humanoid robots
한국어 초록
자기와 타인을 구별하는 능력은 사회적 지능의 전제 조건이지만, 인간과 작업 공간을 점점 더 많이 공유하는 휴머노이드 로봇은 아직 이 능력을 갖추지 못하고 있다. 본 연구에서는 휴머노이드 로봇이 신원 레이블이나 운동학 모델 없이 고유 수용-시각 대응(proprioceptive-visual correspondence)으로부터 자기-타인 구별을 학습할 수 있음을 보인다. 이 구별이 확립되면, 관절 설정(joint configuration)을 3차원 신체 점유(body occupancy)로 매핑하고 동작에 따른 로봇 신체의 변화를 포착하는 예측적 자기 모델(predictive self-model)을 부트스트랩한다. 인간이나 형태적으로 동일한 로봇이 등장하는 다중 에이전트 장면에서, 이 시스템은 자신을 신뢰성 있게 식별하고 3D 자기 모델을 학습하며, 목표 도달, 충돌 인식 동작 계획(collision-aware motion planning), 인간-로봇 모션 리타게팅(human-to-robot motion retargeting) 등의 다운스트림 태스크를 지원한다. 이러한 결과들은 공유 물리적 환경에서 타인과 함께 행동하고 협응하는 로봇에서 신체적 자기 표상(bodily self-representation)으로 나아가는 경로를 제시한다.
원문 초록
Distinguishing self from others is a prerequisite for social intelligence, yet humanoid robots that increasingly share workspaces with humans still lack this ability. Here we show that a humanoid robot can learn self-other distinction from proprioceptive-visual correspondence, without any identity labels or kinematic models. Once established, this distinction bootstraps a predictive self-model that maps joint configurations to three-dimensional body occupancy, capturing how the robot's body changes with action. In multi-agent scenes involving humans or morphologically identical robots, the system reliably identifies itself, learns a 3D self-model, and supports downstream tasks including target reaching, collision-aware motion planning, and human-to-robot motion retargeting. Together, these results outline a route toward bodily self-representation in robots that act and coordinate alongside others in shared physical environments. Project page: https://euron-zc.github.io/humanoid-self-model/.
요약
휴머노이드 로봇이 고유 수용-시각 대응(proprioceptive-visual correspondence)을 통해 별도의 라벨이나 운동학 모델 없이 자기-타인 구별을 학습하여, 관절 설정을 3차원 신체 점유로 매핑하는 예측적 자기 모델을 구축한다. 이를 통해 다중 에이전트 환경에서 로봇은 자신을 식별하고 목표 도달 및 충돌 인식 운동 계획과 같은 후속 작업을 수행할 수 있다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.13222v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RIPE++: 포지티브 쌍만 활용한 강화학습 기반 특징점 학습
RIPE++: Reinforced Keypoint Learning from Positive Pairs Only
희소 특징점(sparse keypoint) 추출 및 매칭은 Structure-from-Motion(SfM), 시각적 SLAM(visual SLAM), 증강 현실(AR), 의료 영상 정합 등 기하학적 컴퓨터 비전의 핵심 과제를 뒷받침합니다. 그러나 강건한 지역 특징(local feature) 표현을 학습하려면 일반적으로 정확한 카메라 포즈나 깊이(depth) 지도 신호가 필요한데, 이는 실제 환경에서 얻기 어려운 경우가 많습니다. 최근 두 이미지가 동일한 장면을 보여주는지 여부의 정보만 필요로 하는 강화학습(RL)이 유망한 대안으로 떠올랐습니다. 하지만 RIPE와 같은 기존 강화학습 방식은 조잡한 이진 보상(binary reward)과 정교하게 구성된 네거티브 학습 쌍에 의존하므로, 학습 안정성과 기술자(descriptor)의 변별력이 제한됩니다. 본 논문에서는 강화학습 기반 특징점 학습을 재검토하고 기하학적 일관성 신호를 완전히 활용하는 보상을 제안하며, 네거티브 쌍과의 대조 없이 단일 포지티브 쌍만으로 보상과 페널티를 모두 도출합니다. 이러한 더 풍부한 신호는 포지티브 이미지 쌍만으로도 변별력 있는 검출기와 기술자를 학습하기에 충분한 지도 대조 신호를 제공하여, 극도로 제한된 지도 조건에서도 표현 학습을 가능하게 합니다. 나아가 LightGlue를 적용하여 동일한 강화학습 목표를 매칭 단계까지 확장할 수 있음을 보여주며, MegaDepth1500에서 AUC@5를 56.58에서 59.65로 향상시키고 시각적 중첩이 부분적으로 존재하는 이미지 쌍으로부터 전체 희소 매칭 파이프라인의 약지도 학습(weakly-supervised training)을 가능하게 합니다. 널리 사용되는 벤치마크에서 본 접근법을 검증하여 완전 지도 학습(fully-supervised) 방식과 비교해도 경쟁력 있는 결과를 입증합니다. 또한 카메라 포즈를 얻기 어렵고 표준 SfM 파이프라인이 흔히 실패하는 저텍스처 의료 비디오 시퀀스에서도 본 방법이 학습될 수 있음을 추가로 보여줍니다. 코드와 데이터는 https://github.com/fraunhoferhhi/RIPEpp 에서 제공됩니다.
WilLaGS: 제약 없는 환경에서 강건한 가우시안 스플래팅을 위한 잠재 조건부 3D 외관 필드
WilLaGS: Latent-Conditional 3D Appearance Fields for Robust Gaussian Splatting In-the-Wild
3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS)은 실시간 고품질 렌더링을 제공하지만, 급격한 외관 변화와 일시적 객체로 다중 뷰 일관성이 깨지는 제약 없는(in-the-wild) 장면에서는 여전히 한계가 있다. 기존 방법은 독립적이고 이산적인 임베딩에 근본적으로 의존하여 연속적인 환경 변화를 포착하거나 공간적으로 변하는 국소 조명을 모델링하기 어렵다. 이러한 한계를 해결하기 위해, 제약 없는 설정에서 강건한 3D 장면 복원과 생성형 외관 합성을 위한 통합 프레임워크 \textbf{WilLaGS}를 제안한다. 구체적으로, $\beta$-VAE가 전역 외관의 구조화되고 연속적인 매니폴드를 학습하는 생성형 외관 모델을 도입한다. 잠재 코드에 조건화하여, 공간적으로 변하는 국소 조명 효과를 인코딩하는 동적 Tri-Plane 특징을 생성하는 3D 신경 외관 필드를 구축한다. 나아가 일시적 아티팩트를 억제하기 위해, 교사-학생(Teacher-Student, EMA) 아키텍처로 안정적인 장면 합의를 도출하고 지각적 불일치로 일관되지 않은 영역을 강건하게 식별하는 자기지도 지각 마스킹 메커니즘을 제시한다. 여러 데이터셋에 대한 광범위한 실험을 통해 \textbf{WilLaGS}가 실시간 렌더링 효율을 유지하면서 복원 품질과 새로운 시점 외관 합성에서 최첨단 성능을 달성함을 보인다.
Colon3R: 단안 대장내시경 영상 기반 크로스 도메인 3D 재구성
Colon3R: Cross-Domain 3D Reconstruction from Monocular Colonoscopic Video
단안 대장내시경 3D 재구성은 수술 로봇 대장내시경에 중요하지만, 낮은 텍스처, 정반사, 제한된 시야 중첩, 비강체 조직 운동 때문에 여전히 어렵다. 기존 다중 시점 3D 재구성 방법은 안정적인 대응(correspondence)과 근사 강체 가정에 의존하며, 이는 대장내시경에서 자주 위반된다. 기존 내시경 방법은 종종 도메인 특화 지도에 의존하지만, 기하학 기반 모델(geometry foundation model)을 임상 대장내시경에 적응시키기에는 in-vivo 라벨 데이터가 충분하지 않다. 본 연구는 사전학습된 VGGT 위에 구축한 크로스 도메인 반지도 학습 프레임워크 Colon3R을 제안한다. 라벨이 있는 phantom 및 시뮬레이션 데이터에서 결합된 카메라·깊이·pointmap 기하를, 목표 도메인 기하 주석 없이 라벨 없는 in-vivo 대장내시경으로 전이한다. phantom과 시뮬레이션 데이터만으로 학습하는 소스 전용 미세조정과 달리, Colon3R은 교사 모델에서 유도한 교차 시점 지도를 통해 라벨 없는 in-vivo 영상을 직접 활용한다. 제안한 계층적 준강체(quasi-rigid) 신뢰도는 시퀀스, 방향 쌍, 픽sel 수준에서 신뢰할 수 있는 지도를 선택하고, 소스 보존 적응(source-preserving adaptation)은 목표 도메인 적응 동안 학습된 결합 기하를 유지한다. 광범위한 실험에서 본 방법은 깊이, pointmap, 카메라 포즈 추정에서 최신 방법들보다 전반적으로 우수한 성능을 보인다. 실제 in-vivo 대장내시경에 대한 정성 비교는 임상 도메인 이동 하에서도 경쟁 방법 대비 훨씬 더 완전하고 기하적으로 일관된 재구성을 보여준다. 코드는 논문이 accept된 후 공개될 예정이다.
Multidimensional Particle Filter for Long-Term Visual Teach and Repeat in Changing Environments
RIGOR: 전방향 재구성을 위한 리그 정보 기반 기하학
RIGOR: Rig-Informed Geometry for Omnidirectional Reconstruction
피드포워드(feed-forward) 3D 재구성 분야의 최근 발전으로 이미지 스트림만으로 조밀한(dense) 장면 표현과 카메라 움직임을 복원할 수 있는 모델들이 등장했습니다. 그러나 이러한 예측은 긴 궤적에서, 특히 반복적인 구조, 약한 텍스처, 동적 물체나 사람이 존재하는 까다로운 환경에서 일관성을 잃기 쉽습니다. 이러한 문제를 완화하는 한 가지 방법은 넓은 공간적 커버리지를 제공하고 더 풍부한 시각적 정보를 포착하는 전방향(omnidirectional) 카메라를 사용하는 것입니다. 하지만 대다수의 모델은 360도 영상을 지원하지 않거나 추가적인 미세조정(fine-tuning)을 필요로 합니다. 이러한 두 가지 측면을 연결하기 위해, 본 연구에서는 동결된 피드포워드 원근 백본(backbone)을 유지하면서 각 파노라마를 4-뷰 가상 리그(virtual rig)로 활용하는 중력 정렬 전방향 비디오용 대규모 재구성 파이프라인인 RIGOR를 제시합니다. 이 리그 구조는 국소적으로 불일치하는 예측을 감지 및 복구하고, 순환적 4-뷰 합의(consensus)를 통해 루프 클로저(loop closure)를 검색하며, 전역 최적화(global optimization) 전에 재방문 후보를 기하학적으로 검증하는 데 사용됩니다. 검증된 제약 조건은 시퀀스를 따라 누적된 회전, 이동 및 스케일 드리프트를 수정하는 Sim(3) 포즈 그래프를 구동합니다. 본 연구는 까다로운 건설 현장 시퀀스에서 제안된 일관성 메커니즘이 피드포워드 기준선(baseline) 대비 궤적 정확도와 재구성된 기하학 모두를 향상시킴을 입증합니다. 코드는 다음 링크에서 제공됩니다: https://github.com/TangentH/RIGOR.
호라이즌 불변 행동 복제를 위한 자기 지도 키프레임 발견
Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.