Open-CHOIR: 오픈월드 접촉 인식 기반 4D 손-물체 상호작용 복원
Open-CHOIR: Open-World Contact-Aware 4D Hand-Object Interaction Reconstruction
본 논문에서는 일상적인 오픈월드(open-world) 단안 비디오를 관절형 손 움직임, 시간에 따른 6D 포즈를 갖는 물체 형상, 접촉의 시점 및 위치와 같은 재사용 가능한 4D 상호작용 프리미티브로 변환할 수 있는지 질문을 던집니다. 이러한 기능은 실제 상호작용의 확장 가능한 마이닝을 가능하게 하며, 단순한 복원을 넘어 장면 인식 합성 및 계획을 지원할 수 있습니다. 그러나 까다로운 단안 비디오로부터 손-물체 상호작용(HOI)을 복원하는 것은 여전히 어렵습니다. 기존 방식들은 종종 알려진 물체나 정제된 장면을 가정하며, 복잡한 배경, 가림 현상, 그리고 보지 못한 물체 기하구조 하에서는 개별적으로 추정된 손과 물체의 정렬이 쉽게 어긋납니다. 이러한 환경을 해결하기 위해, 본 연구에서는 손과 물체 사이의 명시적인 결합 신호로 접촉을 사용하는 단안 카메라용 오픈월드 접촉 인식 HOI 복원 프레임워크인 Open-CHOIR를 제안합니다. Open-CHOIR는 먼저 오픈월드 시각적 사전 정보를 활용하여 대략적인 접촉 무관 4D HOI 시퀀스를 초기화합니다. 그런 다음 광선-깊이(ray-depth) 보정을 예측하고 손-물체 간의 상대적 배치를 교정한 뒤, 교정된 기하구조 상에서 프레임별 초기 접촉 대응점을 도출하는 생성형 HOI 공간 교정 모듈을 도입합니다. 마지막으로, 동적으로 업데이트되는 접촉 제약 조건을 갖춘 접촉 인식 공동 최적화를 통해 기하학적, 시간적, 접촉 일관성을 강제합니다. 통제된 비디오 및 도전적인 비디오에 대한 실험을 통해 Open-CHOIR가 최신 최고 수준(SOTA) 방법들에 비해 물체 복원, 물리적 타당성, 시간적 일관성을 향상시킴을 입증합니다. 코드, 데이터 및 사전학습된 가중치는 https://github.com/hxwork/CHOIR 에서 확인할 수 있습니다.