arXiv:2605.20992v4 cs.CV

Open-CHOIR: 오픈월드 접촉 인식 기반 4D 손-물체 상호작용 복원

Open-CHOIR: Open-World Contact-Aware 4D Hand-Object Interaction Reconstruction

Hao Xu, Yilin Liu, Yinqiao Wang, Chi-Wing Fu, Niloy J. Mitra

제출 2026-05-20

저자 비고

arXiv Comments

Project page: https://hxwork.github.io/collections/2026_CHOIR/index.html

한국어 초록

본 논문에서는 일상적인 오픈월드(open-world) 단안 비디오를 관절형 손 움직임, 시간에 따른 6D 포즈를 갖는 물체 형상, 접촉의 시점 및 위치와 같은 재사용 가능한 4D 상호작용 프리미티브로 변환할 수 있는지 질문을 던집니다. 이러한 기능은 실제 상호작용의 확장 가능한 마이닝을 가능하게 하며, 단순한 복원을 넘어 장면 인식 합성 및 계획을 지원할 수 있습니다. 그러나 까다로운 단안 비디오로부터 손-물체 상호작용(HOI)을 복원하는 것은 여전히 어렵습니다. 기존 방식들은 종종 알려진 물체나 정제된 장면을 가정하며, 복잡한 배경, 가림 현상, 그리고 보지 못한 물체 기하구조 하에서는 개별적으로 추정된 손과 물체의 정렬이 쉽게 어긋납니다. 이러한 환경을 해결하기 위해, 본 연구에서는 손과 물체 사이의 명시적인 결합 신호로 접촉을 사용하는 단안 카메라용 오픈월드 접촉 인식 HOI 복원 프레임워크인 Open-CHOIR를 제안합니다. Open-CHOIR는 먼저 오픈월드 시각적 사전 정보를 활용하여 대략적인 접촉 무관 4D HOI 시퀀스를 초기화합니다. 그런 다음 광선-깊이(ray-depth) 보정을 예측하고 손-물체 간의 상대적 배치를 교정한 뒤, 교정된 기하구조 상에서 프레임별 초기 접촉 대응점을 도출하는 생성형 HOI 공간 교정 모듈을 도입합니다. 마지막으로, 동적으로 업데이트되는 접촉 제약 조건을 갖춘 접촉 인식 공동 최적화를 통해 기하학적, 시간적, 접촉 일관성을 강제합니다. 통제된 비디오 및 도전적인 비디오에 대한 실험을 통해 Open-CHOIR가 최신 최고 수준(SOTA) 방법들에 비해 물체 복원, 물리적 타당성, 시간적 일관성을 향상시킴을 입증합니다. 코드, 데이터 및 사전학습된 가중치는 https://github.com/hxwork/CHOIR 에서 확인할 수 있습니다.

원문 초록

We ask whether everyday open-world monocular videos can be turned into reusable 4D interaction primitives: articulated hand motion, object shape with 6D pose over time, and the when/where of contact. Such a capability would enable scalable mining of real interactions and, beyond reconstruction, support scene-aware synthesis and planning. However, reconstructing hand-object interaction (HOI) from challenging monocular videos remains difficult: methods often assume known objects or curated scenes, and separately estimated hands and objects easily become misaligned under clutter, occlusion, and unseen object geometries. Targeting this setting, we present Open-CHOIR, an Open-world Contact-aware HOI Reconstruction framework for a monocular camera, using contact as an explicit coupling signal between hands and objects. Open-CHOIR first initializes a coarse, contact-agnostic 4D HOI sequence from open-world visual priors. It then introduces a generative HOI spatial rectification module to predict ray-depth corrections and rectify hand-object relative placement, then derive initial per-frame contact correspondences on the rectified geometry. Last, a contact-aware joint optimization with dynamically updated contact constraints enforces geometric, temporal, and contact consistency. Experiments on controlled and challenging videos show that Open-CHOIR improves object reconstruction, physical plausibility, and temporal consistency over state-of-the-art methods. Code, data, and pretrained weights are available at https://github.com/hxwork/CHOIR.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.20992v4

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02343v1cs.CV공통 태그 Pose Estimation, 3D Reconstruction, 4D reconstruction

SCOPE-4D: 내시경 4D 기하학 파운데이션 모델

SCOPE-4D: Endoscopic 4D Geometry Foundation Models

기하학적 이해는 내시경 내비게이션과 로봇 보조를 뒷받침하지만, 신뢰할 수 있는 내시경 기하학을 학습하는 것은 기하학적 주석의 부족과 카메라 움직임과 조직 변형 간의 모호성이라는 두 가지 과제에 직면해 있습니다. 본 논문에서는 단안 RGB 비디오로부터 단일 순전파(forward pass)만으로 카메라 파라미터, 조밀한 기하학, 3D 조직 궤적을 공동으로 예측하는 내시경 4D 기하학 파운데이션 모델인 SCOPE-4D를 제시합니다. 본 연구의 큐레이션 및 주석 파이프라인은 실제 및 합성 위장 내시경과 복강경을 아우르는 약 5,000개 클립 모음인 SCOPE-5K를 구축합니다. 이 컬렉션은 풍부한 기하학적 감독을 제공하며, 새롭게 수집된 팬텀 및 실제 대장 내시경 평가 세트를 포함합니다. SCOPE-5K에 대한 기하학 지도 미세조정(supervised fine-tuning)은 내시경 사전 지식(prior)을 학습하여 카메라 및 깊이 추정을 향상시킵니다. 공통-잔차 모션(Common--Residual Motion, CRM)은 공통 조직 움직임에 상대적인 국소 변형을 추가로 제약합니다. 기하학적 감독과 더불어, CRM 및 궤적 감독은 기하학 미세조정(fine-tuning) 단독 대비 카메라 및 깊이 추정을 더욱 향상시키는 동시에 조밀한 3D 조직 추적을 가능하게 합니다. 공개 벤치마크 및 새로 수집된 벤치마크에 대한 평가는 도메인 내 및 도메인 외 기하학에서의 강력한 성능, 우수한 3D 추적, 그리고 보다 안정적인 긴 시퀀스 대장 재구성을 입증합니다. 맹검 사용자 연구는 실제 임상 비디오에서 체감 재구성 품질을 추가로 뒷받침합니다. 이러한 결과는 공동 기하학 추정 및 조직 추적을 위한 대규모 내시경 감독과 모션 제약의 가치를 종합적으로 입증합니다.

arXiv:2610.03716v1cs.CV공통 태그 Pose Estimation, Object Tracking, 3D Reconstruction

MoSE3: 모든 픽셀에서 월드 공간 SE(3) 학습하기

MoSE3: Learning World-Space SE(3) at Every Pixel

밀집 3D 포인트 트래킹(Dense 3D point tracking)은 동적 장면의 모션을 모델링하는 주요 패러다임이었으나, 포인트 트랙은 픽셀당 3자유도(3-DoF) 이동 궤적에 불과하여 픽셀의 이동 위치만을 포착할 뿐 해당 부위의 회전이나 어떤 픽셀들이 하나의 강체로 함께 움직이는지는 포착하지 못합니다. 본 논문에서는 단안 RGB 비디오로부터 밀집 SE(3) 모션을 예측하여 월드 공간의 모든 픽셀에서 완전한 6자유도(6-DoF) 강체 변환을 생성하는 최초의 피드포워드 모델인 MoSE3를 제안합니다. 픽셀별 SE(3) 모션은 회전, 이동 및 그룹화를 한 번에 제공하여 장면의 움직임에 대한 더욱 풍부한 시각을 제공합니다. SE(3)를 직접 예측하는 것은 어렵습니다. 회전은 유클리드 회귀에 적합하지 않은 곡면 다양체(curved manifold)에 놓여 있으며, SE(3) 어노테이션을 획득하기가 특히 까다롭기 때문입니다. 이러한 문제를 해결하기 위해 MoSE3는 함께 학습되는 두 가지 중간 매개체인 3D 포인트 트랙과 강체 임베딩(rigidity embedding)을 통해 픽셀별 SE(3)를 예측하며, 각 소프트 강체 클러스터 내에서 변환을 미분 가능하게 피팅하여 SE(3)를 복원함으로써 엔드투엔드 예측 및 지도를 가능하게 합니다. 데이터 격차를 해소하기 위해, 풍부한 물리적 상호작용을 갖는 관절체(articulated object)에 대한 밀집 SE(3) 및 강체 라벨을 포함하는 대규모 합성 데이터셋인 Art-Kubric을 소개합니다. MoSE3는 강체 및 관절체 벤치마크 모두에서 픽셀, 파트 및 객체 수준의 최첨단(state-of-the-art) SE(3) 추정 성능을 달성하고 3개 데이터셋에 걸쳐 최고 수준의 평균 3D 포인트 트래킹 정확도를 달성하는 동시에, 합성 모션 데이터로만 학습되었음에도 실제 비디오에 대해 뛰어난 일반화 성능을 보입니다.

arXiv:2610.01286v1cs.CV공통 태그 Pose Estimation, 3D Reconstruction, 4D reconstruction

Dyna3: 심도 파운데이션 모델 기반 VLM 유도형 무학습 4D 재구성

Dyna3: VLM-Guided Training-Free 4D Reconstruction via Depth Foundation Models

Depth Anything 3(DA3)와 같은 최신 심도 파운데이션 모델은 뛰어난 다중 뷰 심도 추정을 달성하지만 정적 3D 장면을 가정하므로 실제 동적 환경에 대한 적용 가능성이 제한됩니다. Easi3R 및 VGGT4D와 같은 기존 무학습 4D 기법들은 어텐션이 프레임 간 매칭을 인코딩하는 대응점 학습 기반 백본에 의존하지만, DA3와 같은 심도 전용 모델에는 이러한 특성이 없습니다. 본 논문에서는 미세조정 없이도 4D 동적 장면 재구성을 위해 DA3를 확장하는 무학습 프레임워크인 Dyna3를 제안합니다. 핵심 통찰은 DA3의 교차 뷰 특징이 심도 일관성만을 위해 학습되었음에도 불구하고, 프레임 간 최적 매칭 특징 검색과 결합될 때 모션 구별 신호를 암시적으로 인코딩한다는 점입니다. 정적 표면은 전역적으로 일관된 매칭을 찾는 반면, 동적 객체는 그렇지 못합니다. 나아가 비전-언어 모델(VLM)을 채택하여 SAM 3를 위한 장면별 의미론적 프롬프트를 자동으로 생성함으로써, 존재하는 객체와 움직이는 객체를 구분하는 정밀한 인스턴스 수준 분할을 가능하게 합니다. 재구성을 위해 장면을 프레임 간 정렬된 정적 배경과 프레임별 동적 포인트 클라우드로 분리합니다. 4개 데이터셋에 대한 실험을 통해 Dyna3는 동적 객체 분할에서 최고 성능인 VGGT4D 대비 J-Mean 기준 +5.5%p 향상으로 대응점 학습 기반 방법들을 능가하는 동시에, 4~8배 낮은 메모리로 최대 13배 빠른 포즈 추정과 3배 빠른 4D 재구성을 달성함을 입증합니다. 따라서 Dyna3는 이전 방법들이 지원할 수 없었던 훨씬 더 조밀한 시간적 샘플링을 가능하게 할 수 있습니다.

arXiv:2610.01314v1cs.CV공통 태그 Object Tracking, 3D Reconstruction, 4D reconstruction

ARROW: 인더와일드 환경에서 4D 관측의 임의 재구성 및 추적

ARROW: Arbitrary Reconstruction and Tracking of 4D Observations in the Wild

동적 장면은 움직이는 카메라, 다중 비디오 스트림, 또는 서로 다른 시점에 촬영된 이미지들로 캡처될 수 있습니다. 이러한 관측들은 장면 지오메트리 및 모션의 상호 보완적인 측면들을 드러내지만, 이를 하나로 통합하려면 시점, 캡처 시간, 가시성 변화 전반에 걸친 대응 관계(correspondence)를 확립해야 합니다. 본 논문에서는 임의의 이미지 세트로부터 3D 재구성(reconstruction)과 3D 포인트 추적(tracking)을 통합하는 피드포워드 모델인 ARROW를 소개합니다. 핵심은 임의의 입력 전반에서 쿼리와 관측을 연관 지을 수 있게 하는 새로운 순서 불변 쿼리(order-invariant querying) 접근 방식입니다. 저자들은 학습(training) 중에 모델(model)을 더욱 다양한 입력 세트에 노출시키는 것이 태스크 성능 향상으로 이어진다는 점을 보여줍니다. 또한, 이를 통해 도출된 모델은 다중 뷰 추적을 포함하여 더 넓은 범위의 태스크로 일반화할 수 있습니다. 이러한 전략으로 학습된 ARROW는 WorldTrack 및 TAPVid-3D에서 3D 추적 부문의 새로운 SOTA(state of the art)를 달성하고, 3D 재구성 태스크 전반에서 경쟁력을 유지하면서도 개작된 RGB 전용 MVTracker 벤치마크에서 전용 다중 뷰 트래커들의 성능을 능가합니다. 코드와 가중치는 공개되어 있습니다.

arXiv:2609.24487v1cs.CV공통 태그 Pose Estimation, Object Tracking, 3D Reconstruction

AgentSTAR: 단안 영상으로부터의 에이전트 기반 형상 추적 및 재구성

AgentSTAR: Agentic Shape Tracking and Reconstruction from Monocular Videos

본 연구에서는 에이전트 기반 분석-합성(agentic analysis-by-synthesis) 방식을 통해 영상으로부터 형상을 재구성하고 추적하는 방법을 제안한다. 조밀한 픽셀 대응관계를 먼저 추정한 뒤 이를 바탕으로 물체의 움직임을 복원하는 기존 방법들과 달리, 본 방법은 기하학적 구조와 운동학적 구조를 포함한 구조화된 3D 물체 모델을 추론하고, 이 모델을 사용하여 시간에 따른 물체의 추적(track) 추정치를 최적화한다. 최적화 루프에서 비전-언어 모델(VLM) 에이전트는 렌더링-비교(render-and-compare) 루프를 통해 형상 또는 일반화된 자세(pose)를 반복적으로 정제하며, 개략적 시각적 추론(coarse visual reasoning)과 수치적 자세 최적화를 결합하여 정밀한 상태 추정을 수행한다. 이러한 구조화된 정식화(formulation) 덕분에 본 방법은 픽셀 매칭 목적함수에 의존하지 않고도 큰 움직임, 관절 운동(articulation), 심한 가림(occlusion)을 거치며 추적할 수 있다. 정량적으로, ARCTIC 데이터셋에서 본 방법은 관절형 물체(articulated object)에 대한 최신 3D 포인트 추적(point-tracking) 베이스라인들을 크게 능가하며, HOT3D에서는 평가된 모든 강체(rigid-object) 추적 베이스라인을 능가한다.

arXiv:2607.22731v1cs.CV공통 태그 Pose Estimation, Object Tracking, 3D Reconstruction

실내 환경을 위한 보정 불필요 3D 다중 카메라 사람 추적

Calibration-Free 3D Multi-Camera People Tracking for Indoor Environment

다중 카메라 사람 추적(MCPT)은 전통적으로 2D 검출 결과를 통합된 3D 월드 좌표계로 투영하기 위해 정밀한 카메라 내부 및 외부 보정에 의존한다. 그러나 수동 보정은 제약 없는 영상 아카이브로부터 대규모 데이터셋을 생성하는 데 주요 병목이 된다. 본 연구는 딥 파운데이션 모델을 사용하여 시각 데이터로부터 기하 구조를 직접 추론하는 통합 보정 불필요 3D MCPT 프레임워크를 제안한다. 시스템은 앵커-프리 검출(YOLOX), 강건한 추적(BoT-SORT), 전 스케일 외형 임베딩(OsNet), 자세 추정(MMPose를 통한 HRNet), Visual Geometry Grounded Transformer(VGGT)를 이용한 트랜스포머 기반 기하 재구성을 통합한다. 자세 유도 3D 리프팅 전략은 머리 키포인트를 재구성된 매니폴드에 투영하여 지면 평면 호모그래피(ground-plane homography)에 대한 의존을 제거한다. 전역 신원 연관은 엄격한 속도 게이팅을 적용한 외형-기하 결합 비용 하에서 계층적 응집 클러스터링으로 공식화된다. AI City Challenge 2024에서의 평가는 ground-truth 보정 행렬에 접근하지 않고 HOTA 점수 53.13%를 달성하여, 순수 비전 기반 3D 추적을 위한 강력한 기준선을 확립한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.