하나의 세계 속 장면과 인간: 순전파 한 번으로의 재구성
Scene and Human in One World: Reconstruction in a Feedforward Pass
한국어 초록
움직이는 단안(monocular) 카메라로 동적 장면 속 인간을 재구성하는 것은 스케일 모호성, 인간-장면 정렬 불일치, 가림(occlusion) 간섭 때문에 여전히 어렵다. 인간 메시 복원(Human Mesh Recovery)과 장면 재구성을 별개의 작업으로 다루기보다, 정확한 인간-장면 재구성을 위해서는 두 작업이 서로 정보를 제공해야 한다고 본다. 파라미터화 인간 모델(parametric human models)은 의미적 구조와 metric-scale 사전 정보(priors)를 제공하고, 장면 기하학은 인간 위치 추정(localization)과 정렬(alignment)을 위한 공간적 맥락을 제공한다. 이 통찰에 기반하여, 순전파(feed-forward) 3D 장면 재구성과 Human Mesh Recovery를 통일된 metric 공간에서 결합하는 마스크-프롬프트 가능(mask-promptable) 인간 메시 복원 프레임워크인 SHOW를 제안한다. SHOW는 파라미터화 인간 모델의 인간 의미 정보(semantics)와 스케일 사전 정보를 정규화된 포인트 맵(point-map) 예측에 주입하여, 본질적으로 스케일이 모호한 단안 입력으로부터 metric-scale 장면 재구성을 가능하게 한다. 이에 따라 복원된 장면 기하학은 인간 메시 추정을 제약하여, 공간적으로 일관된 인간 배치와 향상된 인간-장면 정렬을 유도한다. 복잡한 다인물(multi-person) 및 어수선한 장면을 처리하기 위해, SHOW는 프롬프트 가능한 마스킹 메커니즘을 추가로 도입하여 배경 방해 요소와 가림 간섭을 억제하면서 유연한 대상 인간 선택을 가능하게 한다. 공동 학습(joint training)을 통해 모델은 인간 인식(human-aware) 기하 특징과 기하학적으로 제약된 인간 특징을 모두 학습하여, 단안 인간 중심(human-centric) 영상으로부터 정렬된 metric-scale 재구성 결과를 생성한다. 광범위한 실험을 통해 SHOW가 어려운 카메라 움직임, 가림, 어수선한 배경 하에서 metric-scale 일관성, 인간-장면 정렬, 재구성 정확도를 향상시킴을 보여준다.
원문 초록
Reconstructing humans in dynamic scenes from moving monocular cameras remains challenging due to scale ambiguity, human-scene misalignment, and occlusion interference. Rather than treating human mesh recovery and scene reconstruction as separate tasks, we believe that accurate human-scene reconstruction requires the two tasks to mutually inform each other: parametric human models offer semantic structure and metric-scale priors, while scene geometry provides spatial context for human localization and alignment. Built on this insight, we introduce SHOW, a mask-promptable human mesh recovery framework that couples feed-forward 3D scene reconstruction with Human Mesh Recovery in a unified metric space. SHOW injects human semantics and scale priors from parametric human models into normalized point-map prediction, enabling metric-scale scene reconstruction from inherently scale-ambiguous monocular input. In turn, the recovered scene geometry constrains human mesh estimation, encouraging spatially consistent human placement and improved human-scene alignment. To handle complex multi-person and cluttered scenes, SHOW further incorporates a promptable masking mechanism that enables flexible target-human selection while suppressing background distractions and occlusion interference. Through joint training, the model learns both human-aware geometric features and geometry-constrained human features, producing aligned metric-scale reconstructions from monocular human-centric videos. Extensive experiments demonstrate that SHOW improves metric-scale consistency, human-scene alignment, and reconstruction accuracy under challenging camera motion, occlusion, and cluttered backgrounds.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.27720v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Dyna3: 심도 파운데이션 모델 기반 VLM 유도형 무학습 4D 재구성
Dyna3: VLM-Guided Training-Free 4D Reconstruction via Depth Foundation Models
Depth Anything 3(DA3)와 같은 최신 심도 파운데이션 모델은 뛰어난 다중 뷰 심도 추정을 달성하지만 정적 3D 장면을 가정하므로 실제 동적 환경에 대한 적용 가능성이 제한됩니다. Easi3R 및 VGGT4D와 같은 기존 무학습 4D 기법들은 어텐션이 프레임 간 매칭을 인코딩하는 대응점 학습 기반 백본에 의존하지만, DA3와 같은 심도 전용 모델에는 이러한 특성이 없습니다. 본 논문에서는 미세조정 없이도 4D 동적 장면 재구성을 위해 DA3를 확장하는 무학습 프레임워크인 Dyna3를 제안합니다. 핵심 통찰은 DA3의 교차 뷰 특징이 심도 일관성만을 위해 학습되었음에도 불구하고, 프레임 간 최적 매칭 특징 검색과 결합될 때 모션 구별 신호를 암시적으로 인코딩한다는 점입니다. 정적 표면은 전역적으로 일관된 매칭을 찾는 반면, 동적 객체는 그렇지 못합니다. 나아가 비전-언어 모델(VLM)을 채택하여 SAM 3를 위한 장면별 의미론적 프롬프트를 자동으로 생성함으로써, 존재하는 객체와 움직이는 객체를 구분하는 정밀한 인스턴스 수준 분할을 가능하게 합니다. 재구성을 위해 장면을 프레임 간 정렬된 정적 배경과 프레임별 동적 포인트 클라우드로 분리합니다. 4개 데이터셋에 대한 실험을 통해 Dyna3는 동적 객체 분할에서 최고 성능인 VGGT4D 대비 J-Mean 기준 +5.5%p 향상으로 대응점 학습 기반 방법들을 능가하는 동시에, 4~8배 낮은 메모리로 최대 13배 빠른 포즈 추정과 3배 빠른 4D 재구성을 달성함을 입증합니다. 따라서 Dyna3는 이전 방법들이 지원할 수 없었던 훨씬 더 조밀한 시간적 샘플링을 가능하게 할 수 있습니다.
Mira-Scene: 생성형 3D 장면을 위한 픽셀 정렬 레이아웃
Mira-Scene: Pixel-Aligned Layouts for Generative 3D Scene
단일 이미지 기반 3D 객체 생성은 이제 고충실도(high-fidelity) 에셋을 생성할 수 있지만, 이들을 일관된 장면 레이아웃 내에 정확하게 배치하는 것은 여전히 미해결 과제로 남아 있습니다. 핵심적인 어려움은 객체 레이아웃을 표현하는 방식에 있습니다. 전체론적(holistic) 방식은 배치를 장면 수준의 생성 프로세스에 흡수시켜 객체 수준의 세부 표현을 희생합니다. 구성적(compositional) 방식은 기하학적 구조(geometry)와 레이아웃을 분리하여 객체 충실도를 보존하지만, 일반적으로 레이아웃을 희소하고 경계가 없는(unbounded) 포즈 변수로 매개변수화하므로 학습(training)하기 어렵고 희소한 장면 수준 지도하에서는 일반화 성능이 떨어집니다. 우리는 희소한 포즈 회귀를 조밀하고 유계된(bounded) 대응 관계 복원으로 대체하는 구성적 3D 장면 재구성 프레임워크인 Mira-Scene을 제시합니다. 그 핵심에는 가시적인 각 객체 픽셀을 객체의 유계된 표준 공간(canonical space) 내 표면 좌표로 매핑하는 픽셀 정렬 필드인 Canonical Coordinate Map(CCM)이 있습니다. 단안 기하학 추정에서 얻은 장면 공간 포인트 클라우드 맵(PCM)과 결합될 때, CCM은 강건한 기하학적 정렬(alignment)을 통해 객체 변환을 복원할 수 있는 조밀한 표준-장면 대응 관계를 유도합니다. CCM은 유계된 표준 공간에서 작동하기 때문에, 장면 수준의 레이아웃 주석 없이도 확장 가능한 객체 수준 3D 데이터로부터 학습할 수 있는 안정적인 예측 대상을 제공합니다. 나아가 Mira-Scene은 기하학-레이아웃 일관성을 촉진하기 위해 공유 어텐션(attention) 및 위치 인코딩을 갖춘 모달리티별 전문가 스트림을 사용하여 객체 기하학적 구조와 CCM을 공동으로 생성하는 멀티모달 디퓨전 트랜스포머(transformer)를 도입합니다. 실내, 실외, 합성 및 야생(in-the-wild) 장면에 대한 실험에 따르면, Mira-Scene은 제한된 오픈소스 학습 데이터를 사용하면서도 SAM3D 대비 3D-IoU에서 39.8%, 2D-IoU에서 16.5%의 상대적 향상을 달성하며 레이아웃 정확도 면에서 강력한 베이스라인들을 크게 능가함을 보여줍니다.
Revisiting Multi-View Stereo: A Sequence-to-Sequence Formulation
다중 뷰 이미지로부터 정확한 기하를 계산하는 것은 컴퓨터 비전(CV)의 근본적인 문제이다. 최근 feed-forward(FF) 모델은 3D 기하와 카메라 파라미터를 공동으로 추정하지만, 정답(ground-truth) 카메라 파라미터가 주어져도 재구성 모호성으로 인한 기하 왜곡을 일반적으로 겪는다. 본 논문에서는 알려진 카메라 파라미터를 갖는 다중 뷰 스테레오(MVS) 문제를 연구하고, 기존 MVS와 FF 방법을 잇는 새로운 접근법을 제안한다. MVS를 단일 기준 뷰에 대해서만 깊이를 예측하는 시퀀스-투-원(sequence-to-one) 매핑으로 두는 대신, FF 모델과 유사하게 모든 입력 뷰에 대한 기하를 공동으로 예측하는 시퀀스-투-시퀀스 과제로 재공식화한다. 카메라로 유도된 사전지식(prior)을 명시적으로 활용하는 두 구성 요소를 갖춘 전역 트랜스포머 기반 아키텍처를 도입한다: 카메라 파라미터를 이미지 패치 토큰에 주입하여 트랜스포머를 camera-aware하게 만드는 ray-map 임베딩(embedding), 그리고 기존의 뷰별 cost volume을 대체하여 모든 뷰에 걸쳐 3D 구조를 공동으로 포착하는 통합 전역 cost volume. 여러 공개 벤치마크에 대한 광범위한 실험 결과, 제안 방법은 MVS 및 FF 재구성 기준선을 모두 능가하는 최신(state-of-the-art) 성능을 달성함을 보여준다.
ScenePlacer: 씬 레벨 물체 포즈 추정을 가시성 필드 학습으로 재구성하기
ScenePlacer: Reformulating Scene-Level Object Pose Estimation as Visibility Field Learning
본 논문에서는 기반 생성 파이프라인을 수정하지 않고도 부분적인 기하학적 관측이 주어졌을 때 생성된 3D 물체를 장면에 배치하는, 최신 네이티브 형상 생성 모델로 생성된 물체의 씬 레벨(scene-level) 포즈 추정 프레임워크인 ScenePlacer를 제시한다. 기존의 장면 생성 방식들은 정규 공간(canonical space) 사전 확률(prior)을 저해하며 물체를 장면 좌표계에서 직접 생성하거나, 형상 생성 과정에서 완전한 생성 형상으로부터 포즈를 회귀한다. 후자의 경우 스케일 모호성과 부분적 관측에 민감한 불량 조건(ill-conditioned) 문제이다. ScenePlacer는 정렬을 조건부 가시성 필드(visibility field) 학습으로 재구성함으로써 물체 생성과 포즈 추정을 분리한다. 복원 결과로부터 얻은 관측된 부분 포인트 클라우드와 생성된 메시가 주어지면, 물체 공간에서 정의된 가시성 필드를 예측한 다음, 부분 관측을 메시의 가시 영역과 정렬하여 강체 변환(rigid transformation)을 추정한다. 본 연구에서는 사전학습된 3D 형상 VAE를 백본으로 제안하여, 별도로 인코딩된 관측 정보에 조건을 부여하면서도 메시 사전 확률을 보존한다. 나아가 가시성을 인식하는 반경 제한(radius-constrained) 지도 방식을 도입하고, 물체 수준의 메시와 렌더링된 뷰만을 사용하여 학습 쌍을 합성함으로써 씬 레벨 포즈 어노테이션의 필요성을 제거한다. 3D-FUTURE 데이터셋에서 ScenePlacer는 참값(ground-truth) 및 단안 깊이 추정 환경 모두에서 기존의 배치 및 포즈 정제(pose-refinement) 베이스라인들을 일관되게 능가한다. 생성된 물체를 사용할 때 추정된 깊이 환경에서 0.0077의 Chamfer 거리와 92.40의 F-score를 달성하며, 참값 형상 환경에서는 각각 0.0023 및 98.27로 향상된다.
SCOPE-4D: 내시경 4D 기하학 파운데이션 모델
SCOPE-4D: Endoscopic 4D Geometry Foundation Models
기하학적 이해는 내시경 내비게이션과 로봇 보조를 뒷받침하지만, 신뢰할 수 있는 내시경 기하학을 학습하는 것은 기하학적 주석의 부족과 카메라 움직임과 조직 변형 간의 모호성이라는 두 가지 과제에 직면해 있습니다. 본 논문에서는 단안 RGB 비디오로부터 단일 순전파(forward pass)만으로 카메라 파라미터, 조밀한 기하학, 3D 조직 궤적을 공동으로 예측하는 내시경 4D 기하학 파운데이션 모델인 SCOPE-4D를 제시합니다. 본 연구의 큐레이션 및 주석 파이프라인은 실제 및 합성 위장 내시경과 복강경을 아우르는 약 5,000개 클립 모음인 SCOPE-5K를 구축합니다. 이 컬렉션은 풍부한 기하학적 감독을 제공하며, 새롭게 수집된 팬텀 및 실제 대장 내시경 평가 세트를 포함합니다. SCOPE-5K에 대한 기하학 지도 미세조정(supervised fine-tuning)은 내시경 사전 지식(prior)을 학습하여 카메라 및 깊이 추정을 향상시킵니다. 공통-잔차 모션(Common--Residual Motion, CRM)은 공통 조직 움직임에 상대적인 국소 변형을 추가로 제약합니다. 기하학적 감독과 더불어, CRM 및 궤적 감독은 기하학 미세조정(fine-tuning) 단독 대비 카메라 및 깊이 추정을 더욱 향상시키는 동시에 조밀한 3D 조직 추적을 가능하게 합니다. 공개 벤치마크 및 새로 수집된 벤치마크에 대한 평가는 도메인 내 및 도메인 외 기하학에서의 강력한 성능, 우수한 3D 추적, 그리고 보다 안정적인 긴 시퀀스 대장 재구성을 입증합니다. 맹검 사용자 연구는 실제 임상 비디오에서 체감 재구성 품질을 추가로 뒷받침합니다. 이러한 결과는 공동 기하학 추정 및 조직 추적을 위한 대규모 내시경 감독과 모션 제약의 가치를 종합적으로 입증합니다.
FlowHMR: 비디오로부터 물리적으로 타당한 모션 캡처
FlowHMR: Physically Plausible Motion Capture from Video
본 논문에서는 단안 비디오로부터 물리적으로 타당한 글로벌 3D 인간 모션을 복원하는 프레임워크인 FlowHMR을 제시합니다. 기존의 학습 기반 방법들은 일반적으로 비디오에서 직접 인간 모션을 회귀하고 기하학적 지도 학습(geometric supervision)을 통해 네트워크를 학습시킵니다. 그러나 단안 비디오에서 인간 모션을 복원하는 것은 깊이(depth) 측면에서 본질적으로 모호하며, 직접 회귀 방식은 평균화된 해(averaged solution)로 수렴하는 경향이 있습니다. 또한 복원된 모션이 물리적으로 타당하다고 보장되지 않아, 물리 기반 추적이 실패하는 경우가 빈번합니다. 이러한 문제를 해결하기 위해, 우리는 비디오 모션 캡처를 비디오 조건부 모션 생성 문제로 공식화하고 먼저 이 작업을 위한 플로우 매칭(flow matching) 모델을 사전학습(pre-training)합니다. 입력 비디오가 주어지면 사전학습된 모델이 다양한 모션 후보들을 생성하지만, 이들 모두가 비디오에 충실하거나 물리적으로 추적 가능한 것은 아닙니다. 따라서 우리는 두 가지 보상(reward)을 사용하는 그룹 상대 정책 최적화(GRPO)를 통해 모델을 사후학습(post-training)합니다. 충실도 보상(fidelity reward)은 입력 비디오와의 일관성을 장려합니다. 추적 보상(tracking reward)은 물리 기반 컨트롤러가 성공적으로 추적할 수 있는 모션을 선호하도록 합니다. 이 두 보상이 결합되어 모델의 출력 선호도를 전환함으로써, 사후학습된 모델은 입력 비디오에 충실하면서도 더욱 물리적으로 타당한 모션을 생성합니다. 나아가 야생 환경(in the wild)에서의 인간 모션 복원을 평가하기 위해 약 4천 개의 인터넷 비디오로 구성된 대규모의 다양한 데이터셋인 Wild-4K를 소개합니다. Wild-4K에 대한 정성적 및 정량적 실험 결과, 제안하는 방법이 전반적인 모션 충실도에서 최첨단 방법들을 능가하며, 가장 강력한 기준선인 GVHMR의 62.82%에 비해 82.47%의 물리적 추적 성공률을 달성함을 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.