arXiv:2609.26793v2 cs.CV

HARMONY: 단안 영상 기반 장면 합성을 위한 계층적 에이전트 추론

HARMONY: Hierarchical Agentic Reasoning for MONocular Image-to-Scene Synthesis

Shufan Sun, Chen Wang, Enxin Song, Jiatao Gu, Lingjie Liu

제출 2026-09-22

저자 비고

arXiv Comments

Project Page: http://cwchenwang.github.io/harmony

한국어 초록

구성적 3D 장면 복원(compositional 3D scene reconstruction)은 최근 두 가지 방향에서 연구되어 왔습니다. 공간적 관계에 대한 의미론적 이해를 제공하지만 입력 이미지와의 정밀한 정렬이 부족한 에이전트 추론(agentic reasoning)과, 입력 이미지로부터 조밀한 포인트 맵을 예측하지만 복원 품질이 제한적인 시각 기하 파운데이션 모델(visual geometry foundation models)입니다. 따라서 단일 단안 이미지로부터 정확한 객체 간 관계와 고충실도 복원 품질을 갖춘 완전한 3D 장면을 복원하는 것은 여전히 어려운 과제로 남아 있습니다. 본 논문에서는 에이전트 추론과 시각 기하 파운데이션을 모두 활용하는 계층적 사고의 연쇄(Chain-of-Thought) 프레임워크인 HARMONY를 제안합니다. 실내 장면 이미지가 주어지면, 빈 3D 평면도에서 시작하여 HARMONY는 먼저 참조 이미지에 대해 카메라를 캘리브레이션하여 의미론적으로 그라운딩된 공간 프레임을 설정한 다음, 에이전트 VLM 추론을 사용하여 3D 방 레이아웃과 초기 배치 순서를 복원합니다. 이후 벽면 부착 요소부터 독립형 가구, 가구 위의 종속적인 장식품에 이르기까지 계층적 순서로 객체를 배치합니다. 또한 가구 배치 시에는 각 배치가 이전에 결정된 구조를 조건으로 하도록 깊이 우선 탐색(depth-first traversal)을 사용하고, 오차 누적을 방지하기 위해 반추적 피드백 루프(reflective feedback loop)를 적용합니다. VLM에 의한 각 객체 배치 후에는 포인트 클라우드 추정치를 사용하여 기하학 기반 개선을 수행함으로써 렌더링된 이미지가 입력과 더 잘 정렬되도록 합니다. HARMONY는 참조 이미지와 의미론적으로 일관되고 지각적으로 정렬된 3D 장면을 생성할 수 있어, 단일 이미지 구성적 복원을 복잡한 실내 장면 이미지로 확장합니다. 합성 및 실제 이미지에 대한 실험을 통해 HARMONY가 평가된 복원 베이스라인 모델들을 능가함을 입증하였으며, GPT-6 Astra와의 정성적 비교를 통해 더 충실한 객체 배치와 더 우수한 장면 세부 정보 보존 성능을 보여줍니다.

원문 초록

Compositional 3D scene reconstruction has recently been explored from two directions: agentic reasoning that provides semantic understanding of spatial relationships but lacks precise alignment with input images; and visual geometry foundation models that predict dense point maps from input images but the reconstruction quality is limited. Therefore, recovering a complete 3D scene from a single monocular image with accurate inter-object relationships and high-fidelity reconstruction quality remains challenging. In this paper, we present HARMONY, a hierarchical chain-of-thought framework that leverages both agentic reasoning and visual geometry foundation. Given an image of an indoor scene, starting from an empty 3D floorplan, HARMONY first calibrates the camera against the reference image to establish a semantically-grounded spatial frame, then uses agentic VLM reasoning to recover the 3D room layout and an initial placement order. It then places the objects in a hierarchical order, from wall-mounted elements, free-standing furniture, to dependent decorations on top of furniture. We also use depth-first traversal for furniture so each placement conditions on previously resolved structure and a reflective feedback loop to avoid error accumulation. After each object placement by VLM, we use the point cloud estimations to perform geometry-based refinement so that the rendered image aligns better with the input. HARMONY can produce 3D scenes that are semantically consistent and perceptually aligned with the reference image, extending single-image compositional reconstruction to complex indoor scene images. Experiments on synthetic and real-world images demonstrate that HARMONY outperforms the evaluated reconstruction baselines, while qualitative comparisons with GPT-6 Astra suggest more faithful object arrangements and better preservation of scene details.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.26793v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24850v2cs.CV공통 태그 3D Reconstruction, Scene Understanding

Revisiting Multi-View Stereo: A Sequence-to-Sequence Formulation

다중 뷰 이미지로부터 정확한 기하를 계산하는 것은 컴퓨터 비전(CV)의 근본적인 문제이다. 최근 feed-forward(FF) 모델은 3D 기하와 카메라 파라미터를 공동으로 추정하지만, 정답(ground-truth) 카메라 파라미터가 주어져도 재구성 모호성으로 인한 기하 왜곡을 일반적으로 겪는다. 본 논문에서는 알려진 카메라 파라미터를 갖는 다중 뷰 스테레오(MVS) 문제를 연구하고, 기존 MVS와 FF 방법을 잇는 새로운 접근법을 제안한다. MVS를 단일 기준 뷰에 대해서만 깊이를 예측하는 시퀀스-투-원(sequence-to-one) 매핑으로 두는 대신, FF 모델과 유사하게 모든 입력 뷰에 대한 기하를 공동으로 예측하는 시퀀스-투-시퀀스 과제로 재공식화한다. 카메라로 유도된 사전지식(prior)을 명시적으로 활용하는 두 구성 요소를 갖춘 전역 트랜스포머 기반 아키텍처를 도입한다: 카메라 파라미터를 이미지 패치 토큰에 주입하여 트랜스포머를 camera-aware하게 만드는 ray-map 임베딩(embedding), 그리고 기존의 뷰별 cost volume을 대체하여 모든 뷰에 걸쳐 3D 구조를 공동으로 포착하는 통합 전역 cost volume. 여러 공개 벤치마크에 대한 광범위한 실험 결과, 제안 방법은 MVS 및 FF 재구성 기준선을 모두 능가하는 최신(state-of-the-art) 성능을 달성함을 보여준다.

arXiv:2610.15734v1cs.CV공통 태그 3D Reconstruction, Scene Understanding

ScenePlacer: 씬 레벨 물체 포즈 추정을 가시성 필드 학습으로 재구성하기

ScenePlacer: Reformulating Scene-Level Object Pose Estimation as Visibility Field Learning

본 논문에서는 기반 생성 파이프라인을 수정하지 않고도 부분적인 기하학적 관측이 주어졌을 때 생성된 3D 물체를 장면에 배치하는, 최신 네이티브 형상 생성 모델로 생성된 물체의 씬 레벨(scene-level) 포즈 추정 프레임워크인 ScenePlacer를 제시한다. 기존의 장면 생성 방식들은 정규 공간(canonical space) 사전 확률(prior)을 저해하며 물체를 장면 좌표계에서 직접 생성하거나, 형상 생성 과정에서 완전한 생성 형상으로부터 포즈를 회귀한다. 후자의 경우 스케일 모호성과 부분적 관측에 민감한 불량 조건(ill-conditioned) 문제이다. ScenePlacer는 정렬을 조건부 가시성 필드(visibility field) 학습으로 재구성함으로써 물체 생성과 포즈 추정을 분리한다. 복원 결과로부터 얻은 관측된 부분 포인트 클라우드와 생성된 메시가 주어지면, 물체 공간에서 정의된 가시성 필드를 예측한 다음, 부분 관측을 메시의 가시 영역과 정렬하여 강체 변환(rigid transformation)을 추정한다. 본 연구에서는 사전학습된 3D 형상 VAE를 백본으로 제안하여, 별도로 인코딩된 관측 정보에 조건을 부여하면서도 메시 사전 확률을 보존한다. 나아가 가시성을 인식하는 반경 제한(radius-constrained) 지도 방식을 도입하고, 물체 수준의 메시와 렌더링된 뷰만을 사용하여 학습 쌍을 합성함으로써 씬 레벨 포즈 어노테이션의 필요성을 제거한다. 3D-FUTURE 데이터셋에서 ScenePlacer는 참값(ground-truth) 및 단안 깊이 추정 환경 모두에서 기존의 배치 및 포즈 정제(pose-refinement) 베이스라인들을 일관되게 능가한다. 생성된 물체를 사용할 때 추정된 깊이 환경에서 0.0077의 Chamfer 거리와 92.40의 F-score를 달성하며, 참값 형상 환경에서는 각각 0.0023 및 98.27로 향상된다.

arXiv:2608.28733v2cs.RO공통 태그 3D Reconstruction, Scene Understanding

자기회귀 확산 모델을 통한 3D 장면 그래프 내 고수준 개념 생성

Generation of High-Level Concepts in 3D Scene Graphs via Autoregressive Diffusion

실내 3D 장면 그래프(3DSG)는 관측된 기하학적 프리미티브(예: 평면)를 더 높은 수준의 미터법-의미론적(metric-semantic) 개념(예: 방, 층, 건물)과 연결하는 다층 계층 구조로 환경을 표현하여 로봇 인지 및 SLAM을 위한 점진적 공간 추론을 가능하게 합니다. 그러나 기존의 고수준 개념 생성 방식은 특정 개념 클래스에 대한 수작업 규칙에 의존하며, 학습 기반 방법은 그래프 구조와 공간 노드 특징(예: 중심점)에 대해 별도의 모델을 요구하므로 새로운 클래스 및 더 복잡한 계층 구조로의 확장성이 제한됩니다. 본 논문에서는 구조와 특징을 함께 학습하고 관측된 수직 평면으로부터 임의의 계층 깊이에 걸쳐 완전한 3DSG를 상향식(bottom-up)으로 구축하는 통합 자기회귀 확산 기반 그래프 생성 모델을 제안합니다. 제안하는 방법은 합성 장면, 실제 건축 평면도, 로봇 센서 데이터를 아우르고 레이아웃 복잡도와 계층 깊이가 다양한 3DSG 데이터셋 전반에서 모든 학습 기반 및 무작위 베이스라인을 일관되게 능가하며, 가장 큰 계층 구조 및 실제 단층 데이터에서 목표 그래프 크기에 대한 오라클 접근 권한을 가진 원샷(one-shot) 모델을 능가합니다. 마지막으로, 생성된 3DSG를 정답(ground truth)과 비교하여 원칙적인 그래프 수준 평가를 수행하기 위한 Fused Gromov--Wasserstein 거리의 적응 방식을 제안합니다.

arXiv:2610.00970v1cs.CV공통 태그 3D Reconstruction, Scene Understanding

RelationVGGT: 3차원 공간 관계 분할을 위한 시각 기하 트랜스포머

RelationVGGT: Visual Geometry Transformers for 3D Spatial Relation Segmentation

최근 3차원 재구성(3D reconstruction) 분야는 장면별 최적화(per-scene optimization) 방식에서 피드포워드 추론(feed-forward inference) 방식으로 발전해 왔으며, 의미론적 장면 이해(semantic scene understanding) 또한 이러한 흐름을 따라왔다. 그러나 기존 방법들은 여전히 객체 중심 인식(object-centric perception)에 국한되어 있어 객체 간의 공간적 관계(spatial relation)를 간과하고 있다. 본 연구에서는 피드포워드 방식이면서 포즈 정보가 필요 없는(pose-free) 멀티뷰(multi-view) 환경에서 3차원 공간 관계 분할(3D spatial relation segmentation) 문제를 정식화한다: 시각적으로 지정된 주체(subject)와 관계를 나타내는 텍스트 질의(relational text query)가 주어졌을 때, 모델은 대상의 범주명(category name)을 입력받지 않고도 여러 뷰에 걸쳐 해당 대상을 분할한다. 이를 위해 우리는 RelationVGGT를 제안한다. 이는 시각 파운데이션 모델(visual foundation model)의 의미론적 특징(semantic feature)과 3차원 기하 파운데이션 모델(3D geometry foundation model)의 기하 인지 표현(geometry-aware representation)을 통합하고, 관계 트랜스포머(relation transformer)를 활용하여 주체 조건부(subject-conditioned) 교차 뷰(cross-view) 관계 예측을 수행하는 새로운 피드포워드 프레임워크이며, 장면별 최적화나 알려진 카메라 포즈(camera pose)를 필요로 하지 않는다. 또한 우리는 VLM과 LLM을 활용하여 ScanNet++ 기반의 완전 자동화된 주석(annotation) 파이프라인을 제공함으로써, 이 새로운 과제(task)에 대한 확장 가능한 학습 데이터 생성을 가능하게 한다.

arXiv:2610.01286v1cs.CV공통 태그 3D Reconstruction, Scene Understanding

Dyna3: 심도 파운데이션 모델 기반 VLM 유도형 무학습 4D 재구성

Dyna3: VLM-Guided Training-Free 4D Reconstruction via Depth Foundation Models

Depth Anything 3(DA3)와 같은 최신 심도 파운데이션 모델은 뛰어난 다중 뷰 심도 추정을 달성하지만 정적 3D 장면을 가정하므로 실제 동적 환경에 대한 적용 가능성이 제한됩니다. Easi3R 및 VGGT4D와 같은 기존 무학습 4D 기법들은 어텐션이 프레임 간 매칭을 인코딩하는 대응점 학습 기반 백본에 의존하지만, DA3와 같은 심도 전용 모델에는 이러한 특성이 없습니다. 본 논문에서는 미세조정 없이도 4D 동적 장면 재구성을 위해 DA3를 확장하는 무학습 프레임워크인 Dyna3를 제안합니다. 핵심 통찰은 DA3의 교차 뷰 특징이 심도 일관성만을 위해 학습되었음에도 불구하고, 프레임 간 최적 매칭 특징 검색과 결합될 때 모션 구별 신호를 암시적으로 인코딩한다는 점입니다. 정적 표면은 전역적으로 일관된 매칭을 찾는 반면, 동적 객체는 그렇지 못합니다. 나아가 비전-언어 모델(VLM)을 채택하여 SAM 3를 위한 장면별 의미론적 프롬프트를 자동으로 생성함으로써, 존재하는 객체와 움직이는 객체를 구분하는 정밀한 인스턴스 수준 분할을 가능하게 합니다. 재구성을 위해 장면을 프레임 간 정렬된 정적 배경과 프레임별 동적 포인트 클라우드로 분리합니다. 4개 데이터셋에 대한 실험을 통해 Dyna3는 동적 객체 분할에서 최고 성능인 VGGT4D 대비 J-Mean 기준 +5.5%p 향상으로 대응점 학습 기반 방법들을 능가하는 동시에, 4~8배 낮은 메모리로 최대 13배 빠른 포즈 추정과 3배 빠른 4D 재구성을 달성함을 입증합니다. 따라서 Dyna3는 이전 방법들이 지원할 수 없었던 훨씬 더 조밀한 시간적 샘플링을 가능하게 할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.