PyTorchKR Papers

최신 논문

총 10편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2604.03315v2cs.CV

StoryBlender: 시공간적 역학을 통한 샷 간 일관성과 편집 가능성을 갖춘 3D 스토리보드

StoryBlender: Inter-Shot Consistent and Editable 3D Storyboard with Spatial-temporal Dynamics

스토리보딩은 영화, 애니메이션, 게임을 위한 시각적 스토리텔링의 핵심 기술입니다. 그러나 이 과정을 자동화하려면 기존 접근법들이 동시에 만족하기 어려웠던 두 가지 속성인 샷 간 일관성(inter-shot consistency)과 명시적 편집 가능성(explicit editability)을 달성해야 합니다. 2D 확산 모델(diffusion) 기반 생성기는 생생한 이미지를 생성하지만 기하학적 제어가 제한적이며 정체성 변화(identity drift) 문제를 겪기 쉽습니다. 반대로 기존의 3D 애니메이션 워크플로는 일관되고 편집 가능하지만 전문가 의존적이며 많은 노동력을 요구합니다. 본 논문에서는 스토리 중심 리플렉션 방식(Story-centric Reflection Scheme)으로 제어되는 그라운디드 3D 스토리보드 생성 프레임워크인 StoryBlender를 제시합니다. StoryBlender 시스템의 핵심은 세 단계 파이프라인으로 구성됩니다: (1) 장기적 일관성을 위해 전역 에셋과 샷별 변수를 분리하여 연속성 메모리 그래프를 구축하는 의미론적-공간적 그라운딩(Semantic-Spatial Grounding), (2) 시각적 정체성을 유지하기 위해 통합된 좌표 공간에서 개체를 인스턴스화하는 표준 에셋 구체화(Canonical Asset Materialization), (3) 시각적 지표를 통해 레이아웃 디자인과 영화적 전개를 달성하는 시공간적 역학(Spatial-Temporal Dynamics). StoryBlender는 검증 루프 내에서 여러 에이전트(agent)를 계층적으로 조율함으로써, 엔진 검증 피드백을 통해 공간적 환각(hallucination)을 반복적으로 자체 수정합니다. 그 결과 생성된 네이티브 3D 장면은 흔들림 없는 다중 샷 연속성을 유지하면서도 카메라와 시각적 에셋의 직접적이고 정밀한 편집을 지원합니다. 실험을 통해 StoryBlender가 확산 모델 기반 및 3D 그라운디드 베이스라인 모두에 비해 일관성과 편집 가능성을 크게 개선함을 입증합니다. 코드, 데이터 및 시연 비디오는 https://engineeringai-lab.github.io/StoryBlender/ 에서 확인할 수 있습니다.

arXiv:2608.06161v3cs.AI

iARCS: 제어 가능한 3D 장면 생성을 위한 반복적 에이전트 기반 강화학습

iARCS: Iterative Agentic RL for Controllable 3D Scene Generation

합성 3D 장면 생성은 컴퓨터 비전(CV) 및 체화된 AI(Embodied AI)를 위한 데이터 원천으로 점점 더 널리 사용되고 있으나, 기존 생성 모델들은 작업에 중요한 기능적 제약 조건을 안정적으로 만족하지 못한 채 시각적 사실성만을 최적화하는 경우가 많습니다. 이러한 불일치는 접근성, 이동 가능성(traversability), 공간 규칙 준수가 필수적인 다운스트림 학습에서 합성 데이터의 유용성을 제한합니다. 본 논문에서는 사전학습된 장면 생성 모델을 자연어 작업 요구사항에 적응시키는 반복적 에이전트 기반 강화학습(RL) 프레임워크인 iARCS를 제시합니다. iARCS는 2단계 전략을 사용합니다. 물리적 타당성과 레이아웃 품질을 향상하기 위한 범용 보상 사전학습을 거친 후, 학습 피드백을 통해 반복적으로 정제되는 대규모 언어 모델(LLM) 생성 보상 프로그램을 활용하여 작업별 파인튜닝을 수행합니다. 실험 결과, 보행성(walkability), 도달 가능성(reachability), 여유 공간(clearance) 중심 작업에서 제약 충실도가 향상되었으며, 효과적인 작업별 제약 최적화 및 경쟁력 있는 장면 다양성을 입증했습니다. 나아가 iARCS로 생성된 데이터가 기본 생성 모델을 개선함을 보여줌으로써, 단순한 제어형 장면 편집 방법을 넘어 실용적인 합성 데이터 생성 도구로서의 가치를 뒷받침합니다.

arXiv:2607.23491v1cs.CV

PlanCraft: 건축가 영감 기반 점진적 3D 주거 장면 생성을 위한 스케치, 정제, 가구 배치

PlanCraft: Sketch, Refine, and Furnish for Architect-Inspired Progressive 3D Residential Scene Generation

자동 주거 평면도 생성에서 두 가지 구조적 통찰이 간과되어 왔다. 첫째, 설계는 본질적으로 점진적이다. 건축가는 거친 스케치로 시작하여 시간이 지남에 따라 이를 정제하지만, 기존 방법들은 일반적으로 생성 전에 조건화 표현(conditioning representation)을 완전히 지정해야 하며, 이는 실제 설계 방식과 근본적으로 불일치한다. 둘째, 2D 평면도는 선택적 중간 산물이 아니라 대체 불가능한 공간적 계약(spatial contract)이다. 방 경계, 문, 창문이 고정되면 가구 배치는 개방형 공간 추론에서 제한된 제약 만족(constraint satisfaction)으로 축소된다. 기존 3D 시스템이 레이아웃을 언어 모델에 위임함으로써 이 계약을 우회하면 방이 겹치고 비현실적인 비율이 발생하며, 범용 언어 모델을 직접 호출하는 것도 마찬가지로 기하학적으로 유효하지 않은 레이아웃을 만든다. 이러한 통찰에 따라 PlanCraft를 제안한다. SketchPlan은 8만 개의 실제 평면도에서 건축가의 그리기 과정을 재현하여 모든 완성도 수준에서 부분 스케치를 생성함으로써 누락된 학습(training) 신호를 제공한다. PlanCraft-Diff는 거친-세밀(coarse-to-fine) 전략을 통해 불완전한 스케치를 기하학적으로 정밀하고 벡터화 가능한 평면도로 점진적으로 선명하게 만든다. 공간적 계약이 확립되면 PlanCraft-에이전트(PlanCraft-Agent)가 잘 정의된 방 경계 내에서 장면에 가구를 배치한다. 실험 결과 PlanCraft는 기존 최고 2D 방법 대비 FID가 61.1% 낮으며, 전문가 평가 공간 합리성에서 기존 3D 시스템을 15점 능가하고, 25% 완성도의 스케치만으로도 모든 완전 지정 기준선(baseline)을 능가한다.

arXiv:2607.13539v1cs.CV

ThinkBLOX: 점진적 추론을 통한 3D 실내 장면 생성

ThinkBLOX: 3D Indoor Scene Generation with Progressive Reasoning

전통적인 그래픽스 방법은 3D 실내 장면을 자기회귀적 또는 계층적으로 합성하는 경우가 많지만, 최근 비전-언어 모델(VLM) 기반 생성기는 전체 레이아웃을 한 번에 계획하는 원샷(one-shot) 패러다임을 주로 채택한다. 이 원샷 접근법은 대화형 편집(예: 객체 삽입 또는 이동) 시 전역 재최적화 또는 완전한 재구성을 요구하는 경우가 많으며, 물리적 또는 의미론적으로 조직이 잘 되지 않은 배치를 초래할 수 있다. 이러한 문제를 해결하기 위해, 우리는 3D 장면을 반복적으로 설계하고 정제하는 VLM 기반 점진적 추론 프레임워크인 ThinkBLOX를 제안한다. ThinkBLOX는 레이아웃 생성을 상태 조건부(state-conditioned)의 단계별 추론-행동(reasoning-and-action) 과정으로 취급한다. 이를 뒷받침하기 위해, 다시점(multi-view) 장면 컨텍스트, 명시적 사고의 연쇄(Chain-of-Thought, CoT) 근거, 그리고 구조화된 JSON 레이아웃으로 주석이 달린 224,757개의 절차적 배치 쌍을 포함하는 ThinkBLOX-Data-200K 데이터셋을 구축한다. 이 데이터셋에 대한 지도 미세조정(SFT)을 통해, VLM은 점진적 업데이트 하에서 추론-행동 간격을 메우는 방법을 학습한다. 또한 장면 합성이 본질적으로 다해(multisolution) 과제이며 SFT가 보상 충돌에 취약함을 인식하고, Tier-Decoupled GDPO를 도입한다. 이 강화학습 방식은 이질적인 보상을 서로 다른 계층(tier)으로 구성하여, 물리적 유효성, 의미론적 타당성, 추론-행동 일관성에 걸친 정책 최적화를 안정화한다. 광범위한 실험 결과, ThinkBLOX는 물리적 타당성, 의미적 정렬, 대화형 편집 용이성 측면에서 최근 원샷 및 반복적 베이스라인을 크게 능가함을 보여준다. 또한 3D 장면의 전역 및 국소 생성과 재배치를 포함한 다양한 응용을 지원함을 보여준다.

arXiv:2607.13468v1cs.CV

HIVE-3D: 고품질 3D 장면 생성을 위한 계층적 복셀 향상

HIVE-3D: Hierarchical Voxel Enhancement for High-Quality 3D Scene Generation

최근 단일 이미지로부터 인상적인 3D 객체를 생성할 수 있는 연구들이 등장했지만, 표현 해상도의 제한으로 인해 3D 장면 생성에는 적합하지 않다. 본 연구에서는 계층적 복셀 향상 프레임워크를 기반으로 한 고품질 3D 장면 생성을 위한 새로운 방법인 HIVE-3D를 제안한다. 구체적으로, 단일 장면 이미지를 입력으로 주면 먼저 거친 초기 장면을 생성한 뒤, 이미지 분할과 어텐션 기반 검색을 도입하여 2D 이미지 구성요소와 3D 장면 구성요소를 정렬한다. 이후 이러한 장면 관계를 계층적 구성요소 트리로 구성하는데, 리프에 가까운 노드일수록 더 세분화된 구성요소를 나타낸다. 마지막으로, 거친 복셀과의 강한 일관성을 유지하면서 대상 인스턴스에 대한 정제된 복셀을 생성하는 복셀 초해상도 모델을 제안한다. 이 모델을 활용하여 각 구성요소에 대해 이미지와 복셀에 대한 거친-세밀(coarse-to-fine) 계층적 초해상도를 수행하여 고해상도이며 고품질의 3D 장면을 생성한다. 광범위한 실험을 통해 본 방법이 이전 접근법들을 크게 능가하며 최첨단(state-of-the-art) 성능을 달성함을 보여준다.

arXiv:2607.03990v1cs.CV

InSpace: 단일 360° 이미지로부터의 구조 인식 3D 실내 장면 생성

InSpace: Structure-Aware 3D Indoor Scene Generation from a Single 360° Image

단일 이미지-3D 생성 분야의 최근 발전으로 고품질 에셋 합성이 가능해졌지만, 이 능력을 실내 장면 생성으로 확장하는 것은 여전히 어려운 과제이다. 기존 방법들은 에셋 수준의 생성에 집중하면서 구조적 레이아웃을 간과하는데, 이 레이아웃은 다운스트림 응용에 필수적이며 에셋을 그라운딩하는 공간적 앵커 역할을 한다. 그러나 제한된 시야각을 가진 단일 이미지는 일관된 전역 레이아웃을 복원하기에 충분한 공간적 커버리지가 부족하다. 이를 위해, 우리는 등장방형 투영(ERP, Equirectangular Projection)으로 표현된 360° 이미지를 사용하고, 3D 실내 장면 생성을 위한 구조 인식 프레임워크인 InSpace를 제안한다. InSpace는 세 단계로 구성된다: (1) 공간적 사전(prior)으로서 부분 장면 기하를 추정하고, (2) 뷰 선택적 크로스 어텐션으로 거친 장면 구조를 생성하며, (3) 플로우 매칭을 활용한 글로벌-로컬 하이브리드 어텐션을 통해 텍스처가 포함된 상세한 레이아웃과 에셋 기하를 생성한다. 또한 우리는 3D-FRONT를 기반으로 한 쌍(paired) ERP-이미지-3D 실내 장면 데이터셋인 ERP-FRONT를 제안한다. 실험 결과, InSpace는 단일 ERP 이미지로부터 구조적 레이아웃과 함께 완전한 3D 실내 장면을 생성하고, 별도의 텍스처 에셋도 생성하며, 3D 및 2D 메트릭 전반에 걸쳐 우수한 성능을 달성한다. 프로젝트 페이지: https://kookie12.github.io/InSpace-Project-Page/

arXiv:2603.13910v2cs.CV

절대 스케일에서의 장면 생성: 정확하고 해석 가능한 3D 실내 장면 생성을 위한 텍스트 기반 의미·기하학적 가이던스 활용

Scene Generation at Absolute Scale: Utilizing Semantic and Geometric Guidance From Text for Accurate and Interpretable 3D Indoor Scene Generation

본 논문은 측정적으로 정확하고 전역적으로 일관되며 의미적으로 해석 가능한 실내 장면을 생성하는 text-to-3D 생성 프레임워크인 GuidedSceneGen을 제안한다. 기하학적 drift나 스케일 모호성 문제가 흔한 기존 텍스트 기반 방법들과 달리, 본 접근법은 전체 생성 과정 전반에 걸쳐 절대 세계 좌표계를 유지한다. 텍스트 장면 설명에서 출발하여, 의미 구조와 기하학적 구조를 모두 인코딩하는 전역 3D 레이아웃을 예측하고, 이를 후속 단계의 안내 프록시로 사용한다. 의미 및 깊이 조건 파노라마 확산 모델이 전역 레이아웃에 정렬된 360° 영상을 합성하여 공간적 일관성을 크게 향상시킨다. 관측되지 않은 영역을 탐색하기 위해, 커버리지와 충돌 회피의 균형을 맞춘 최적화된 카메라 궤적로 안내되는 비디오 확산 모델을 사용하며, 이는 전수적 경로 탐험 대비 최대 10배 빠른 샘플링을 달성한다. 생성된 뷰는 3D Gaussian Splatting으로 융합되어 절대 스케일에서 일관되고 완전히 탐색 가능한 3D 장면을 산출한다. GuidedSceneGen은 레이아웃에서 재구성으로 객체 포즈와 의미 레이블의 정확한 전달을 가능하게 하며, 재정렬 없이 점진적 장면 확장을 지원한다. 정량적 결과와 사용자 연구는 최근 파노라마 text-to-3D 베이스라인 대비 더 높은 3D 일관성과 레이아웃 타당성을 보여준다.

arXiv:2606.08402v3cs.CV

SceneConductor: 다중 에이전트 오케스트레이션을 이용한 단일 이미지 기반 3D 장면 생성

SceneConductor: 3D Scene Generation from a Single Image with Multi-Agent Orchestration

단일 이미지에서 완전한 3D 장면을 생성하려면 본질적으로 모호한 시각적 정보로부터 전역적으로 일관된 기하학, 객체 관계 및 환경적 맥락을 추론해야 합니다. 레이아웃 및 메시 공동 생성의 최근 발전에도 불구하고, 기존 방법들은 종종 여러 요소를 동시에 결합하고 광범위한 장면 수준의 감독을 요구하는 전체적이거나 약하게 분해된 파이프라인에 의존하며, 이는 복잡한 실제 환경으로의 일반화를 제한합니다. 우리는 단일 이미지 3D 장면 생성을 장면 초기화, 환경 구축 및 다중 에이전트 정제의 세 가지 구조화된 단계로 분해하는 다중 에이전트 오케스트레이션 프레임워크를 제안합니다. 초기화 단계는 이미지 기반 객체 마스크를 추출하고, 객체 수준의 3D 표현을 구축하며, 대략적인 3D 장면을 형성하기 위해 초기 공간 레이아웃을 예측합니다. 환경 구축 단계는 이 초기화와 포인트 맵 기하학을 활용하여 지지 표면, 방 경계, 재질 및 조명으로 구성된 환경적 스캐폴드를 구축합니다. 마지막으로, 정제 단계에서 플래너 에이전트는 구조적 및 시각적 불일치를 식별하고 간단한 수정을 직접 적용하며, 전역 장면으로 재통합되는 복잡한 국소적 수정을 위해 전문가 에이전트를 파견합니다. 장면 수준 주석에 대한 의존도를 낮추면서 신뢰할 수 있는 구조적 초기화를 제공하기 위해, 우리는 포인트 맵에서 도출된 희소 기하학적 사전에 의해 감독되는 기하학 인식 레이아웃 예측기를 추가로 도입합니다. 완전히 감독된 레이아웃 생성기와 달리, 해당 예측기는 분할 수준 데이터로부터 학습될 수 있으며 다양한 실제 장면에 강건하게 일반화됩니다. 벤치마크 데이터셋에 대한 광범위한 실험 결과, 우리의 방법은 기하학적 정확도, 공간적 일관성 및 지각적 사실성 측면에서 기존 접근 방식을 일관되게 능가함을 보여줍니다.

arXiv:2603.07704v2cs.CV

PARSE: 부분 인식 관계형 공간 모델링

PARSE: Part-Aware Relational Spatial Modeling

객체 간 관계는 공간 지능의 근간을 이루지만, 기존 표현 방식인 언어적 전치사나 객체 수준 장면 그래프는 어떤 영역이 실제로 서로를 지지하거나, 포함하거나, 접촉하는지를 구체적으로 명시하기에는 너무 조잡하여, 모호하고 물리적으로 일관성 없는 레이아웃을 초래한다. 이러한 모호성을 해소하기 위해서는 부분 수준의 정형화가 필요하며, 이에 우리는 PARSE를 소개한다. PARSE는 객체 부분들이 상호작용하여 실현 가능하고 공간적으로 근거 있는 장면 구성을 결정하는 방식을 명시적으로 모델링하는 프레임워크이다. PARSE는 특정 객체 부분들 간의 기하학적 관계를 인코딩하는 부분 중심 조립 그래프(PAG, Part-centric Assembly Graph)와, 이 관계를 기하학적 제약으로 변환하여 충돌 없는 물리적으로 유효한 장면을 조립하는 부분 인식 공간 구성 솔버(Part-Aware Spatial Configuration Solver)를 핵심으로 한다. PARSE를 활용하여 우리는 PARSE-10K를 구축하였다. 이는 실제 이미지 레이아웃 사전 정보와 정제된 부분 주석 형상 데이터베이스로부터 구성된 10,000개의 3D 실내 장면으로 이루어진 데이터셋으로, 각 장면은 밀집 접촉 구조와 부분 수준 접촉 그래프를 포함한다. 이처럼 구조화된 공간 기반 지도(supervision) 하에 PARSE-10K로 Qwen3-VL을 미세조정하면 더욱 향상된 객체 수준 레이아웃 추론과 더 정확한 부분 수준 관계 이해를 달성한다. 나아가, PAG를 3D 생성 모델의 구조적 사전 정보로 활용하면 물리적 사실성과 구조적 복잡성이 크게 향상된 장면이 생성된다. 이러한 결과들은 PARSE가 기하학 기반 공간 추론을 크게 발전시키고 물리적으로 일관된 3D 장면의 생성을 지원함을 보여준다.

arXiv:2606.07117v1cs.CV

Native3D: 통합 메시-텍스처 모델링 및 의미론적 정렬을 통한 엔드투엔드 3D 장면 생성

Native3D: End-to-End 3D Scene Generation via Unified Mesh-Texture Modeling and Semantic Alignment

본 논문은 2D 중간 표현을 완전히 우회하는 최초의 엔드투엔드 3D 장면 생성 프레임워크인 Native3D를 제시한다. 기존 접근법은 일반적으로 사전학습된 확산 모델(diffusion model)을 활용하기 위해 3D 표현을 2D 도메인에 적응시켜야 하며, 이는 기하학적 구조 왜곡과 텍스처 세부 품질 저하를 포함한 도메인 적응 문제를 필연적으로 초래한다. 이러한 한계를 해결하기 위해, 우리는 트랜스포머 기반 장면 인코더를 통해 기하학적 구조와 텍스처 특징을 동시에 모델링하는 통합 메시-텍스처 결합 표현을 설계하여, 장면 내 객체들 간의 공간적 관계와 시각적 일관성을 효과적으로 유지한다. 나아가, 잠재 공간(latent space)에서 다단계 의미론적 표현을 정렬하기 위해 개선된 대조 학습(contrastive learning) 메커니즘을 적용하는 3D 표현 정렬 손실(3D REPA Loss)을 제안하여, 기하학적 및 텍스처 충실도를 크게 향상시킨다. 실험 결과, Native3D는 생성 품질과 편집 유연성 모두에서 기존 방법을 능가하며, 3D 장면 편집을 위한 새로운 해법을 제공함을 입증한다.