arXiv:2501.16164

MetaDecorator: Generating Immersive Virtual Tours through Multimodality

Shuang Xie, Yang Liu, Jeannie S. A. Lee, Haiwei Dong

제출 2025-01-27

원문 초록

MetaDecorator, is a framework that empowers users to personalize virtual spaces. By leveraging text-driven prompts and image synthesis techniques, MetaDecorator adorns static panoramas captured by 360{\deg} imaging devices, transforming them into uniquely styled and visually appealing environments. This significantly enhances the realism and engagement of virtual tours compared to traditional offerings. Beyond the core framework, we also discuss the integration of Large Language Models (LLMs) and haptics in the VR application to provide a more immersive experience.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.04311v3cs.CV공통 태그 Image Generation

Aura: VLM 기반 의미 정렬을 통한 일관된 다중 주체 비디오 생성

Aura: Consistent Multi-Subject Video Generation via VLM-Grounded Semantic Alignment

주체 중심 및 다중 요소 비디오 생성은 제어 가능한 비디오 합성의 핵심이지만, 기존 방법들은 아이덴티티 일관성을 유지하고 여러 주체 간의 복잡한 관계를 모델링하는 데 여전히 어려움을 겪고 있다. 본 논문에서는 고충실도(high-fidelity) 및 아이덴티티 일관성 비디오 생성을 위한 통합 프레임워크인 Aura를 제안한다. 장면 역학(scene dynamics)과 주체 간 상호작용을 더 잘 포착하기 위해, 비디오 콘텐츠에 대한 밀도 있고 구조화된 설명을 제공하는 AI 디렉터 수준의 캡션을 도입한다. 또한 학습 가능한 쿼리를 갖춘 비전-언어 모델(VLM)을 활용하여 텍스트 및 시각적 참조에서 전역 의미론과 세밀한 시각적 단서를 모두 포함하는 멀티모달 의미론적 특징을 추출한다. VLM과 디퓨전 트랜스포머(DiT) 간의 표현 격차를 해소하기 위해, VLM 특징을 DiT 특징 공간으로 점진적으로 매핑하는 2단계 정렬 전략을 설계한다. 시각적 컨디셔닝을 위해 토큰 연결(token concatenation)을 채택하여 참조 정보를 생성 과정에 직접 주입한다. 이종 주체 유형을 구별하고 일반적인 복사-붙여넣기 아티팩트를 줄이기 위해 주체 인식 RoPE-Shift 메커니즘을 개발한다. 서로 다른 카테고리의 참조 이미지를 추가로 구별하기 위해 주체 인식 학습 가능 토큰을 도입한다. 또한 다양한 수의 참조 주체를 가진 예시들 간의 학습 신호를 균형 있게 조정하기 위해 Memory 토큰을 도입한다. 추론 시, Progressive-APG(적응형 프롬프트 가이던스)가 과포화를 추가로 완화하고 사용자 프롬프트와의 의미론적 정렬을 향상시킨다. 마지막으로 전용 데이터 구축 파이프라인을 통해 고품질 비디오-주체 이미지 데이터셋을 구축한다. 광범위한 실험을 통해 본 방법이 단일 주체 생성과 더 어려운 다중 요소 시나리오 모두에서 최첨단(state-of-the-art) 성능을 달성함을 보인다.

arXiv:2607.03875v2cs.CV공통 태그 Image Generation

MACRO: 클로즈업 렌더 최적화를 위한 학습 불필요 다중 평면 어텐션

MACRO: Training-free Multi-plane Attention for Closeup Render Optimization

학습 카메라보다 훨씬 가까이 장면을 확대하는 클로즈업 렌더링은 가상 제작과 인터랙티브 3D 콘텐츠에 중요하지만, 여전히 해결되지 않은 난제로 남아 있다. 3D Gaussian splatting(3DGS)은 고충실도 실시간 신규 시점 합성(novel view synthesis)을 가능하게 하지만, 근거리에서는 렌더링 품질이 저하된다. 학습 세트의 참조 이미지를 조건으로 렌더링을 향상시키는 최근 확산(diffusion) 기반 방법들은 이 설정에서 심각한 아티팩트를 생성한다. 우리는 이 실패를 분석하여 근본 원인을 규명한다: 클로즈업 뷰와 참조 뷰 간의 스케일 차이이다. 우리는 참조 조건부 향상 모델의 특징이 스케일 불변(scale-invariant)이 아님을 보이며, 이로 인해 동일한 내용이 서로 다른 스케일로 나타날 때 교차 뷰 어텐션(cross-view attention)이 잘못된 대응 관계를 검색하고, VAE 인코더가 스케일 등변(scale-equivariant)이 아니기 때문에 이 불일치를 잠재 공간에서 수정할 수 없음을 보인다. 이 분석을 바탕으로 우리는 MACRO(Multi-plane Attention for Closeup Render Optimization)를 소개한다. 이는 3DGS 기반의 고품질 클로즈업 신규 시점 합성을 위한 학습 불필요 방법이다. MACRO는 장면의 알려진 3D 구조를 활용하여 스케일 차이를 해소한다: 클로즈업을 깊이 평면으로 분해하고, 인코딩 전에 각 평면의 스케일에 맞게 이미지 공간에서 참조 이미지를 크롭하고 크기를 조정하며, 깊이 인식 어텐션 마스크를 적용하여 각 토큰이 스케일 일치 참조에만 어텐션하도록 한다. 이 방법은 아키텍처 변경이나 추가 학습을 필요로 하지 않는다. 우리는 또한 두 가지 새로운 클로즈업 신규 시점 합성 벤치마크와 이 설정에 대한 최초의 표준화된 평가 프로토콜을 기여하며, 두 벤치마크 모두에서 최신(state-of-the-art) 결과를 달성하여 재구성 및 지각적 메트릭 모두에서 기존 3DGS 및 확산 기반 방법들을 능가함을 보인다. 프로젝트 페이지: https://nitzanhod.github.io/MACRO

arXiv:2607.10301v1cs.CV공통 태그 Image Generation

ChartSync: 시각-논리적 연쇄 차트 편집을 위한 벤치마크

ChartSync: A Benchmark for Visuo-Logical Cascading Chart Editing

생성형 이미지 편집 모델은 데이터 수정이 기하학적 동기화를 필요로 하는 구조화된 통계 차트를 처리하는 데 어려움을 겪는다. 우리는 이 과제를 시각-논리적 연쇄 편집(Visuo-Logical Cascading Editing, VLCE)으로 공식화한다. 그러나 기존 방법들은 국소적인 텍스트 대체에 국한되며 의존성을 인식하는 연쇄 업데이트에 어려움을 보인다. 이 능력을 체계적으로 평가하기 위해, 우리는 ChartSync를 소개한다. ChartSync는 정답에 대한 결정론적 시각-논리적 결합을 보장하는 프로그래밍 방식의 렌더링 파이프라인을 통해 구성된 전문가 검증 벤치마크이다. ChartSync는 9개 차트 범주와 4가지 과제 유형에 걸친 870개의 트리플렛으로 구성되며, 연쇄적인 텍스트-기하학 동기화를 특정적으로 테스트하는 235개의 기하학적으로 결합된 VLCE 인스턴스를 포함한다. 우리는 이 인스턴스들을 객관적 시각 지표와 비전-언어 모델 판사 패러다임을 결합한 이중 계층 프레임워크를 통해 평가함으로써, 저수준 충실도와 멀티모달 이해 및 추론을 함께 측정한다. 14개의 이미지 편집 모델과 하나의 코드 매개 파이프라인을 평가한 결과, 미묘한 능력 격차가 드러났다. 대부분의 오픈소스 모델은 기하학적 동기화에서 심각한 성능 저하를 보이는 반면, 두 개의 최전선 독점 모델만이 VLCE 능력의 창발적 징후를 나타냈으며, 이들의 잔여 오류는 주로 의미론적 고립과 배경 손상을 수반한다. 우리의 상세한 오류 분석은 이러한 실패 패러다임을 분해하여 미래 멀티모달 아키텍처를 안내할 핵심 메타 능력을 식별한다. ChartSync 데이터셋과 코드는 https://github.com/kaka-yjk/ChartSyncCodebase에서 공개적으로 배포된다.

arXiv:2609.14856v3cs.CV공통 태그 Image Generation

RAIN: 시맨틱 워터마크 추출을 위한 영역 인식 역전 네트워크

RAIN: Region-Aware Inversion Network for Semantic Watermark Extraction

확산 모델을 위한 시맨틱 워터마크는 시각적 품질을 보존하면서 생성 과정에 소유권 정보를 삽입하지만, 전통적으로 Gaussian-Shading 추출은 초기 노이즈를 복구하기 위해 다단계 확산 역전(multi-step diffusion inversion)을 필요로 합니다. 최근의 1단계(one-step) 방식들은 이러한 비용을 크게 줄일 수 있음을 보여줍니다. 본 연구에서는 확장된 플로우 매칭(extended flow matching)과 조건부 회귀(conditional regression)를 통해 이 문제를 다룹니다. 핵심 관찰은 높은 신호 대 잡음비(high-SNR) 이미지 종점 근처에서 고 SNR 영역의 확장된 플로우 매칭 첫 단계 출력으로 주어지는 유용한 노이즈 통계량을 복구하는 것이 전체 역전 궤적(inverse trajectory)을 재구성하는 것보다 훨씬 단순하며, Gaussian Shading은 복구된 잠재 변수(latent)가 올바른 워터마크 결정 영역 내에 유지되기만 하면 된다는 점입니다. 이러한 관찰을 바탕으로, 종점 복구를 이미지와 유사한 앵커와 노이즈 지향적 잔차로 분해하여 GPU 병렬 연산 활용 능력을 향상시키는 경량 프롬프트-프리 추출기를 제안합니다. 이를 통해 얻어진 방법은 반복적인 역전과 확산 규모 U-Net의 반복 평가(evaluation)를 피함으로써, 간결한 이론적 해석을 갖춘 효율적인 1단계 추출 파이프라인을 제공합니다. 노이즈 추출의 연산 비용은 OSI와 FARI 모두보다 낮습니다. GitHub 저장소는 https://github.com/TheLovesOfLadyPurple/RAIN-lightweight-NN-for-one-step-semantic-watermark-extraction 에서 확인할 수 있습니다.

arXiv:2607.11886v2cs.CV공통 태그 Image Generation

Read It Back: 사전학습된 MLLM은 텍스트-이미지 생성을 위한 제로샷 보상 모델이다

Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation

본 논문에서 우리는 SpectraReward를 제안한다. SpectraReward는 사전학습된 다중모달 대규모 언어 모델(MLLM)을 이미지 생성 강화학습을 위한 즉시 사용 가능한 보상 모델로 전환하는 추가 학습이 불필요한 보상 함수이다. SpectraReward는 MLLM에게 생성된 이미지를 판단하거나 분해된 검증 질문에 답하도록 요청하는 대신, 단일 이미지 조건부 교사 강제(teacher-forced) 순전파를 통해 원본 프롬프트가 생성된 이미지로부터 얼마나 잘 복원될 수 있는지를 측정한다. 이미지 조건부 프롬프트 로그-가능도의 평균을 보상으로 사용함으로써, 선호도 레이블이나 보상 모델 미세조정 없이 MLLM의 사전학습된 이미지-텍스트 정렬 능력을 직접 재활용한다. 나아가 우리는 Self-SpectraReward를 소개한다. Self-SpectraReward는 통합 다중모달 모델을 위한 특수 사례로, 정책 자체의 이해 브랜치가 생성 브랜치를 위한 보상 모델로 기능하여 외부 보상 모델이나 외부 지식 없이 폐쇄 루프 자기 개선 프레임워크를 형성한다. 광범위한 실험을 통해 SpectraReward를 검증하였으며, 이 연구는 두 가지 확산 모델, 세 가지 강화학습 알고리즘, 4B에서 235B 파라미터에 걸친 네 가지 MLLM 계열의 아홉 가지 보상 MLLM 백본, 다섯 가지 분포 외(out-of-distribution) 텍스트-이미지 벤치마크를 포괄한다. 실험 결과, SpectraReward와 Self-SpectraReward 모두 생성 성능을 유의미하고 일관되게 향상시키며 기존 MLLM 기반 보상 학습 방법을 능가하였다. 추가 분석에 따르면 더 큰 보상 MLLM이 항상 더 우수한 것은 아니며, Self-SpectraReward는 훨씬 더 큰 외부 보상 모델과 동등하거나 이를 능가할 수 있어, 보상-정책 정렬(reward-policy alignment)이 효과적인 이미지 생성 강화학습의 핵심 요인임을 시사한다. 프로젝트 페이지: https://huangrh99.github.io/SpectraReward/

arXiv:2607.08227v2cs.CV공통 태그 Image Generation

StatLUT: 사실적 스타일 전이를 위한 통계적 특징 기반 멀티모달 3DLUT 생성

StatLUT: Statistical Feature-Driven Multimodal 3DLUT Generation for Photorealistic Style Transfer

사실적 스타일 전이(PST)는 콘텐츠 이미지의 구조적 무결성을 엄격히 보존하면서 참조 이미지의 색상 및 톤 스타일을 전이하는 것을 목표로 한다. 그러나 기존 딥러닝 기반 방법은 사전학습된 이미지 인코더로 인한 의미적 얽힘을 본질적으로 겪어 부자연스러운 공간 왜곡을 초래한다. 또한 현재의 픽셀 수준 매핑 방식은 색 영역 위상을 무시하는 경우가 많아 색 띠 현상이 발생하며, 정밀한 톤별 텍스트 기반 제어를 위한 멀티모달 능력도 부족하다. 이러한 병목을 해결하기 위해 3D LUT 생성을 위한 혁신적인 멀티모달 프레임워크 StatLUT를 제안한다. 첫째, 기존 인코더를 우회하고 Lab-Extractor를 도입하여 공간에 무관한 통계적 특징을 추출함으로써 색상 분포를 구조적 의미로부터 근본적으로 분리하고 아티팩트 없는 렌더링을 보장한다. 둘째, LUT 생성을 Transformer 기반 Seq2Seq 변환 과제로 정식화하고, 다차원 잔차 매퍼(MR-Mapper)를 활용하여 위상적으로 매끄러운 3D LUT를 예측한다. 마지막으로 단일 모달의 장벽을 넘기 위해, 톤을 기술하는 텍스트 프롬프트로부터 통계적 특징을 직접 합성하는 경량 확산 트랜스포머인 H-Diffuser를 제안하여 제어 가능하고 강건한 색 보정을 가능하게 한다. 표준 벤치마크에서의 광범위한 실험은 StatLUT가 시각적 품질과 정량적 지표 모두에서 최신 방법을 크게 능가함을 보이며, 멀티모달 사실적 스타일 전이를 위한 매우 강건하고 다재다능한 패러다임을 개척한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.