JanusMesh: 교차 공간 디노이징을 통한 빠르고 제로샷 3D 시각 착시 생성
JanusMesh: Fast and Zero-Shot 3D Visual Illusion Generation via Cross-Space Denoising
한국어 초록
다양한 시점에서 전혀 다른 의미를 드러내는 단일 3D 메시인 3D 시각 착시(visual illusion)를 만드는 것은 매혹적이지만 어려운 과제입니다. 기존의 최적화 기반 방법들은 느리고 과도하게 채도가 높은 색상을 생성할 수 있습니다. 대조적으로, 단순한 스티칭(stitching) 접근 방식은 기하학적으로 일관된 객체를 생성하는 데 실패합니다. 이로 인해 눈에 띄는 부자연스러운 솔기(seam)와 의미 누출(semantic leak)이 발생합니다. 본 논문에서는 텍스트 기반(text-driven) 3D 시각 착시를 생성하기 위한 빠르고 학습이 필요 없는(training-free) 프레임워크를 제안합니다. 우리의 접근 방식은 생성 과정을 두 단계로 분리(decouple)합니다. 첫째, 교차 공간 이중 분기(dual-branch) 디노이징 과정을 제안합니다. 이 과정은 CLIP 가이드 방향 정렬(orientation alignment) 및 부호화 거리 장(SDF) 블렌딩을 위해 3D 잠재(latent)를 복셀 공간으로 동적으로 디코딩하여, 매끄러운 기하학적 융합을 보장합니다. 둘째, 융합된 기하학 구조에 시점 특정 2D 디퓨전 사전(diffusion priors)을 투영하고 집계하는 뷰 조건부 텍스처 합성 모듈을 도입합니다. 광범위한 실험을 통해 우리의 방법이 단 3-5분 만에 매우 현실적이고 이중 의미(dual-semantic)를 가진 3D 착시를 생성함을 입증합니다. 이 방법은 기하학적 무결성, 의미 인식 가능성, 그리고 효율성 측면에서 기존 방법들을 크게 능가합니다. 프로젝트 페이지: https://siang1105.github.io/JanusMesh.github.io/
원문 초록
Creating 3D visual illusions, a single 3D mesh that reveals entirely different semantics from various viewing angles, is a fascinating but tough challenge. Existing optimization-based methods are slow and can produce oversaturated colors. In contrast, naive stitching approaches fail to produce geometrically coherent objects. This results in visible unnatural seams and semantic leaks. In this paper, we present a fast and training-free framework for generating text-driven 3D visual illusions. Our approach decouples the generation into two stages. First, we propose a cross-space dual-branch denoising process. This process dynamically decodes 3D latents into voxel space for CLIP-guided orientation alignment and Signed Distance Field (SDF) blending, which ensures seamless geometric fusion. Second, we introduce a view-conditioned texture synthesis module that projects and aggregates view-specific 2D diffusion priors onto the fused geometry. Extensive experiments demonstrate that our method generates highly realistic, dual-semantic 3D illusions in just 3-5 minutes. It significantly outperforms existing methods in geometric integrity, semantic recognizability, and efficiency. Project page: https://siang1105.github.io/JanusMesh.github.io/
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.20563v2제출 시각 미확인
- arXiv:2606.20563v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
원격 탐사 변화 탐지를 위한 시간 순서화된 영역 토큰 Mamba와 로짓 공간 확산 모델
Temporally Ordered Region-Token Mamba with Logit-Space Diffusion for Remote Sensing Change Detection
확산 모델의 생성 환경 밝히기: 스펙트럼 유도 품질-다양성 확산 프레임워크
Uncovering the Generative Landscape of Diffusion Models: A Spectral-Guided Quality-Diversity Diffusion Framework
디노이징 확산 확률 모델(Denoising Diffusion Probabilistic Models)은 분자 설계부터 고해상도 이미지 합성에 이르기까지 다양한 분야에서 강력한 생성 사전 확률(generative prior)로 부상했습니다. 그러나 표준 확산 샘플링은 본질적으로 높은 가능도(likelihood) 영역에 편향되어 있어 출력의 다양성을 제한하는 경우가 많습니다. 많은 분야에서 단일한 고가능도 샘플만으로는 충분하지 않으며, 고성능 솔루션의 다양한 포트폴리오가 요구되므로 모델의 완전한 표현 범위를 밝혀내는 방법이 필요합니다. 본 논문에서는 품질-다양성(Quality-Diversity, QD) 최적화와 확산 모델을 통합함으로써 다양하고 성능이 뛰어난 출력을 발견할 수 있음을 보여줍니다. 먼저, 모델의 잠재 노이즈와 조건부 임베딩(embedding)을 직접 최적화하고 임베딩 모델을 활용하여 다양성을 정량화함으로써 QD를 확산 모델에 적용하는 프레임워크인 품질-다양성 확산(Quality-Diversity Diffusion)을 제안합니다. 둘째로, 모델의 입력-활성화 야코비안(Jacobian)의 주 특이 벡터를 분석하여 최대 의미론적 민감도 방향으로 탐색을 유도하는 새로운 h-공간 스펙트럼 변이(Spectral Mutation) 연산자를 도입합니다. 텍스트-투-이미지 생성에서 통합 접근 방식인 스펙트럼 유도 품질-다양성 확산(Spectral-Guided Quality-Diversity Diffusion)을 평가한 결과, 12개의 베이스라인 대비 우리 방법이 일관되게 가장 낮은 FID 점수를 달성하여 이미지 품질과 다양성 사이의 뛰어난 균형을 입증했습니다.
주변분포에서 결합분포로 가는 티켓: 확산 언어 모델의 1단계 블록 생성을 위한 결합 노이즈 증류
A Ticket from Marginals to Joints: Coupled-Noise Distillation for One-Step Block Generation in Diffusion Language Models
확산 언어 모델(diffusion language model)은 단 한 번의 순전파(forward pass)로 일관된 토큰 블록을 생성할 수 있을까요? 마스크 기반 모델은 이미 모든 위치를 한 번에 예측하지만, 각 예측은 가시적 컨텍스트가 주어졌을 때의 주변분포(marginal distribution)이므로 토큰들이 상호 불일치할 수 있으며 후속 단계에서 이미 확정된 토큰을 수정하게 됩니다. 본 연구에서는 서로 다른 노이즈 샘플을 서로 다른 일관된 블록에 매핑하도록 처음부터 학습(train from scratch)된 CONDOR(Coupled-Noise Distillation for One-Step Readout)를 소개합니다. 초기에는 무작위 노이즈가 목표와 자연스럽게 짝지어지지 않습니다. 승자독식(Winner-take-all) 지도 방식을 통해 서로 다른 샘플이 전문화되도록 하며, 자체 증류(self-distillation)를 통해 1회 순전파 출력이 정제된 일관된 블록과 일치하도록 학습합니다. TinyStories 실험에서는 각각 한 번의 순전파만으로 연속적인 블록에 걸쳐 다양하고 일관된 이어 생성을 보여줍니다. 정성적 MNIST 실험을 통해서는 동일한 접근 방식이 텍스트-이미지 생성 및 무조건적 텍스트-이미지 생성과 같은 멀티모달 생성으로 확장될 수 있음을 보여줍니다.
소수 스텝 증류 텍스트-투-이미지 확산 모델에서 선호도 기반 언러닝 활성화
Enabling Preference-driven Unlearning in Few-step Distilled Text-to-Image Diffusion Models
텍스트-투-이미지 확산 모델(text-to-image diffusion models)은 빠른 추론(inference)을 지원하기 위해 소수 스텝 변형(few-step variants)으로 점차 증류되어 배포되고 있습니다. 그러나 유해하거나 원치 않는 콘텐츠를 생성할 수 있는 능력은 중대한 안전성 위험을 초래합니다. 데이터 기반 언러닝(unlearning) 기법은 특화된 언러닝 목적 함수를 사용하여 모델 가중치를 미세조정(fine-tuning)함으로써 특정 타깃 생성을 억제합니다. 결정적으로, 이러한 목적 함수들은 다단계 노이즈 제거 역학(multi-step denoising dynamics)에 암묵적으로 의존하는데, 소수 스텝 증류(FSD) 모델에서는 이러한 가정이 성립하지 않아 비효과적인 망각을 초래합니다. 더욱이 증류되지 않은 기본 모델에서 언러닝을 수행한 후 언러닝된 FSD 모델을 얻기 위해 재증류하는 방식은 상당한 계산 및 시간 오버헤드를 발생시켜 여러 환경에서 비실용적입니다. 따라서 본 논문은 확산 모델을 위한 직접 선호 최적화(DPO)를 재검토하는 선호도 기반 언러닝 프레임워크를 통해 이러한 한계를 해결합니다. 노이즈 예측 오차를 중심으로 공식화된 표준 DPO 및 그 언러닝 파생 기법들은 변화된 생성 역학으로 인해 FSD 모델로 제대로 전이되지 않음을 보입니다. 이를 극복하기 위해 소수 스텝 생성 특성에 명시적으로 정렬된 수정된 선호도 최적화 수식을 도입하여, 소수 스텝의 효율성을 보존하고 바람직한(비타깃) 능력을 강력하게 유지하면서 FSD 모델에서 직접적인 개념 제거를 가능하게 합니다. 본 연구의 프레임워크를 주로 신원 및 NSFW(누드) 제거 태스크에서 평가하며, 객체 수준의 언러닝으로도 방법을 확장합니다. 광범위한 실험을 통해 일관되고 효과적인 망각과 강력한 유지 성능을 입증함으로써, 본 기법이 FSD 모델의 언러닝을 위한 실용적이고 원칙적인 설루션임을 확립합니다.
문제가 보이는 곳이 해결하는 곳은 아니다: 확산 모델 구성에서의 디노이징 이전 진단과 모달리티 의존적 제어
Where to Look Is Not How to Fix: Pre-Denoising Diagnostics and Modality-Dependent Control in Diffusion Composition
텍스트-이미지 확산(diffusion) 모델에서 구성적 실패(compositional failure)를 이해하려면 스트레스가 감지되는 위치와 개입(intervention)이 출력을 어떻게 변화시키는지 모두 파악해야 합니다. 본 연구에서는 텍스트 인코더 진단과 디노이저 개입을 함께 평가하는 통제된 앵커-스트레스 프로토콜을 통해 이러한 질문들을 탐구합니다. 저자들은 SD1.5, SDXL 및 SD3 텍스트 경로 전반에서 흔한 구성과 희귀한 구성을 구분하고 업스트림 진단 좌표를 제공하는 텍스트 전용 구성 스트레스 지수(CSI, Compositional Stress Index)를 도입합니다. 매칭된 6개 프롬프트(prompt) 국소화 연구는 개입 위치를 서로 다른 결과와 연결합니다. 즉, 잔차 최소화 임베딩(embedding) 어댑터는 표현 적합도를 향상시키는 반면, 다운스트림 크로스 어텐션(cross-attention) 개입은 색상 적중률(CHR)을 0.0272 증가시킵니다. SD1.5와 SDXL 디노이저 블록 전반에서 가장 큰 양의 진단 접근성 평균은 딥 인코더에서 나타나는 반면, 선택적 부스트는 디코더 블록에서 가장 큰 양의 평균 CHR 반응을 보입니다. 선택적 차감 및 광범위한 어블레이션은 추가적인 모달리티 및 아키텍처 의존적 반응을 드러내며, 여기에는 SDXL 디코더 크로스 어텐션이 광범위하게 제거될 때 상당한 CHR 감소가 포함됩니다. 본 연구는 통제된 속성-객체 구성 설정에서 진단과 제어의 해리(dissociation)를 발견했습니다. 구성적 결함은 디노이징 이전에 진단할 수 있지만, 위험을 드러내는 표현 좌표가 생성을 개선하는 좌표나 모달리티와 반드시 일치하는 것은 아닙니다.
PixelDense: 픽셀 디퓨전을 위한 표현 정렬로서의 밀집 예측
PixelDense: Dense Prediction as Representation Alignment for Pixel Diffusion
표현 정렬(REPA, Representation alignment)은 디퓨전 트랜스포머 학습을 가속화하지만, 그 정렬 대상은 거의 전적으로 DINOv2나 CLIP과 같은 시맨틱 인코더에 한정되어 있다. 최근 분석에 따르면 정렬 효과를 매개하는 것은 전역적 시맨틱이 아니라 공간 구조(spatial structure)이지만, 그러한 구조를 예측하도록 학습된 밀집 예측(dense-prediction) 파운데이션 모델은 REPA 대상으로서 여전히 간과되고 있다. 픽셀 공간 디퓨전에서 SAM2, Depth Anything v2, Metric3D v2는 각각 DINOv2만을 사용한 GenEval 기준선을 능가하며, 두 기하학적(geometric) 교사 모델이 분할(segmentation) 교사 모델을 앞선다. 그러나 네 교사 모델을 단순히 합산하면 시맨틱 그래디언트와 기하학적 그래디언트가 하나의 디노이저 프로젝션을 두고 경쟁하게 되어, 최고의 단일 기하학적 교사 모델보다 낮은 성능을 보인다. 우리는 DINOv2와 SAM2를 시맨틱 프로젝션 스트림으로, Depth Anything v2와 Metric3D v2를 기하학적 프로젝션 스트림으로 각각 라우팅하고, 두 스트림을 서로 겹치지 않는(disjoint) 부분공간에 유지하는 가중치 공간 직교성(orthogonality) 페널티를 추가한 PixelDense를 제안한다. 네 교사 모델은 모두 학습 중에는 고정(frozen)되고 추론 시에는 제거된다. 단일 레시피로 PixelGen과 DeCo에 적용한 결과, PixelDense는 GenEval, DPG-Bench, HPS v2.1을 향상시키고, PixelGen-XXL의 GenEval Overall을 0.7927에서 0.8093으로 끌어올리며, 모든 단일 교사 모델 변형과 비분리형(unfactored) 다중 교사 모델 변형을 능가한다. 부분 노이즈(partial-noise) 복원 실험에서, 독립적인 panoptic, depth, surface-normal 프로브는 COCO와 Flickr30K 전반에 걸쳐 τ=0.5에서 최대 53.1%의 PQ 향상과 36.0%의 depth AbsRel 감소를 보인다. 무작위 초기화(random initialization)에서 시작했을 때도 PixelDense는 기준선의 최고 GenEval 성능에 1.23배 더 빠르게 도달한다. PIE-Bench에서의 SDEdit 편집 실험에서, PixelDense는 모든 편집 강도에서 원본의 배경과 레이아웃을 더 많이 유지하며, 배경 PSNR을 최대 2.2 dB까지 향상시킨다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.