PyTorchKR Papers

최신 논문

총 226편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.26507v1cs.HC

DanceDuo: 인간 동작과 AI 안무를 연결하다

DanceDuo: Bridging Human Movement and AI Choreography

확산 모델(DanceFusion) 기반 플랫폼 DanceDuo는 다양한 음악 장르에 맞춘 AI 안무 무용 시퀀스를 생성하고, 사용자가 음악·휴머노이드 모델을 선택하거나 개인 댄스 영상을 불러와 ROMP 기반 자세 추정으로 AI 동작과 비교할 수 있게 한다. 사용자 연구에서는 인터페이스가 직관적이었고 특히 무용 비교 기능이 몰입감과 연습 동기를 높인다는 평가를 받았다.

arXiv:2508.17434v3cs.CV

TinySR: 실세계 이미지 초해상도를 위한 확산 모델 가지치기

TinySR: Pruning Diffusion for Real-World Image Super-Resolution

실세계 이미지 초해상도(Real-ISR)를 위한 확산 모델의 높은 계산 비용 문제를 해결하기 위해, Dynamic Inter-block Activation과 Expansion-Corrosion Strategy 기반의 깊이 가지치기(depth pruning), 경량 VAE 압축, 조건 모듈 제거 등을 결합한 소형 확산 모델 TinySR을 제안한다. TinySR은 교사 모델 TSD-SR 대비 최대 5.68배 속도 향상과 83% 파라미터 감소를 달성하면서도 RealSR 벤치마크에서 경쟁력 있는 지각적 품질을 유지한다.

arXiv:2603.22962v3cs.LG

랜덤 특징 스코어와 매니폴드 데이터를 갖는 확산 모델의 점근적 학습 곡선

Asymptotic Learning Curves for Diffusion Models with Random Features Score and Manifold Data

우리는 데이터 분포가 저차원 매니폴드(manifold) 위에 지지되고 스코어(score)가 랜덤 특징 신경망(random feature neural network)으로 매개변수화될 때, 확산 모델(diffusion model)의 학습 과제인 노이즈 제거 스코어 매칭(denoising score matching)의 이론적 동작을 연구한다. 우리는 고차원 극한에서 테스트 오차, 훈련 오차, 스코어 오차에 대한 점근적으로 정확한 표현식을 유도한다. 분석 결과, 선형 매니폴드의 경우 스코어 함수를 학습하는 데 필요한 샘플 복잡도(sample complexity)가 주변 차원(ambient dimension)이 아닌 매니폴드의 내재적 차원(intrinsic dimension)에 선형적으로 비례하여 증가함을 밝힌다. 다소 놀랍게도, 비선형 매니폴드에서는 저차원 구조의 이점이 감소하기 시작한다. 이러한 결과는 확산 모델이 구조화된 데이터로부터 이점을 얻을 수 있음을 나타내지만, 구조의 구체적인 유형에 대한 의존성은 미묘하고 복잡하다.

arXiv:2606.24982v1cs.LG

Latent Block-Diffusion Temporal Point Processes: A Semi-Autoregressive Framework for Asynchronous Event Sequence Generation

비동기 이벤트 시퀀스 생성에서 자기회귀(autoregressive) 방식의 오류 누적 문제와 비자기회귀 확산 모델의 고정 길이 출력 한계를 동시에 해결하기 위해, 잠재 공간에서 블록 단위로 가우시안 확산을 수행하는 반자기회귀(semi-autoregressive) 프레임워크인 LBDTPP를 제안한다. 6개의 실세계 벤치마크 데이터셋에서 비조건부·조건부 생성 작업 모두 최신 TPP 기준 모델들을 능가하며, Wasserstein 오류 경계 이론을 통해 블록 단위 생성이 이벤트 단위 자기회귀 대비 오류 누적을 줄임을 이론적으로 입증하였다.

arXiv:2502.02205v4cs.LG공식 코드 · Papers with Code

From Uncertain to Safe: Conformal Adaptation of Diffusion Models for Safe PDE Control

SafeDiffCon은 컨포멀 예측(conformal prediction)으로 추정한 불확실성 분위(uncertainty quantile)를 확산 모델(diffusion model)의 사후학습(post-training)과 추론(inference) 단계에 반영해, 편미분방정식(PDE) 제약 제어에서 안전 제약을 만족하는 제어 시퀀스를 생성하는 방법이다. 1D Burgers 방정식, 2D 비압축 유체, 핵융합 제어 과제에서 기존 고전·딥러닝 기준선이 안전 제약을 위반하는 반면 SafeDiffCon만 모든 안전 제약을 충족하면서 최고의 제어 성능을 달성했다.

arXiv:2606.25040v1cs.CV

Chorus II: 효율적인 이미지-투-비디오 생성을 위한 요청 간 희소성 재사용

Chorus II: Cross-Request Sparsity Reuse for Efficient Image-to-Video Generation

이미지-투-비디오(I2V) 생성을 위한 확산 모델 서빙은 계산 비용이 높아 대규모 배포에 상당한 도전을 제기한다. 실제 I2V 워크로드는 반복되는 효과 템플릿, 연관된 피사체, 반복되는 샷 레이아웃 등 유사한 요청을 자주 포함한다. 기존 요청 간 가속 방법은 주로 특징(feature) 재사용을 통해 이러한 중복성을 활용한다. 우리는 유사한 I2V 요청이 매우 일관된 희소(sparse) 어텐션(attention) 패턴을 공유한다는 점을 관찰하였으며, 이를 통해 과거의 희소 마스크를 온라인 마스크 예측 오버헤드 없이 요청 조건부 사전(prior)으로 활용할 수 있음을 발견하였다. 우리는 희소성(sparsity) 재사용을 핵심으로 하고, 경량화된 가이던스 강화(guidance enhancement)로 보호되는 선택적 특징 재사용을 확장으로 포함하는 요청 간 재사용 프레임워크를 제안한다. 희소성 재사용은 공유 희소 마스크 재사용으로 구현되며, 유사한 과거 요청에서 얻은 고품질 희소 마스크를 재사용하여 요청별 온라인 마스크 예측을 회피한다. 선택적 특징 재사용은 시공간적으로 높은 중복성을 가진 영역에 다운샘플링 연산을 적용하여, 효율성 향상을 유지하면서 경계 아티팩트를 완화한다. 가이던스 강화는 재사용 후 이미지/텍스트 조건화를 강화하여 의미적 드리프트 및 조건 준수 문제를 완화한다. 실험 결과, 기본 희소성 재사용 구성으로 생성 품질을 유지하면서 2.16배의 속도 향상을 달성하였다.

arXiv:2509.17773v3cs.CV

LoT-Pass: Long-term-robust Image Watermarking for Image to Video Generation

The rapid progress of image-guided video generation (I2V) has raised concerns about its potential misuse in misinformation and fraud, underscoring the urgent need for effective digital watermarking. While existing watermarking methods demonstrate robustness within a single modality, they fail to trace source images in I2V settings. To address this gap, we introduce the concept of Robust Diffusion Distance, which measures the temporal persistence of watermark signals in generated videos. Building on this, we propose I2VWM, a cross-modal watermarking framework designed to enhance watermark robustness across time. I2VWM leverages a video-simulation noise layer during training and employs an optical-flow-based alignment module during inference. Experiments on both open-source and commercial I2V models demonstrate that I2VWM significantly improves robustness while maintaining imperceptibility, establishing a new paradigm for cross-modal watermarking in the era of generative video. \href{https://github.com/MrCrims/I2VWM-Robust-Watermarking-for-Image-to-Video-Generation}{Code Released.}

arXiv:2606.24844v1cs.CV

Bridging the Manifold Gap: Riemannian Residual Line Search for One-Step Image Editing

One-step diffusion editors are fast because they avoid inversion and iterative optimization, but a single transport update must be aggressive enough to realize the target prompt and conservative enough to preserve the source image--and no fixed update strength satisfies both demands across edit types. We treat this tension as a post-hoc candidate-selection problem on top of energy-field transport rather than as a new editing model. Our proposed method, Riemannian Residual Line Search, first builds a stronger edit by estimating the local time curvature of the prompt-delta field and projecting the corrected direction back onto the update norm of the original first-order energy-field transport estimation. It then forms a small residual path from the source image to this strong edit, retains the original first-order output as one candidate, and picks the final image by maximizing target-prompt CLIP alignment. On a 700-sample PIE-Bench++ evaluation across 10 edit type IDs, our method achieves state-of-the-art (SOTA) performance among current one-step update algorithms.

arXiv:2606.24180v1cs.CV

3D 의료 장면 완성을 위한 심층 학습 접근법: 기하학적 모델링부터 생성 패러다임까지

Deep Learning Approaches for 3D Medical Scene Completion: From Geometric Modeling to Generative Paradigms

3차원 장면 완성(3D scene completion)은 컴퓨터 비전과 로보틱스에서 주요 문제로 발전해 왔으며, 자율 주행 및 증강 현실을 포함한 다양한 분야에 응용되고 있다. 본 연구에서는 2016년부터 2026년까지 최근 10년간의 연구 성과를 체계적으로 정리하는 문헌 조사를 수행하였으며, 이 기간 동안 해당 분야는 SSCNet으로 대표되는 복셀(voxel) 의미론적 완성 패러다임에서 Gaussian splatting 기법을 활용한 실시간 렌더링과 생성적 확산(diffusion) 사전 지식을 결합한 최신 패러다임으로 혁신적으로 변화하였다. 본 연구에서는 복셀 그리드, 포인트 학습, 암묵적 신경장(implicit neural fields), 트랜스포머 네트워크, 확산 네트워크, 그리고 렌더링 인식 3D 가우시안 프리미티브 기반의 최신 패러다임에 이르기까지 표현 패러다임의 발전 과정을 논의하였다. 지난 10년간의 연구 성과에 대한 포괄적인 분석을 수행하고, 해당 분야의 기여를 명확히 파악할 수 있는 분류 체계(taxonomy)를 개발하였다. 또한 해당 분야의 연구 성과와 함께 여전히 해결이 필요한 과제들을 논의하였다. 마지막으로, 차세대 시스템 개발에 있어 나아가야 할 방향을 명확히 제시하는 연구 아젠다를 제안하였다.

arXiv:2606.20189v3cs.CV

HilDA: 자기 지도 라이다 사전학습 고도화를 위한 확산 기반 계층적 지식 증류

HilDA: Hierarchical Distillation with Diffusion for Advancing Self-Supervised LiDAR Pre-training

비전 파운데이션 모델(VFMs)을 활용한 카메라-라이다 지식 증류(knowledge distillation)는 실제 자율 주행(AD) 환경의 광범위한 기하학적 및 운동학적 다양성을 표현하는 데 필요한 레이블링된 데이터 부족 문제에 대한 유망한 해결책을 제공합니다. 그러나 기존 접근 방식은 일반적으로 VFMs를 블랙박스 교사로 간주하여 프레임 단위 특징(feature) 유사성에만 의존합니다. 결과적으로, 교사 모델의 층별 의미론적 구조와 전역 컨텍스트(global context), 그리고 라이다 시퀀스에 내재된 풍부한 시공간 정보를 완전히 활용하지 못합니다. 본 논문에서는 주행 작업에 필요한 의미론적 '무엇(what)'과 기하학적 '어디(where)'를 더 잘 포착하는 라이다 백본을 위한 자기 지도 사전학습 프레임워크인 HilDA를 제안합니다. HilDA는 점진적 의미론적 정렬을 위한 다층 지식 증류와 장면 수준 의미론을 위한 전역 컨텍스트 지식 증류로 구성된 계층적 지식 증류와, 시공간 일관성을 강화하는 시간적 점유율 확산(diffusion) 목적 함수를 결합합니다. HilDA로 사전학습된 모델은 교차 모달 지식 증류 벤치마크에서 최첨단(SOTA) 결과를 달성했으며, 3D 객체 검출(object detection), 장면 흐름(scene flow), 의미론적 점유율 예측 작업에서 기존 지식 증류 접근 방식으로 훈련된 모델들을 능가했습니다. 코드는 https://maxiuw.github.io/hilda 에서 확인할 수 있습니다.

arXiv:2606.24369v1cs.AI

Accelerating Disaggregated RL for Visual Generative LLMs with Diffusion-Based Parallelism and Trainer-Assisted Generation

Reinforcement learning (RL) has become a dominant post-training paradigm, driving the emergence of high-performance RL systems such as veRL for autoregressive large language models (LLMs). In parallel, diffusion-oriented RL algorithms, e.g., DanceGRPO and FlowGRPO, have rapidly expanded the scope of RL from language reasoning to diffusion-based visual and flow-based generation. However, efficient RL systems for diffusion generative LLMs remain underexplored. Existing implementations, e.g., veRL-Omni, still rely on colocated execution, which simplifies synchronization but couples rollout and training resources, limits heterogeneous deployment, and constrains independent scaling. To this end, we introduce DigenRL, a disaggregated RL framework for diffusion-based generative LLMs that supports flexible resource allocation, accommodates heterogeneous GPUs, and facilitates efficient task scheduling. To maximally reduce the execution bubbles in the disaggregated architecture, we propose: 1) a generation-axis pipeline (GAP) and time-step parallelism (TSP) in the diffusion architecture to enable finer-grained pipelining between rollout and training; 2) an elastic trainer-assisted generation (TAG) approach to enable the trainer GPU resources to dynamically assist in executing rollout generations; and 3) a tightly one-step constrained asynchronous strategy to further utilize the tail bubble in the pipeline. Extensive experiments are conducted on three hardware testbeds with 16-32 GPUs using HunyuanVideo-13B, Wan2.1-14B, FLUX.1-12B, and QwenImage-20B generative models. Experimental results show that DigenRL achieves 1.56-2.10x throughput improvements over state-of-the-art diffusion RL systems, veRL-Omni and GenRL.

arXiv:2606.24157v1cs.AI

The Geometry Behind Diffusion and Flow Matching: Gradient Flows and Geodesics in Wasserstein Space

The space $\mathcal{P}_2(\mathbb{R}^d$) of probability measures with finite second moment carries a natural geometry: the quadratic Wasserstein distance W_2 makes it a complete metric space and, following Otto, a (formal) Riemannian manifold whose geodesics are the optimal-transport interpolations. On this manifold, the gradient flow of the free energy F(rho) = KL(rho || π) is exactly the Fokker-Planck equation, and its implicit-Euler discretization is the JKO scheme. This is the geometry underlying diffusion models: the forward process descends the free energy, and each denoising step realizes one JKO step, which recovers DDPM, DDIM, NCSN/SMLD, and Energy Matching; this is one scheme, not separate theories. The same manifold supports a second variational principle. Its geodesics - the minimum-action curves of the Benamou-Brenier formula - are precisely the optimal-transport paths that Flow Matching learns. Fixing both endpoints and following the geodesic, generation becomes a deterministic ODE along a straight line, hence far fewer sampling steps. Placing both families of models on one manifold makes their relationship exact: diffusion follows a free-energy gradient flow, an initial-value problem; optimal-transport Flow Matching follows a Wasserstein geodesic, a boundary-value problem. The two reach the same endpoints along different paths.

arXiv:2606.23712v1eess.SP

Audio-visual Contrastive Alignment for Diffusion-based Visual-conditioned Speech Enhancement

Audio-visual speech enhancement (AVSE) exploits visual cues such as lip movements to recover speech in noisy environments. Recent work introduced diffusion-based unsupervised AVSE, where a speech diffusion model conditioned on visual features via cross-attention is trained and used as a data-driven prior for posterior sampling-based speech enhancement. Despite promising performance over its audio-only counterpart, the impact of explicitly enforcing cross-modal alignment in the fusion remains unclear. In this work, we propose to augment the diffusion training objective with a contrastive audio-visual loss to encourage stronger use of visual information while keeping the posterior sampling framework unchanged. Experiments across matched and mismatched test data show consistent improvements in interference suppression, signal reconstruction, and perceptual quality, with the largest gains at low SNRs. Code is available at https://github.com/ cexauce/AV-CA-DiffUSE

arXiv:2606.23690v1cs.SE

Beyond the Autoregressive Horizon: A Comprehensive Survey of Diffusion Models, World Modelling, and State Space Models for Code

Autoregressive (AR) language models have driven significant progress in automated software engineering, enabling powerful code generation and assistance systems. However, the next-token prediction paradigm introduces structural limitations for code reasoning, including restricted global planning, challenges in maintaining long-range dependencies, and limited grounding in program execution semantics. Noting the heavy skewness of existing literature towards AR models, we discuss emerging paradigms that could potentially overcome the logic and scaling bottlenecks of next-token prediction by unlocking next-generation architectural capabilities for code intelligence. Specifically, we discuss the potential of Diffusion Models, which generate code via holistic denoising that captures long-range syntactic constraints often missed by AR models. We also discuss Code World Models (CWMs), which simulate execution states to support reasoning, and State Space Models (SSMs), which provide linear-time efficiency for massive contexts. By connecting these developments with findings from cognitive neuroscience, we outline directions for developing "System 2" code generation agents.

arXiv:2606.23627v1stat.ML

유연한 계수 선택 하에서 확산 모델의 저차원 구조 적응

Diffusion Models Adapt to Low-Dimensional Structure Under Flexible Coefficient Choices

저차원 데이터 구조에 대한 확산 모델의 적응이 갱신 계수 선택에 민감한지에 대한 문제에 대해, 넓은 갱신 계수 클래스에서도 내재 차원 k에 비례하는 $\widetilde{O}(k/\varepsilon)$ 반복만으로 주변 차원과 무관하게 전체 변형(TV) 거리 기준 $\varepsilon$-정확 샘플을 생성할 수 있음을 이론적으로 보인다. DDPM, 개선 DDPM, Analytic-DPM 등 실무에서 쓰이는 샘플러에도 적용되며, 구조화된 고차원 데이터에서 서로 다른 계수 선택에도 샘pling이 견고하게 작동하는 경험적 관찰을 뒷받침한다.

arXiv:2606.22239v1stat.ML

다양한 샘플링을 위한 분산 기울어짐 확산 모델

Variance-Tilted Diffusion Models for Diverse Sampling

다양한 후보 생성이 필요한 상황에서도 확산 모델은 보통 독립 샘플링을 하므로, 지정된 선형 특징 맵에서 경험적 분산이 큰 샘플 배치를 선호하는 분산 가중 배치 분포를 먼저 정의하고 이를 독립 확산 역학의 Doob h-변환으로 정확히 샘플링한다. 유도된 보정은 사후 디노이징 평균을 밀어내는 상호작용 항과 특징 분산이 높은 영역으로 입자를 이동시키는 곡률 항으로 구성되어, 휴리스틱 반발 드리프트가 아닌 명시적 확률 목표를 갖는 상호작용 입자 샘플러를 제공한다.

arXiv:2606.22806v1cs.CV

Policy-as-Data: 시뮬레이션 물리로부터 일반화 가능한 HOI 확산 모델 학습

Policy-as-Data: Learning Generalizable HOI Diffusion Models from Simulated Physics

현실적인 인간-물체 상호작용(HOI) 합성은 체화된 아바타와 기능적인 가상 환경을 만드는 데 핵심적이다. 그러나 현재 데이터 기반 접근법은 주로 모션 캡처(motion capture) 데이터셋에 의존하며, 이는 확장에 비용이 크고 기능적 다양성이 제한적이다. 이러한 데이터셋으로 학습된 모델은 보이지 않은 객체에 일반화하지 못하고 긴 시간 구간(long horizon)에 걸쳐 물리적 일관성을 유지하지 못한다. 본 논문에서는 HOI 생성의 데이터 부족 병목을 극복하기 위해 물리 시뮬레이터를 활용하는 새로운 프레임워크를 제안한다. 구체적으로, 물리 시뮬레이터에서 강화학습으로 학습된 정책을 활용해 과제 지향적 데이터 생성을 수행하고, 증강된 데이터셋 위에서 생성 모델을 학습하여 일반화 가능한 HOI 생성을 달성하는 확장 가능한 파이프라인 Policy-as-Data를 제안한다. 합성 데이터를 원활히 활용하기 위해, 물리 시뮬레이터에서 사용되는 단순화된 모델과 생성 학습에 필요한 표준 파라미터 신체 모델 간의 표현 차이를 연결하는 coarse-to-fine 리타게팅(retargeting) 과정을 도입한다. 포괄적 실험을 통해 검증한 결과, 제안 방법은 보이지 않은 객체에 대한 향상된 일반화와 장기간 생성 능력을 보여 주며, 더 큰 동적 다양성과 물리적 타당성을 나타낸다.

arXiv:2606.22702v1cs.CV

구조화된 시각 인식을 위한 모듈형 확산 모델

Modular Diffusion Models for Structured Visual Recognition

객체 검출, 분할, 장면 그래프 생성과 같은 구조화된 시각 인식 작업을 위한 기존 지도 학습 방법은 종종 결정론적이고 고정된 출력을 생성하여, 복잡한 시각 장면에 내재된 불확실성을 포착하는 능력을 제한한다. 그 결과, 이러한 점 추정은 부분적으로 가려진 객체의 크기 모호성, 정확한 분할 경계의 국소적 모호성 등 자연적 모호성뿐만 아니라 노이즈와 학습 데이터의 희소성에서 비롯되는, 이러한 문제에 내재된 예측 불확실성(또는 다중 모달성)을 포착하지 못한다. 이 한계를 해결하기 위해, 우리는 주어진 입력 이미지에 대해 구조화된 출력에 대한 분포를 학습하는 간단하고 새로운 프레임워크인 Modular Diffusion Models(MDM)를 제시한다. MDM은 확산 과정을 각각 객체 범주, 공간적 위치, 객체 간 관계 등 구조화된 정보 공간의 서로 다른 측면을 포착하는 데 집중하는, 서로 구별되는 과제별 모듈로 분해한다. 이 모듈형 설계는 각 구성 요소를 독립적으로 학습할 수 있게 하며, 추가 학습 없이 추론 시 원활하게 통합할 수 있다. 또한 MDM의 모듈성은 확산 과정이 많은 구조화 학습 작업에서 흔한 이질적 출력 공간(예: 연속적인 바운딩 박스와 이산적 클래스 레이블) 위에서 쉽게 작동할 수 있게 한다. 객체 검출, 인스턴스 분할, 장면 그래프 생성이라는 세 가지 서로 다른 구조화 작업에 대한 실험 결과는 우리가 제안한 프레임워크의 이점을 보여준다.

arXiv:2606.22660v1cs.CV

제로샷 인스턴스 분할을 위한 확산 모델 프롬프팅

Prompting Diffusion Models for Zero-Shot Instance Segmentation

컴퓨터 비전(CV) 분야에서는 최근 여러 혁신적인 연구 방향이 등장했으며, 그 가운데에는 장면 이해(scene understanding)에서 이전에 볼 수 없었던 제로샷 성능을 달성하는 기반 모델(foundation model)—상호작용 방식까지 포함—과 극도로 사실적인 이미지를 합성하는 생성 모델(generative model)이 있다. 후자는 풍부한 사전(prior) 덕분에 장면 이해 작업에서도 매우 효과적인 것으로 나타났다. 그러나 프롬프트 가능(promptable) 분할에서는 기반 모델이 객체 영역을 정확히 분할하는 데 어려움을 겪어 false positive와 과분할(over-segmentation)을 유발한다. 특히 생성 사전을 활용한 초기 시도들은 후처리(post-processing) 단계에서만 프롬프트를 사용하여, 과정이 사용자 입력과 무관하기 때문에 최적이 아닌 분할 결과를 낸다. 본 논문에서는 이러한 한계를 Prompt2Seg로 해결한다. Prompt2Seg는 확산 기반 분할을 위한 공간 조건화(spatial conditioning) 프레임워크로, 고정(frozen)된 확산 분할 모델에 조건화 분기(conditioning branch)를 추가한다. 우리 접근법은 2D 가우시안 또는 confidence map으로 표현된 공간 프롬프트를 명시적 입력 신호로 받아, 모델이 사용자 의도에 직접 반응하도록 학습한다. Hypersim과 Virtual KITTI 2에서 추출한 의도적으로 제한된 객체 범주 집합에 대해 파인튜닝(fine-tuning)된 Prompt2Seg는, 보지 못한 다양한 객체 유형과 시각적 도메인에 제로샷으로 일반화한다. 표준 벤치마크부터 그림, 에고센트릭(egocentric) 시점, X-ray 데이터 등 더 도전적인 도메인에 이르는 7개 데이터셋에서 평가한다. 또한 Prompt2Seg가 모든 벤치마크에서 기본 확산 분할 백본(backbone)을 일관되게 능가함을 보인다. 결과는 생성 사전학습(generative pretraining)에 인코딩된 풍부한 사전과 원칙적인 공간 조건화를 결합하면, 대규모 마스크 지도 없이도 상호작용형 분할을 폭넓게 일반화할 수 있는 설득력 있는 경로를 제공함을 시사한다.

arXiv:2606.22527v1cs.CV

Trajectory Forcing: 제어 가능한 의미적 궤적을 통한 구조 우선 생성

Trajectory Forcing: Structure-First Generation with Controllable Semantic Trajectories

확산(diffusion) 및 flow 기반 생성 모델은 강력한 이미지를 생성하지만, 제어 가능성은 여전히 대부분 종단점(endpoint) 중심에 머물러 있습니다. 사용자는 조건을 지정하고 최종 출력을 받을 뿐, 중간 생성 동역학은 숨겨진 채로 남습니다. 최근 방법들은 샘플 품질 향상을 위해 생성 순서와 과정 분해를 활용하기 시작했지만, 여전히 중간 상태를 상호작용 대상이 아닌 내부 연산으로 취급합니다. 저희는 Trajectory Forcing(TF)를 제안합니다. 이는 생성 경로를 명시적이고, 의미적으로 구조화되며, 편집 가능하게 만드는 궤적 중심 프레임워크입니다. TF는 합성을 의미적으로 구조화된 단계의 시퀀스로 구성하며, 전역 레이아웃에서 객체-, 부분-, 세부 수준 표현으로 진행합니다. 각 단계는 다음 단계가 시작되기 전에 검사, 평가 및 국소 편집이 가능한 디코딩 가능한 잠재 상태(latent state)를 생성합니다. 이 경로를 구현하기 위해, DINOv2와 같은 사전학습된 시각 표현을 클러스터링하여 거친-세밀(coarse-to-fine) 교사 계층을 도출하고, 각 수준에서 계층 조건화된 one-step flow-matching 모델을 학습합니다. 또한 FID와 같은 종단점 품질 지표를 넘어 구조적 일관성과 국소 제어 가능성을 측정하는 궤적 인식(trajectory-aware) 지표를 도입합니다. 실험 결과, TF는 경쟁력 있는 샘플 품질을 달성하는 동시에 일관된 중간 상태를 드러내고, 의미적 수준 전반에 걸쳐 국소화된 편집을 지원함을 보여줍니다. 최종 이미지에서 생성 경로 자체로 초점을 전환함으로써, TF는 제어 가능하고 궤적 인식 이미지 합성을 향한 길을 엽니다.