Creative image editing tools, such as Adobe Photoshop's Remove and Generative Fill buttons, are central to everyday customer use and account for a major share of traffic. However, current generative AI models face significant latency challenges, which become even more pronounced as the field transitions from convolution-based U-Nets to Diffusion Transformers (DiTs). In our evaluation on hundreds of representative image editing samples spanning a wide range of mask ratios, the DiT module alone accounts for an average of 73% of the total model latency, even after being distilled from 50 timesteps down to 8 timesteps. To tackle this challenge, we propose $\textbf{HiLo-Token}$, an input-adaptive token compression framework that allocates a larger token budget to high-frequency, rich-context regions while assigning fewer tokens to low-frequency areas. Specifically, for the editing region specified by the user mask, we retain all tokens within a dilated mask to preserve strong locality and contextual relevance. Outside the editing region, we introduce a simple yet effective high-frequency token selection strategy based on spatial frequency to capture important local details, while using tokens from a heavily downsampled image to represent low-frequency components and preserve the coarse global structure. Extensive experiments on production-level evaluation data validate the effectiveness of the proposed method, which achieves 3.13$\times$, 2.59$\times$, and 1.67$\times$ DiT speedups on A100-80GB for image editing tasks across small, medium, and large mask ratio categories with average ratios of 6.38%, 15.92%, and 35.36%, respectively, without any regression in generation quality. In production, where the editing pipeline is served as disaggregated, independently autoscaled GPU workers, these per-request savings translate into a 33% reduction in the GPUs required to serve the models.
Video Diffusion Transformers (VDiTs) have demonstrated significant capabilities in high-fidelity video generation. However, their ability to produce long-duration videos is fundamentally constrained by the quadratic complexity of the self-attention mechanism. Recent clustering-based sparse attention methods improve the quality-speed trade-off by grouping semantically similar tokens, but their practical efficiency remains limited by two bottlenecks: substantial clustering overhead and low CTA utilization caused by irregular cluster-induced blocks. We propose HyperVAttention (HVA), a training-free sparse attention framework that addresses both bottlenecks jointly. To reduce clustering overhead, we introduce 3D local-window clustering, which exploits the spatio-temporal locality of video tokens to restrict centroid search to fixed local neighborhoods, and implement it with a custom Triton kernel for efficient execution. We further propose a hybrid clustering strategy that performs full clustering only at anchor steps and updates only subset tokens at intermediate steps, leveraging the temporal stability of cluster assignments across denoising steps. To improve CTA utilization, we present hardware-aware cluster merging that minimizes CTA-aligned execution cost through parallel agglomerative merging, improving block density and approximation fidelity by utilizing idle tile capacity. Together, these components reduce clustering overhead, avoid redundant updates, and better align sparse attention with the fixed tile structure of modern GPU kernels. Experiments on video generation show that HVA advances the Pareto frontier of training free sparse attention, achieving higher fidelity than SVG2 at comparable latency and a $2.13\times$ speedup over full attention on HunyuanVideo, or $2.23\times$ with its faster variant HVA-Flash.
Flow matching and diffusion models enable conditional generation across domains ranging from images to proteins, with recent extensions to out-of-distribution contexts. Yet generative models of neural time series have largely remained restricted to categorical conditioning, precluding compositional and zero-shot generalization. In this work, we propose PINC-Flow, a per-timestep conditioned diffusion transformer for generating realistic fMRI brain dynamics during unseen cognitive tasks by injecting both compositional language and optional spatial priors in-context. Such zero-shot generation could enable counterfactual neuroscience by supporting in-silico design and evaluation of novel cognitive experiments before empirical validation. Leveraging this model, we evaluate across hundreds of held-out task conditions and characterize predictive performance in relation to the training manifold. From language alone, the model recovers region-specific recruitment across tasks and held-out spatial activation patterns. Spatial priors, when available, complement the text pathway by anchoring generation in regions of task space where language alone degrades, while retaining the compositional structure needed for counterfactual task specification. To our knowledge this is the first generative model of whole-cortex fMRI dynamics for unseen cognitive tasks, advancing counterfactual neuroscience and data-driven experimental design.
Siri Expressive Voices synthesize rich, configurable speech in real time and entirely on device, powered by AFM 3 Core Advanced, Apple's most powerful on-device foundation model. This work presents the memory-efficient audio synthesis architecture behind that capability: a detokenizer that converts the semantic audio tokens emitted by the foundation model into high-fidelity audio within the tight compute and memory budget of the Scalable Matrix Extension (SME). We convert semantic audio tokens to a residual vector quantization (RVQ) representation with a three-component design, a streaming encoder, a temporal decoder, and a depth decoder, that systematically decouples temporal and depth processing. A single reusable depth decoder with Diffusion Transformer (DiT)-style stage conditioning generates all RVQ levels autoregressively, replacing the dedicated per-level decoders of prior multi-decoder architectures, while causal sliding window attention with fixed-window key-value caching yields constant memory complexity independent of sequence length. Deployed on the AMX, the detokenizer sustains roughly 10 ms per generation step, about 16x faster than real time, with a peak runtime memory of only 21 MB and 329 MB of on-device assets, enabling continuous streaming synthesis of 20-320 seconds of audio. This constant, small footprint replaces the linear and quadratic memory scaling of conventional transformer- and GAN-based approaches. Ablation studies validate the key architectural components, and audio quality assessment confirms that the architecture maintains synthesis fidelity while achieving efficiency gains over existing methods. Operating at a 1-billion-parameter activation size within AFM 3 Core Advanced, it improves Mean Opinion Score by +0.28 overall (4.15 vs. 3.87) and by +0.42 on conversational speech (4.24 vs. 3.82) over the prior on-device text-to-speech system.
Video diffusion transformers (DiTs) process tens of thousands of spatio-temporal tokens per denoising step, so low-latency inference and training commonly spread them across several accelerators. Auto-parallelization systems price a sharding on its logical graph, but its cost depends on the program the compiler generates and, on direct networks such as TPU sub-slices, on which chip runs each logical rank; both are visible only after compilation, while the chip assignment must be fixed before it. We present AoiZora, a compiler-agnostic auto-parallelization framework built on two IRs, one for the program a partitioner shards and one for the program a compiler emits; it chooses the logical mesh, the layout of every tensor and operation, and the device assignment of an unsharded model by pricing its compiled programs, without executing any candidate. At the core of AoiZora is evidence, a compiler-neutral record of a compiled program that leaves its placement open, so that one compilation can be priced under many placements by a calibrated model of the accelerator network and the placement can determine which sharding is selected. On TPU v5e, AoiZora reduces the denoising latency of Wan 2.1 and HunyuanVideo by 1.23x and 1.32x on average over expert configurations and Alpa, finding each plan within 10 minutes; it also speeds up training on TPU v5p by 1.11x on 4 chips and 1.21x on 8 chips on average and parallelizes PyTorch programs on GPUs with the same core.
자기회귀(AR) 비디오 생성은 장기 합성(long-horizon synthesis)을 가능하게 하지만, 대규모 확산 트랜스포머를 통한 반복적인 순전파 연산을 필요로 합니다. 학습(training)이 필요 없는 캐싱 기법은 중간 계산을 재사용하여 이러한 비용을 줄이지만, 기존 제어기들은 캐시를 정확히 언제 동기화할지와 동기화 사이에 얼마만큼의 계산을 복원할 것인지라는 두 결정을 결합하는 경우가 많습니다. 본 논문에서는 이러한 역할을 분리하는 Frequency-Step Cache(FSC)를 제안합니다. FSC는 조밀한 단계에서 희소한 단계로 이어지는 궤적에 따라 정확한 전체 연산 앵커(anchor)를 스케줄링하며, 주파수 분해 드리프트와 토큰(token) 수명에 기반한 경량 잠재 공간 리스크를 통해 전체 스텝 재생, 선택적 토큰 재계산, 또는 완전 복원 방식으로 앵커 간 복원을 제어합니다. SkyReels-V2에서 전체 스텝 재사용은 대부분의 속도 향상을 제공하는 반면, 선택적 토큰 계산은 충실도 복원에 가장 효과적입니다. 통제된 어블레이션 실험에 따르면 단일 반응형 신호를 동기화와 복원 모두에 사용하는 것은 동일한 지연 시간에서 충실도를 감소시키며, 동일한 분리 이점이 FramePack 및 Matrix-Game에서도 관찰됩니다. 여러 자기회귀 비디오 백본 전반에서 FSC는 속도-품질 트레이드오프를 개선합니다. SkyReels-V2에서 FSC-Speed는 MotionCache의 2.275배 대비 2.36배의 속도 향상을 달성하면서도 SSIM을 0.019, PSNR을 0.5 dB 개선합니다. MotionCache와 동일한 속도에서 FSC-Quality는 SSIM을 0.031, PSNR을 1.0 dB 향상시키고 LPIPS를 0.024 낮춥니다. 재조정 없이도 FSC-Quality는 SkyReels-V2 14B에 전이되어 MotionCache의 1.79배 대비 2.12배의 속도 향상을 기록합니다.
사전학습된 확산 트랜스포머(diffusion Transformer)는 영상 복원을 위한 강력한 생성 사전 정보(generative prior)를 제공하지만, 이를 구조에 민감한 태스크에 적응시키는 것은 여전히 어렵습니다. 기존 방법들은 주로 조밀한(dense) 저해상도 특징을 조건으로 활용하는데, 이는 두드러진 객체와 지배적인 배경을 서로 얽히게 만들고 스케일 및 샘플 전반에 걸쳐 반복되는 구조에 대해 제한적인 추상화만을 제공하는 경우가 많습니다. 본 논문에서는 생성 모델 적응을 위해 간결한 구조적 조건을 학습하는 객체 중심 표현 학습 프레임워크인 MOSAIC을 제안합니다. MOSAIC은 열화된 관측 영상을 상호보완적인 객체 수준 및 레이아웃 수준의 단서를 포착하는 구조적 슬롯으로 정리하고, 이를 여러 해상도에 걸쳐 통합하며, 공유된 프로토타입 메모리에서 반복되는 사전 정보를 검색하여 불완전한 영상 고유 정보를 보완합니다. 이렇게 도출된 표현은 경량 잔차 변조(residual modulation)를 통해 고정된(frozen) 확산 트랜스포머의 선택된 레이어에 주입되어 사전학습된 생성 사전 정보를 보존합니다. 우리는 소형 객체, 반복적인 구조, 대규모 스케일 변화로 인해 도전적인 시험대가 되는 원격 탐사 영상 초해상화에 MOSAIC을 적용합니다. UCMerced, AID, RSSCN7 데이터셋에 대한 실험 결과, $\times 2$ 및 $\times 4$ 설정 전반에서 일관된 PSNR 향상을 보였으며 $\times 4$에서 우수한 LPIPS 결과를 나타냈습니다. 정성적 결과 또한 소형 객체, 구조적 경계, 반복적인 공간 패턴의 보존 성능이 향상되었음을 입증합니다.
디퓨전 특징(diffusion feature), 즉 디퓨전 모델 백본에서 추출된 중간 활성화는 생성과 시각적 이해(판별)를 통합하기 위한 유망한 접근법으로 부상했습니다. 디퓨전 백본이 디퓨전 트랜스포머(DiT)로 발전했음에도 불구하고, 기존 문헌에서는 DiT 모델이 더 강력한 생성 능력에도 불구하고 더 약한 특징을 산출하는 경향이 있음이 발견되었습니다. 이는 우수한 생성-이해 통합에 위협이 됩니다. 본 연구에서는 제어된 처음부터의 학습(from-scratch training)을 통해 롱 스킵 연결(LSC)이 특징 품질에 영향을 미침을 보여줍니다. 즉, LSC를 갖춘 DiT는 더 우수한 특징을 생성할 수 있습니다. 나아가 상세한 진단을 통해 이러한 효과를 유발하는 메커니즘을 밝혀냅니다. 구체적으로, 디퓨전 백본의 입력에는 잠재 이미지(latent image)와 디퓨전 노이즈가 모두 포함되며, 여기서 디퓨전 노이즈는 노이즈 형태로 나타나지만 실제로는 디퓨전 궤적의 정보를 반영합니다. 노이즈 변수($v$ 또는 $ε$)의 최종 예측을 수행하기 위해 디퓨전 백본에는 두 신호가 모두 필요합니다. 그러나 메인 백본을 통해 두 신호를 모두 전달하는 것은 사실상 이미지 신호를 노이즈로 "오염"시켜 특징 품질 저하로 이어집니다. 이에 비해 LSC는 디퓨전 노이즈를 필요한 곳으로 직접 지름길로 연결(shortcut)하여 메인 백본에 훨씬 약한 노이즈 신호만 남기므로 특징 품질을 향상시킬 수 있습니다. 더 넓은 영향력을 언급하자면, 이는 LSC가 단순한 트릭이 아니라 디퓨전 목표와 밀접하게 관련되어 있음을 밝혀냅니다. 코드는 https://github.com/Darkbblue/dit-lsc 에서 확인할 수 있습니다.
실시간 대화형 생성을 위해 결합 오디오-비디오 디퓨전 트랜스포머(diffusion transformer)를 배포하려면 일반적으로 두 가지 필수적인 수정이 필요합니다. 전체 클립이 완료되기 전에 프레임을 출력할 수 있도록 하는 블록 자기회귀 어텐션(block-autoregressive attention)과 각 블록의 연산 비용을 낮추기 위한 퓨샷 샘플링(few-step sampling)입니다. 기존 스트리밍 비디오 연구에서는 연쇄형 파이프라인(chained pipeline)을 통해 이 두 가지 기능을 모두 확보해 왔습니다. 즉, 양방향 교사 모델을 인과적(causal) 학생 모델로 증류한 후 이를 다시 퓨샷 학생 모델로 증류하거나, 그 반대 순서로 진행합니다. 이러한 연쇄 과정의 각 단계는 이전 단계가 생성한 가중치를 파인튜닝(fine-tuning)하므로, 이후의 목표가 이전의 기능을 훼손할 수 있습니다. 본 연구에서는 모델 병합(model merging) 개념에 착안하여 패킹된 오디오-비디오 백본에서 이 두 가지 기능을 병렬로 획득할 수 있음을 보여줍니다. 고정된 백본에 대해 인과적 어댑터를 학습하고, 기존 퓨샷 어댑터가 퓨샷 기능을 제공합니다. 두 어댑터가 서로 다른 기능적 축을 수정하기 때문에, 학습 과정에서 명시적인 직교성 제약 없이도 이들의 가중치 업데이트 방향이 거의 직교한다는 점을 예측하고 검증했습니다. 직교하는 업데이트는 상호 간섭 없이 결합될 수 있으므로 병렬 구성은 직합(direct sum) 형태가 됩니다. 두 어댑터는 공동 학습 없이 추론(inference) 시점에 단순히 더해지며, 양방향 교사 모델의 화질을 유지하는 퓨샷 스트리밍 오디오-비디오를 생성합니다. 연쇄형 베이스라인과 비교했을 때 결합된 모델은 대부분의 지표에서 이들과 대등하거나 능가하여 병렬 결합이 실용적인 접근법임을 입증합니다. 최종 스트리밍 시스템은 양자화(quantization) 없이 480×832 해상도에서 약 26 fps로 실시간 오디오-비디오를 공동 생성하며, 안정적인 화질로 30초 동안 연속 생성을 유지합니다. 데모 페이지: https://pac-demo-2027.github.io/demo/
텍스트-이미지(Text-to-image) 모델은 인간의 의도를 파악하는 주요 인터페이스로 텍스트 프롬프트(prompt)에 의존합니다. 프롬프트는 텍스트 인코더에 의해 임베딩(embedding)으로 인코딩되어 이미지 생성 과정을 조건화합니다. 텍스트 임베딩은 개별 토큰(token)의 의미를 넘어 구성성(compositionality) 및 속성 결합(attribute binding)과 같이 전체 프롬프트에 걸친 문맥 정보를 인코딩합니다. 그러나 이미지 모델이 실제로 이러한 풍부한 정보를 활용하는지는 아직 충분히 연구되지 않았습니다. 본 연구에서는 '텍스트 표현의 어떤 측면이 이미지 생성에 필수적인가?'라는 질문을 다룹니다. 우리는 텍스트-이미지 확산 트랜스포머(diffusion transformer) 기반 모델이 일반적으로 텍스트 표현의 비교적 단순한 두 가지 측면에만 의존함을 보여줍니다: (i) 여러 토큰에 걸친 단어에 대해 인접한 토큰들을 하나의 단어 표현으로 병합하는 것, 그리고 (ii) 텍스트 인코더의 위치 임베딩(positional embedding)에 의해 각인되는 단어 순서입니다. 이를 입증하기 위해, 우리는 개별 단어의 의미와 순서만을 인코딩하고 전체 프롬프트에 대한 문맥 정보는 전혀 포함하지 않는 새로운 텍스트 임베딩을 구축합니다. 이러한 위치 태그가 지정된 단어 주머니(bag of position-tagged words) 표현만으로도 이미지 생성을 성공적으로 유도하기에 충분하며, 전체 텍스트 임베딩 기반 생성과 동등한 수준의 시각적 품질 및 텍스트 충실도를 달성함을 확인했습니다. 이는 일반적인 믿음과 달리, 텍스트-이미지 모델이 개별 단어 의미와 단어 순서를 넘어 텍스트 임베딩에 인코딩된 풍부한 정보를 활용하지 않는 경우가 많음을 보여줍니다. 대신 복잡한 언어적 구조의 디코딩은 이미지 모델 자체에 의해 수행됩니다. 프로젝트 웹페이지: https://nsping13.github.io/contextless-TTI/
생성 모델링은 확률론적 시계열 예측을 용이하게 하지만, 이종의 외생적 정보(exogenous information)를 통합하는 것은 여전히 어려운 과제로 남아 있습니다. 디퓨전 트랜스포머(DiT, Diffusion Transformers)는 조건부 생성을 위한 확장 가능한 프레임워크를 제공하지만, 이를 예측 작업에 적용하려면 시계열에 맞춤화된 조건화 메커니즘이 필요합니다. 내생적 목표(endogenous targets)와 외생적 공변량(exogenous covariates)은 출처, 의미론적 특성, 통계적 특성이 서로 다르지만, 세밀한 조건부 유도를 지원하는 시간 좌표를 공유합니다. 공변량은 직접적인 회귀가 목표로 하는 조건부 평균을 넘어 미래 변동성과 시간적 의존성을 설명할 수 있습니다. 이러한 점에 착안하여, 본 논문에서는 공변량을 인식하는 예측을 위한 멀티모달 디퓨전 트랜스포머인 시계열용 디퓨전 트랜스포머(DiTS, Diffusion Transformers for Time Series)를 제안합니다. DiTS는 내생적 목표와 외생적 공변량을 서로 다른 모달리티로 모델링하며, 목표의 과거 이력과 가용한 공변량을 바탕으로 미래 생성을 공동으로 조건화합니다. 흐름 매칭(flow matching)은 노이즈가 포함된 미래 상태를 조건으로 하는 속도 예측과 공변량 의존적인 분포 정보가 유의미하게 연계되도록 만듭니다. 또한 시간 정렬 사전확률(temporal-alignment prior)을 바탕으로 AdaLN을 확장하여, 정렬된 공변량과 디퓨전 시간으로부터 패치 단위 변조 파라미터를 생성하는 시간 정렬 변조(Time-aligned Modulation)를 도입합니다. 다양한 공변량 인식 예측 태스크 전반에서 DiTS는 결정론적 예측과 확률론적 예측 모두에서 강력한 성능을 달성하여, 점 예측(point forecasting) 및 분포 예측(distributional forecasting) 모두에서 조건부 생성의 효과성을 입증합니다.
참조 기반 생성(예: 객체 합성, 커스터마이징)은 빠르게 발전해 왔으나, 기존 파이프라인들은 근본적인 한계를 공유합니다. 사용자가 제공한 객체 중심의 고해상도 참조 이미지(HRRI)가 모델에 입력되기 전에 고정된 저해상도(LR)로 다운샘플링되어, 출력이 생성되기도 전에 미세한 세부 정보가 버려진다는 점입니다. 게다가 생성 단계에서는 이러한 정보 손실 위에 고유한 아티팩트(예: 정체성 왜곡)가 추가로 발생합니다. 기존의 참조 기반 생성 콘텐츠 정제(RefGCR) 방식은 이러한 아티팩트 중 일부를 보정할 수 있지만 여전히 저해상도 영역에서 작동하며, 참조 기반 초해상화(RefSR) 방식은 해상도를 복원하지만 자연 이미지 열화를 가정하여 생성 파이프라인의 아티팩트 분포를 무시합니다. 이러한 두 가지 한계를 단일 프레임워크에서 해결하기 위해, 본 논문에서는 원본 HRRI를 후처리 단계에서 재사용하여 손실된 세부 정보를 복원하고, 생성 아티팩트를 정제하며, 출력을 동시에 업스케일링하는 새로운 태스크인 참조 기반 생성 콘텐츠 초해상화-정제(RefGC-SR$^2$)를 제안합니다. 우리는 이 RefGC-SR$^2$ 태스크를 위해 최초의 실제 삼중항(triplet) 데이터 생성 파이프라인을 구축하고, 공개된 사전학습 모델이 제공할 수 없는 쌍을 이루는 저품질 앵커를 합성하도록 딥틱 조건부 생성기를 학습시킵니다. 나아가 생성 아티팩트를 제거하면서 HRRI의 미세 세부 정보를 선택적으로 주입하는 RefGC-SR$^2$용 주파수 인식 확산 트랜스포머(diffusion transformer) 모델을 제시합니다. 광범위한 실험을 통해 제안하는 RefGC-SR$^2$ 모델이 (i) 참조 이미지에 충실하게 객체 정체성을 정제하고, (ii) 고해상도 세부 정보를 성공적으로 복원하여, 기존 RefGCR 및 RefSR 베이스라인과 비교해 최종 결과물이 현저히 높은 품질과 실질적인 활용성을 보임을 입증합니다.
확산(diffusion) 기반 월드 모델은 고품질의 대화형 환경 생성을 가능하게 하지만, 노이즈 제거(denoising) 과정에서 반복적인 트랜스포머(Transformer) 평가로 인해 상당한 추론(inference) 오버헤드가 발생합니다. 기존 캐싱 기법들은 주로 특징(feature)이나 토큰(token) 수준의 시간적 중복성을 활용할 뿐, 확산 특징의 기저에 있는 수학적 구조는 거의 탐색하지 않았습니다. 본 연구에서는 월드 모델의 특징이 인접한 노이즈 제거 단계 전반에 걸쳐 매우 안정적인 특이 부분공간(singular subspace)을 보이며, 이들의 특잇값(singular value)은 예측 가능한 진화 패턴을 따른다는 점을 밝혀냅니다. 이러한 관찰을 바탕으로, 안정적인 특이 부분공간을 재사용하고 선형 외삽법(linear extrapolation)을 통해 저차원 특잇값만을 추정하는 학습(training)이 필요 없는 스펙트럼 캐싱 프레임워크인 SpectralCache를 제안합니다. 나아가 인접한 전체 계산 특징 간의 스펙트럼 일관성을 활용하여, 특잇값 스케일링을 통해 계산 비용이 큰 특정 백본 평가를 건너뜁니다. 대표적인 월드 모델을 대상으로 한 광범위한 실험을 통해 SpectralCache가 생성 품질을 유지하면서 추론 효율성을 일관되게 향상시킴을 입증합니다. HunyuanWorld-Voyager-13B에서 SpectralCache는 정적 장면에 대해 65.90의 WorldScore를 유지하면서 5.22배 가속을 달성하여, 기존의 학습 불필요 캐싱 기법보다 추론 효율성 면에서 크게 우수한 성능을 보였습니다.
확산 트랜스포머(DiT)는 텍스트 및 이미지 조건으로부터 고충실도 이미지를 생성하지만, 출력의 분산이 크고 원하는 목표에 대한 충실도는 조건이 제공되는 방식에 크게 의존합니다. 본 논문에서는 동결된(frozen) 이미지 DiT를 조향하여 고충실도, 높은 충실성 및 독립적으로 제어 가능한 렌더링을 생성하는 가볍고 어텐션(attention)이 필요 없는 외형 및 기하학 분리 조건화 기법인 DAGS를 제시합니다. 두 개의 소형 합성곱 인코더가 프레임당 한 번씩 조건화 특징을 계산하고, 이를 학습(training)된 층(layer)별 요소별(element-wise) 잔차로서 이미지 토큰에 주입함으로써 어텐션을 통해 조건을 쌓는 데 드는 이차 비용을 방지합니다. 제어 및 시간적 처리가 동결된 백본 외부에 존재하기 때문에, 백본의 방대한 사전학습 사전을 유지하고 백본 과적합(overfitting) 위험을 제거합니다. 나아가 소형 순환 조명 안정화기와 학습 불필요(training-free) 시간적 가이던스 항을 추가하여, 조건화 기법과 결합함으로써 프레임별 이미지 모델(model)을 스트리밍 렌더러로 향상시킵니다. DAGS는 경로 추적(path tracing) 연산량의 극히 일부만으로 제어 가능하고 고품질인 렌더링을 생성하며, 실시간은 아니지만 연산량을 제어 가능성 및 품질과 맞바꿉니다. 일치된 1-spp + G-buffer 입력 조건에서 프레임별 DAGS는 실시간 디노이저인 Intel OIDN 및 확산 렌더러 RGB<->X 대비 각각 +8.6 dB 및 +10.1 dB 향상된 PSNR로 재구성하는 동시에 지각적으로 2.5~8배 더 시간적으로 안정적(temporal-LPIPS 깜빡임 기준)입니다.
디퓨전 트랜스포머(diffusion transformer)에서는 클래스 레이블이나 텍스트 프롬프트를 한 번 임베딩한 뒤, 모든 노이즈 제거(denoising) 단계에서 동일한 조건을 재사용합니다. 본 연구에서는 예측된 임베딩이 대신 이러한 조건으로 기능할 수 있는지 질문을 던집니다. 차기 임베딩 예측 자기회귀(Next-Embedding Predictive Autoregression, NEPA)는 시퀀스에서 다음 연속 임베딩을 예측하도록 트랜스포머를 학습시킵니다. 생성 과정에서 깨끗한 이미지는 노이즈가 있는 이미지 뒤에 이어지므로, 그 임베딩은 조건과 노이즈가 있는 이미지 다음의 차기 임베딩이 됩니다. 본 연구에서는 다중 임베딩 예측(Multi-Embedding Prediction)을 통해 이들을 한 번에 모두 예측하도록 NEPA 모델을 학습시키며, 임베딩 조건부 생성(Embedding Conditioned Generation)에서는 매 노이즈 제거 단계마다 재계산되는 이러한 예측값들을 DiT 생성기의 조건으로 주어 조건부 신호가 현재의 노이즈 상태에 적응하도록 합니다. 클래스 조건부 ImageNet $256\times256$에 대한 실험을 통해 생성기의 조건, 다중 임베딩 예측 설계, 그리고 두 모델의 스케일링을 살펴봅니다. NEPA 모델은 모든 샘플링 단계에 두 번째 네트워크를 추가하며, 이를 적용하고 REPA와 결합한 최종 모델인 NEPA-DiT-XL은 REPA의 약 3분의 1 수준의 학습 연산량만을 사용하고도 1.32의 FID를 달성합니다.
표현 정렬(representation alignment)은 디퓨전(diffusion) 학습을 가속화하는 효과적인 방법으로 자리 잡았지만, 그 이점이 픽셀 공간(pixel-space)의 클린 이미지(clean-image) 예측으로는 안정적으로 전이되지 않는다. JiT에서 우리는 보조 특징 정렬(auxiliary feature alignment)이 의미론적 특징(semantic feature)에 대한 접근성을 향상시키는 동시에 클린 이미지 예측에 필요한 이미지 변동(image variation)에 대한 접근성을 감소시켜, 보조 목표(auxiliary objective)와 디노이징(denoising) 과제 간의 불일치를 초래한다는 것을 발견했다. 이는 다른 원칙을 시사한다: 보조 지도(auxiliary supervision)는 별도의 표현 목표를 부과하기보다 예측 대상 자체를 개선해야 한다는 것이다. 우리는 서로 다른 노이즈 수준(noise level)에 걸쳐 클린 이미지 예측을 정렬하는 예측 지도(prediction-supervision) 방법인 JAx(Just Align x)를 제안한다. JAx는 마르코프 저하(Markov degradation)를 통해 더 노이즈가 많은 학생(student) 관측과 더 깨끗한 관측을 결합하며, 이 과정은 원래의 JiT 입력 분포를 보존한다. 이 결합 하에서, 더 깨끗한 상태로부터의 오라클 예측(oracle prediction)은 최적의 JiT 목표와 동일한 조건부 평균(conditional mean)을 가지면서도, 조건부 목표 공분산(conditional target covariance)은 더 크지 않다. 따라서 오라클 예측 정렬은 상수 항을 제외하면 모집단 JiT 목표를 보존하면서도 더 낮은 분산의 학습 목표를 제공한다. 불완전한 EMA 교사(teacher)를 사용하는 실제 상황에서 이 구성을 실용적으로 만들기 위해, JAx는 실제 정답 지도(ground-truth supervision)와 예측 위험도(prediction risk)에 기반하여 인접한 교사 상태를 선택하는 신뢰도 게이팅 결합 밴드(reliability-gated coupling band)를 결합한다. ImageNet 256x256에서 JAx는 외부 인코더나 아키텍처 또는 샘플링 절차의 변경 없이도 JiT-B/16, L/16, H/16 전반에 걸쳐 FID를 일관되게 향상시키고 수렴을 가속화한다. 그래디언트 진단(gradient diagnostics)은 미니배치 그래디언트 분산의 감소를 추가로 보여주며, 제거 실험(ablation)은 이러한 개선이 시간 재가중치화(time reweighting)만으로는 설명될 수 없음을 보여준다. 이러한 결과는 예측 공간 지도(prediction-space supervision)가 픽셀 공간 생성 모델(pixel-space generative model)에서 표현 정렬에 대한 단순하고 원칙적인 대안을 제공함을 보여준다.
본 논문은 3D 객체를 위한 고품질 재질(material)을 전적으로 텍스처 공간에서 생성하는 방법을 제시한다. 우리는 텍스트 기반 재질 생성, 다중 시점(multi-view) 재질 생성, 재질 업스케일링을 위해 비디오 디퓨전 트랜스포머(video diffusion transformer)를 파인튜닝한다. 핵심 통찰은 이미지 공간에서 텍스처 공간으로의 알려진 투영(projection)을 활용함으로써, 디퓨전 프로세스가 임의의 지오메트리와 텍스처 파라미터화(texture parameterization)에 걸쳐 일반화될 수 있도록 하는 것이다. 이 접근 방식은 또한 비디오 및 다중 시점 디퓨전 모델에 내재된 시점 일관성(view consistency) 문제를 회피한다. 텍스처 공간은 2차원이기 때문에, 사전학습된 비디오 디퓨전 모델의 강력한 사전 분포(prior)를 재사용할 수 있다. 우리는 이 방법을 알려지지 않은 조명 하에서 촬영된 포즈가 지정된 사진으로부터의 고품질 재질 복원뿐 아니라, 텍스트 및 이미지 기반 재질 생성에도 적용한다. 본 방법은 고해상도(8K), 100개 이상의 입력 시점, 그리고 신경 재질 표현(neural material representation)으로 확장될 수 있다. 정량적 및 정성적 평가에서 우리는 재질 생성 및 복원에 대해 최신 기술 수준(state-of-the-art)의 결과를 보여준다.
최근 픽셀 공간 확산 모델(pixel-space diffusion model)의 발전으로 잠재 공간(latent-space) 확산과의 화질 격차가 줄어들었으나, 여전히 수렴 속도가 느리고 최종 화질 면에서 뒤처져 있습니다. 본 논문에서는 명시적인 표현 사전확률(representation prior)의 부재가 그 주요 원인이라고 주장합니다. 주로 조밀하고 구조화된 잠재 공간에서 노이즈 제거(denoising)를 수행하는 잠재 확산과 달리, 픽셀 확산은 원시 RGB 공간에서 노이즈 제거에 적합한 표현 학습과 픽셀 생성을 동시에 수행해야 합니다. 이러한 문제를 해결하기 위해, 오토인코더(autoencoder)나 잠재 재구성 병목 현상을 도입하지 않고 표현 학습과 픽셀 생성을 분리하도록 설계된 엔드투엔드(end-to-end) 픽셀 공간 확산 모델인 PixelDiT2를 제안합니다. 동결된 사전학습(pre-training) 비전 파운데이션 모델을 활용하여 노이즈 제거 전반에 걸쳐 패치별 명시적인 표현 안내를 제공함으로써 픽셀 확산 트랜스포머가 픽셀 생성에 더욱 집중할 수 있도록 하는 표현 그라운딩(representation grounding)을 제안합니다. ImageNet-256x256에서 PixelDiT2는 600 에포크 학습 후 1.46의 FID를 달성했으며, 512x512 해상도에서는 680 에포크 후 1.48의 FID를 달성했습니다.
우리는 \emph{예술적 지능(Artistic Intelligence)}을 탐험(exploration) 기반의 세계 실현(world realization)으로 정의하며, 반드시 유지되어야 하는 의미적, 예술적, 구성적 구조를 보존하면서도 창의적 가능성의 여지를 남긴다. 텍스트-투-이미지(text-to-image) 모델인 Moonworks Lunara는 새로운 Diffusion Mixture Transformer 아키텍처로 이 프레임워크를 구현한다. 새로운 학습 알고리즘은 정보성이 높은 샘플 획득과 인간이 제작한 예술 작품의 표적화된 주입을 통해 데이터 분포를 반복적으로 진화시킨다. 우리는 FLUX.2-Klein-4B, Qwen-Image(20B), GPT-Image-1-Mini를 포함한 7개의 이미지 생성 모델과 Lunara를 벤치마킹한다. GPT-5.6 Sol을 평가자로 사용했을 때, Lunara는 \emph{미적 품질(Aesthetic Quality)}에서 1위(8.473 대 GPT-Image-1-mini의 8.457)를 기록했으며, \emph{정서적 공명(Emotional Resonance)}에서는 2위를 차지했고, \emph{콘텐츠 무결성(Content Integrity)}에서도 경쟁력을 유지했다. 동일한 평가 세트에 대한 블라인드 인간 평가 역시 자동화된 지표를 뒷받침하며, Lunara를 1위로 평가했다. 또한 CLIPScore 및 LAION Aesthetic Predictor를 포함한 기존 측정 방식에서도 가장 우수한 모델군에 속한다. GenEval에서 Lunara는 GPT Image 2와 Seedream 4.0을 포함한 16개 모델로 구성된 더 폭넓은 비교 대상들과 견주어도 경쟁력 있는 성능을 달성한다. 이러한 결과는 Lunara를 10B 미만의 활성 매개변수(active parameter)와 10초 미만의 추론(inference) 지연시간을 유지하면서도 예술적 지능의 최전선에 위치시킨다. Lunara는 모델이 이미지를 올바르게 만들 수 있는지에 대한 질문을, 모델이 의미를 얼마나 깊이 해석하고 이를 상상력이 풍부하고 표현력 있는 세계로 실현할 수 있는지에 대한 질문으로 전환함으로써 일반적인 시각 지능(visual intelligence)의 최전선을 발전시킨다.
기존 지시 세그멘테이션(referring segmentation) 접근법 대부분은 미세조정이나 여러 사전학습 모델의 조합을 통해서만 강한 성능을 내며, 종종 추가 학습과 아키텍처 변경이라는 비용을 수반한다. 한편 대규모 생성형 확산(diffusion) 모델은 풍부한 의미 정보를 담고 있어 범용 특징 추출기로 매력적이다. 본 연구에서는 다운스트림 과제를 위해 확산 트랜스포머의 특징(어텐션 점수)을 직접 활용하는 새로운 방법을 제안하며, 아키텍처 변경이나 추가 학습이 필요 없다. 이러한 특징을 체계적으로 평가하기 위해 이미지와 동영상을 아우르는 비전-언어 그라운딩 과제로 벤치마크를 확장한다. 핵심 통찰은 불용어(stop word)가 어텐션 자석(attention magnet)처럼 작용한다는 점이다: 불용어는 과잉 어텐션을 끌어모으며, 이를 걸러 노이즈를 줄일 수 있다. 더 나아가 더 깊은 층에서 나타나는 전역 어텐션 싱크(global attention sink, GAS)를 확인하고, 이를 안전하게 억제하거나 보조 토큰으로 재배향하면 더 선명하고 정확한 그라운딩 맵을 얻을 수 있음을 보인다. 또한 어텐션 재분배 전략을 제안하는데, 덧붙인 불용어가 배경 활성을 더 작은 클러스터로 나누어 더 선명하고 국소적인 히트맵을 만든다. 이러한 발견을 바탕으로 교차-어텐션 맵, GAS 처리, 재분배를 결합한 단순한 무학습(training-free) 그라운딩 프레임워크 RefAM을 구축한다. 제로샷 지시 이미지·동영상 세그멘테이션 벤치마크 전반에서 본 접근법은 강한 성능을 보이며 대부분의 데이터셋에서 이전 방법을 능가하고, 과제별 학습이나 아키텍처 변경 없이 무학습 방법 가운데 새로운 최고 수준을 달성한다. 동영상의 경우, 비디오 확산 트랜스포머의 시공간 특징으로부터 지시 대상(referent)을 국소화하며, 첫 프레임 쿼리를 전파(propagate)하는 방식을 쓰므로 시간적(which-frame) 표현을 명시적으로 해석하지는 않는다.