Video generation models have advanced significantly through the latent diffusion transformers trained with rectified flow techniques. Yet these models still struggle with geometric inconsistencies, unstable motion, and visual artifacts that break the illusion of realistic 3D scenes. 3D-consistent video generation could significantly impact numerous downstream applications in generation and reconstruction tasks. We explore how epipolar geometry constraints improve modern video diffusion models. Despite using massive training data, these models fail to capture fundamental geometric principles. We align diffusion models using pairwise epipolar geometry constraints via preference-based optimization, directly addressing unstable trajectories and geometric artifacts through mathematically principled geometric enforcement. Our approach efficiently enforces geometric principles without requiring end-to-end differentiability. Evaluation demonstrates that classical geometric constraints provide more reliable preference signals than the video-quality and geometry metrics based on foundational models. We construct preferences from static scenes with camera motion, where the epipolar metric is most reliable, while the aligned model generalizes to dynamic scenes. By bridging data-driven learning with classical computer vision, we reduce epipolar error by 31% and improve human-rated consistency from 54% to 72% without compromising visual quality.
Flow-based generative models have emerged as an efficient alternative to diffusion models. We study the sample complexity of learning a target distribution in Wasserstein distance via flow matching, which learns a velocity field transporting a base distribution to the target. Under exact empirical risk minimization over a fixed network class and standard assumptions on the architecture and data distribution, we show that any squared-loss flow-matching variant including rectified flow with bounded derivatives achieves $\widetilde{O}(\varepsilon^{-2})$ sample complexity for the statistical term with the Wasserstein guarantee taking the form $W_2 \le K(\varepsilon + C\varepsilon_{app})$, where $\varepsilon_{app}$ is the approximation error of the network class. This improves upon existing $\widetilde{O}(\varepsilon^{-4})$ guarantees and does not require the Polyak--Lojasiewicz condition in the statistical analysis. Instead, we exploit a structural property of the squared-loss objective - it induces an approximate Bernstein condition that directly ties the variance of the excess loss to the excess risk up to additive approximation-error. This condition enables a localized Rademacher complexity analysis yielding fast $O(1/n)$ rates. The flow-matching schedule enters the leading statistical prefactor through the Lipschitz constant of the pointwise loss, which we characterize explicitly for standard schedules.
정류 흐름(rectified flow) 기반 이미지-to-3D 생성 모델의 최근 발전은 고충실도 3D 에셋 생성을 가능하게 했습니다. 이를 바탕으로, 참조 이미지의 시각적 속성을 생성된 3D 에셋으로 전이하기 위해 이러한 강력한 3D 사전 분포(prior)를 활용하는 학습(training) 불필요 스타일화 연구가 점차 늘어나고 있습니다. 그러나 기존 방법들은 '전부 아니면 전무(all-or-nothing)' 패러다임을 강제하여, 색상과 텍스처를 독립적으로 제어할 수 있는 메커니즘 없이 결합된 형태로 전이하며, 본 논문에서는 이러한 한계를 분리된 3D 스타일화(Disentangled 3D Stylization, Disen3D) 문제로 공식화합니다. 이를 해결하기 위해, 저자들은 Disen3D를 위한 최초의 학습 불필요 프레임워크인 DiDE를 제안합니다. 제안하는 접근법의 핵심은 이미지-to-3D 모델의 구조화된 잠재 공간(latent space)이 텍스처 관점에서 과완비(overcomplete)되어 있다는 관찰에 있습니다. 즉, 텍스처 정보는 스타일에 중요한 채널 중 극히 일부만 차지하므로, 독립적인 색상 인코딩에 사용할 수 있는 여유 하위 공간(subspace)이 남게 됩니다. DiDE는 전용 브랜치를 통해 콘텐츠 이미지, 텍스처 참조, 색상 참조를 처리하고 모든 셀프 어텐션(self-attention) 층(layer)에서 두 스타일 신호를 간섭 없이 합성하여 전체 과정에서 콘텐츠 지오메트리를 보존하는 채널 분할 메커니즘을 통해 이를 활용합니다. 새롭게 구축된 다중 참조 벤치마크인 Disen3D-Bench에 대한 실험 결과, DiDE가 색상 충실도, 텍스처 전이, 콘텐츠 보존 측면에서 기존 2D 및 3D 스타일화 베이스라인들을 일관되게 능가함을 보여줍니다.
고해상도 강수 추정치는 홍수 위험 평가와 수자원 관리를 지원하지만, 저해상도 위성 관측 자료는 각 격자 셀 내의 강우를 세밀하게 분해하지 못합니다. 생성 모델(generative model)은 그럴듯한 고해상도 강우장의 앙상블(ensemble)을 생성함으로써 이러한 모호성을 해결합니다. 이러한 모델 중 정류 흐름(rectified flow)은 무작위 노이즈를 강우장으로 반복 변환하여 샘플을 생성합니다. 샘플링 스텝 수를 줄이면 생성 속도는 빨라지지만 앙상블 구성원들이 지나치게 유사해져 불확실성을 과소평가할 수 있습니다. 본 연구에서는 국소적 세부 정보에 앞서 광역 패턴을 먼저 생성하고, 공간 스케일 전반에서 앙상블 변동성과 예측 오차를 비교하여 샘플링 스텝 할당을 유도하는 스케일 재귀적 정류 흐름(scale-recursive rectified flow)을 제안합니다. 검증(validation) 점수와 강우 파워 스펙트럼을 통해 할당을 제한함으로써 과도한 증폭을 방지합니다. 미국 본토를 대상으로 한 위성-레이더 다운스케일링 실험에서, 분석 결과 샘플링 예산이 줄어들었을 때 광역 강우 패턴이 불충분한 앙상블 변동성의 주요 원인임을 확인했습니다. 동일한 아키텍처 및 계산 비용 하에서 조대(coarse) 흐름에 더 많은 스텝을 할당한 결과, 여러 학습(training) 시드 전반에서 확률적 정확도와 강우 탐지 성능이 향상되었습니다. 또한 제안된 모델은 더 많은 스텝을 사용하는 비재귀적 흐름보다 더 짧은 샘플링 시간으로도 더 우수한 확률적 정확도를 달성했습니다.
고밀도 표면 근전도(HD-sEMG) 제스처 인식은 의수 제어, 보조 로봇, 재활을 지원하지만, 전극 재착용과 생리적 변동성이 분포 이동(distribution shift)을 일으켜 세션 및 피험자 간 정확도를 저하시킨다. 생성형 HD-sEMG 모델은 주로 증강을 위해 신호를 합성하며, 확산(diffusion) 모델이 표현 학습(representation learning)을 향상시키더라도 예측은 여전히 별도의 분류기에 의존한다. 학습된 역학을 결정 규칙에 연결하기 위해, 세션 및 피험자 간 HD-sEMG 인식을 위한 최초의 판별적 flow-matching 프레임워크인 MyoFlow를 제안한다. 분류(classification)를 앵커 결합 수송(anchor-tied transport)으로 재구성한다. 도메인 조건 정류 흐름(rectified flow)이 인코딩된 윈도우를 수송 목표이자 최근접 앵커 결정 기하를 정의하는 제스처 앵커 쪽으로 이동시켜, 독립적인 헤드(head) 없이 제로샷(zero-shot) 인식을 가능하게 한다. Hyser 데이터셋(dataset)에서 MyoFlow는 가장 강력한 확산 기반 기준선(baseline) 대비 평균 교차 세션 및 교차 피험자 정확도를 각각 4.24% 및 6.37% 향상시키며, CEMHSEY 데이터셋에서 여러 날에 걸친 평균 제로샷 정확도 91.71%와 평균 퓨샷(few-shot) 정확도 97.39%를 달성한다.
클래스 조건부(class-guided) 3D 객체 생성은 지능형 콘텐츠 제작, 가상 환경, 디지털 에셋 디자인에서 중요합니다. 3D 가우시안 스플래팅(3DGS)은 명시적이고 렌더링 효율적인 표현 방식을 제공하지만, 가우시안 프리미티브(Gaussian primitive)가 순서가 없고 크기가 가변적이며 국소적으로 밀집되어 있고 렌더링에 매우 민감하기 때문에 3D 가우시안 객체를 직접 생성하는 것은 어렵습니다. 기존의 3DGS 생성 방법들은 주로 다중 뷰 합성, 재구성, 또는 승격된(lifted) 2D 사전 확률(prior)에 의존하여, 3D 가우시안 객체의 본질적인 구조적 분포를 모델링하기보다는 관측된 뷰의 정보를 주로 융합합니다. 본 논문에서는 렉티파이드 플로우(rectified flow)를 통해 클래스 조건부 3DGS를 직접 생성하기 위한 융합 인지(fusion-aware) 계층적 가우시안 패치 표현을 제안합니다. 불규칙한 가우시안 집합은 정규 국소 패치로 분해되어 구조화된 토큰으로 인코딩됩니다. 그 결과 형성된 계층적 잠재 공간(latent space)은 전역 클래스 의미론(semantics), 패치 수준의 기하학 및 외형, 공간적 대응성, 렌더링 민감 단서들을 융합합니다. 이를 바탕으로, 패치 위치 조건화, 전역-국소 결합 속도 예측, 밀도 인지 속도 가중치를 갖춘 구조 인지 렉티파이드 플로우 모델을 설계하여 수 초 내에 클래스 조건부 3DGS 객체를 잠재 공간에서 직접 생성할 수 있도록 합니다. 또한 렌더링 피드백 융합 전략을 통해 잠재 흐름 학습을 디코딩된 다중 뷰 렌더링 품질과 추가로 정렬합니다. 실험 결과에 따르면, 제안된 방법은 기준선 잠재 생성 모델들에 비해 더 일관된 기하학적 구조, 더 선명한 국소 세부 표현, 더 뛰어난 다중 뷰 일관성을 갖춘 3D 가우시안 객체를 생성합니다. 소거 연구(ablation study)를 통해 전반적인 실용적 샘플링 효율성을 유지하면서 계층적 정보 융합, 전역-국소 결합, 밀도 인지 지도(supervision), 렌더링 피드백 학습의 기여도를 확인했습니다.
멀티모달 감정 인식(MER)에서는 여러 모달리티의 상보적 단서를 통합해 인간의 정서 상태를 추론한다. 오디오-텍스트 MER에서는 정서 단서가 화자 스타일과 어휘 내용과 얽혀 있고, 교차 모달 불일치는 증거를 어떻게 통합할지 더 복잡하게 만든다. 기존 판별형 융합에서는 멀티모달 증거가 최종 예측으로 압축되어 모달리티별 단서와 충돌 정보가 충분히 보존되지 않는다. 반면 대규모 생성형 정서 모델에서는 정서 추론이 보통 언어 디코딩에 내재되어 감정 증거가 암묵적이며 구조화된 공간에서 검증하기 어렵다. 이러한 한계를 위해 BiCFlow-MER(Bidirectional Conditional Flow for Multimodal Emotion Recognition, 멀티모달 감정 인식을 위한 양방향 조건 흐름)를 조건 흐름(condition flow) 프레임워크로 제안하며, 오디오-텍스트 MER를 구조화된 감정 공간에서의 생성적 증거 수송 문제로 formulation한다. BiCFlow-MER 내에서는 감정 지향 증거를 화자 스타일·어휘 내용 요인에서 분리(disentangle)해 충돌 인식(conflict-aware) 정서 조건을 구성한다. 이 조건의 안내 하에 각 발화(utterance)는 양방향 rectified flow를 통해 명시적 감정 공간 끝점으로 수송(transport)된다. 후보 감정은 수송된 끝점에 대한 적응형 프로토타입-클라우드(prototype-cloud) 스코어링과 원래 멀티모달 조건에 대한 역방향 클래스-조건 일관성을 함께 검증하여 충돌 인식 인식을 가능하게 한다. BiCFlow-MER는 IEMOCAP, MELD, 제로샷(zero-shot) CASE 벤치마크에서 비교한 모든 방법보다 우수한 것으로 보고된다. 조건 수송을 통해 판별 인식과 생성적 증거 모델링을 조율(orchestrate)함으로써 BiCFlow-MER는 새로운 MER 패러다임을 제시한다.
이미지-층 분해는 평탄화된 이미지를 편집 가능한 RGBA 층으로 변환하여 디자인 워크플로에서 요소 단위 편집을 가능하게 한다. 기존 확산(diffusion) 기반 시스템은 일반적으로 대규모 사전학습된 텍스트-이미지(T2I) 모델을 적응시키고 RGBA 오토인코더 또는 가변 층 아키텍처 모듈을 도입한다. 우리는 이 설계 선택을 재검토하며, 층 분해가 정말로 이러한 고중량 구성 요소를 필요로 하는지 묻는다. 우리는 이미지-층(I2L) 분해를 위해 처음부터 학습된 픽셀 공간 rectified-flow 트랜스포머인 PixelART를 제안한다. PixelART는 단일 스트림 멀티모달 확산 트랜스포머로 영역 RGBA 픽셀 패치를 직접 디노이징하며, RGBA-VAE, 사전학습 T2I 백본, 층별 디코더를 사용하지 않는다. 우리는 이 과제의 핵심 특성을 밝힌다. 고노이즈 타임스텝은 층 할당과 거친 층 구조를 결정하고, 저노이즈 타임스텝은 주로 색상, 알파, 텍스처, 경계를 정제한다. 이 관찰에 기반하여 고노이즈 층 할당 구간에서 학습 커버리지를 높이기 위해 terminal-boosted 타임스텝 샘플링 전략을 제안한다. 400만 개의 다층 디자인 템플릿으로 학습된 PixelART는 Design-Multi-Layer-Bench와 LICA에서 최근 Qwen-Image-Layered 모델 대비 파라미터 80% 이상 감소, 지연 시간 98% 감소, 메모리 85% 감소로 최첨단 층 분해 및 합성 재구성 성능을 달성한다. Ablation 실험은 픽셀 공간 $\mathbf{x}$-prediction, terminal-boosted 타임스텝 샘플링, 데이터/모델 스케일링이 핵심적임을 보여 주며, T2I 사전학습은 I2L 과제에 미미한 이득만 가져온다.
Rectified Flow 기반 확산 트랜스포머, 특히 FLUX는 고품질 이미지 생성에서 뛰어난 성능을 보여왔다. 그러나 충실한 재구성과 편집을 위해 이미지를 잠재 노이즈로 되돌리는 빠르고 정확한 역변환(inversion)을 달성하는 것은 선형 솔버의 이산화 오류로 인해 여전히 어려운 병목으로 남아 있다. 본 논문은 FLUX의 고충실도 역변환 및 편집 잠재력을 완전히 끌어내는 간단하면서도 매우 효과적인 제로샷(zero-shot) 접근법인 SlerpFlow를 제안한다. 궤적 오류를 보정하기 위해 고차 Taylor 전개와 같은 복잡한 수치 근사에 의존하는 기존 접근법(예: RF-Solver)과 달리, 우리는 매니폴드 가설(Manifold Hypothesis)에 기반한 기하학적 관점을 제시한다: 경험적으로 관찰되는 궤적 곡률은 수치적 인공물(artifact)이 아니라, 흐름이 데이터 매니폴드 상에 머물도록 제약하는 필수적인 "구심력(centripetal force)" 역할을 한다. 이러한 통찰에 따라 SlerpFlow는 구면 선형 보간(Spherical Linear Interpolation, Slerp)을 통합하여 초구면(hypersphere) 상의 흐름 속도 방향을 보정하고, 잠재 공간의 내재적 곡률을 엄격히 준수한다. 중요하게도, 보정된 속도를 이후 단계에 캐싱함으로써 SlerpFlow는 1차 Euler 솔버의 계산 효율성을 유지하면서 고정밀도 역변환을 달성한다. FLUX 기반 재구성 및 편집 작업에 대한 광범위한 실험은 SlerpFlow가 재구성 충실도를 향상시키고, 추가 학습 없이 편집에서 더 강한 의미적 정렬(semantic alignment)을 달성함을 보여준다. 코드는 https://github.com/0answer0/SlerpFlow 에서 제공된다.
현대 생성 모델은 점점 더 모델이 생성한 신호를 사용해 학습되며, 이는 자기 개선의 기회와 함께 붕괴(collapse)의 위험을 동시에 만든다. 우리는 rectified flow(RF)에 대한 최적 자기 지식 증류(self-distillation, SD)를 연구한다: 차(suboptimal) teacher 속도 필드가 주어졌을 때, 실제 RF 속도와 teacher 속도의 혼합으로 학습된 student가 teacher를 증명 가능하게 개선할 수 있는가? 고정된 보간 쌍에 ridge 정규화를 적용한 선형 RF에 대해, 우리는 정확한 아핀 경로 항등식을 증명하고, 최적 혼합 계수를 폐형(closed form)으로 도출하며, teacher 위험(risk)이 정규화 경로를 따라 비정상(nonstationary)일 때마다 통합 속도 위험에서의 엄격한 개선을 보인다. 최적 계수는 부호 규칙(sign rule)을 따른다: 양의 혼합은 정규화가 부족한(under-regularized) teacher를 교정하고, 음의 혼합은 정규화가 과도한(over-regularized) teacher를 교정한다. 또한 혼합 가중치에 대한 그리드 탐색과 반복 재적합(repeated refitting)을 피하는 one-shot 일반화 교차 검증(generalized cross-validation, GCV) 및 검증 튜닝 절차를 제시한다. 이 정리를 RF Wasserstein 수렴 경계와 결합하여, 최적 자기 지식 증류가 연속 시간 및 유한 단계(finite-step) 생성 오류를 제어하는 속도 추정 항들을 개선함을 보인다. 가우시안 모델, 가우시안 혼합, 이미지 데이터에 대한 실험은 최적 자기 지식 증류가 teacher와 순수 지식 증류(pure distillation) 모두에 비해 속도 위험, 모드 복원(mode recovery), 유한 단계 생성을 개선함을 보여준다.
이미지-포인트 클라우드 정합(Image-to-Point Cloud Registration, I2P)은 지각 및 자율주행 시스템에서 카메라와 LiDAR를 통합하는 데 필수적이지만, 이미지와 포인트 클라우드 간의 모달리티 격차(modality gap)로 인해 높은 정확도와 강한 일반화를 동시에 달성하기 어렵다. 본 논문에서는 LiDAR를 이미징 센서로 취급하는 단순하면서도 효과적인 I2P 방법을 제안한다. 단일 희소 LiDAR 스캔으로부터 Conditional Rectified Flow를 이용해 밀집 LiDAR intensity 이미지를 생성하고, 사전학습된 특징(feature) 매처로 카메라 이미지와 매칭하며, PnP-RANSAC을 통해 6-DoF 상대 자세(relative pose)를 추정한다. 제안 모델은 자기지도(self-supervised) 이미지 완성(completion) 작업으로 사전학습(pre-training)되고 소량의 LiDAR 데이터로 파인튜닝(fine-tuning)되며, 이미지-포인트 클라우드 쌍이나 ground-truth 센서 자세가 필요하지 않아 다양한 LiDAR 및 카메라 구성으로 확장할 수 있다. R3LIVE 데이터셋에서의 실험 결과, 제안 방법은 평균 오차 4.89° / 1.63 m를 달성하여 기존 방법을 능가하며, 단일 정합(registration)을 약 0.68초 만에 완료한다.
\textbf{AffectFlow-DINO}를 제안한다. 이는 제11회 ABAW 챌린지를 위한 다중 과제 학습 시스템으로, 표준 결정론적 아키텍처에 조건부 rectified-flow 헤드를 확장하여 in-the-wild 얼굴 행동의 고유한 모호성을 모델링한다. 단일 정서 추정치를 예측하는 대신, 모델은 조건부 생성 분포를 학습하여 Monte Carlo 샘플링을 통해 불확실성을 고려한 일대다(one-to-many) 예측을 가능하게 한다. 이 시스템은 정적 얼굴 이미지로부터 연속적인 valence-arousal을 공동 추정하고, 8가지 얼굴 표정을 분류하며, 12개 Action Unit을 탐지한다. 동결된 DINOv3 ViT-S/16 백본 위에 구축되었으며, 광범위한 ablation 연구를 통해 rectified-flow 디코딩이 결정론적 예측을 일관되게 개선하며, 특히 valence-arousal 추정(CCC-V $+0.058$)에서 두드러짐을 보였다. 또한 사후 임계값 보정(post-hoc threshold calibration)이 재학습 없이 심각하게 불균형한 희귀 클래스(예: Fear: $3.8\% \rightarrow 33.1\%$)의 성능을 효과적으로 회복함을 보였다. 백본 미세조정과 flow 재튜닝을 결합한 최종 모델은 $\mathbf{P_{MTL}=1.177}$을 달성하여 공식 챌린지 기준선 $P_{MTL}=0.45$를 크게 능가한다.
Flow Matching 목적 함수에 기반한 생성 모델, 특히 Rectified Flow는 효율적이고 고품질의 이미지 합성을 위한 지배적 패러다임으로 부상했다. 그러나 기존 연구가 생성 품질과 아키텍처 스케일링에 크게 우선순위를 두는 반면, RF 모델이 학습 데이터를 암기하는 기저 역학은 여전히 거의 탐구되지 않았다. 본 논문에서는 멤버십 추론 공격(Membership Inference Attack, MIA)의 검정 통계량을 통해 RF의 암기 행동을 체계적으로 조사한다. 우리는 점진적으로 세 가지 검정 통계량을 정식화하고, 이미지의 고유한 공간 복잡도를 진정한 암기 신호와 성공적으로 분리하는 복잡도 보정 지표에 이르게 한다. 이 보정은 상당한 성능 향상을 가져오며—공격 AUC를 최대 15%까지, 프라이버시에 중요한 TPR@1%FPR 지표를 최대 45%까지 끌어올려—RF에 특화된 최초의 비자명한 MIA를 확립한다. 이 정교화된 지표를 활용해 우리는 뚜렷한 시간적 패턴을 밝혀낸다: 표준적인 균등 시간 학습 하에서 모델의 MIA 취약성은 적분 중간점에서 엄격히 최고조에 이르며, 이 현상은 네트워크가 선형 근사에서 강제로 벗어나야 하는 특성을 통해 설명한다. 마지막으로, 균등 타임스텝 샘플링을 대칭 지수(Symmetric Exponential, U형) 분포로 대체하면 취약한 중간 타임스텝에 대한 노출을 효과적으로 최소화함을 보인다. 세 데이터셋에 걸친 광범위한 평가는 이 시간적 정규화가 생성 충실도를 유지하면서 암기를 억제함을 확인한다.
Rectified flow 기반 생성 모델에서는 신경망이 노이즈 제거를 수행하기 위해 순간 속도(instantaneous velocity)나 데이터 끝점(data endpoint)과 같은 두 가지 서로 다른 목표를 예측하도록 학습될 수 있다. 선행 연구는 이러한 파라미터화(parameterization)가 서로 다른 경험적 거동을 초래한다는 것을 보여주었지만, 각각의 장점을 뒷받침하는 메커니즘은 아직 충분히 탐구되지 않았으며, 이를 효과적으로 결합하는 방법 역시 불분명하다. 본 연구에서는 서로 다른 파라미터화에서 발생하는 학습 오류가 생성 성능에 어떤 영향을 미치는지 분석한다. 데이터 끝점을 예측하는 것은 학습을 안정화하는 명확한 학습 신호를 제공하는 반면, 속도를 예측하는 것은 데이터 매니폴드(data manifold) 근처에서 안정적인 샘플링 동역학(sampling dynamics)을 유지한다는 것을 보인다. 이러한 통찰에 기반하여, 두 파라미터화의 이점을 통합하는 새로운 방법인 Self-Consistent Flow(SC-Flow)를 제안한다. 경량 일관성 손실(consistency loss)을 활용하여 SC-Flow는 단일 신경망이 국소 속도와 데이터 끝점을 모두 예측하도록 공동 학습하며, 두 예측 간의 일관성이 모델의 성능을 향상시킨다. 이 방법은 큰 아키텍처 변경 없이 최소한의 계산 오버헤드만 추가한다. 이미지 생성 작업에 대한 광범위한 실험에서 SC-Flow가 최적화를 실질적으로 안정화하고 생성 경로의 직진성(straightness)을 개선하여, 표준 rectified flow 기준선 대비 생성 품질에서 유의미한 향상을 이룬다는 것을 보여준다.
소수 단계로 증류된 확산 학생 모델은 텍스트-이미지 추론을 약 50회에서 1~8회의 네트워크 평가로 줄이지만, 품질 차이는 대개 단일 FID/CLIP 스칼라로 요약되어 조건화 응답의 어떤 축이 변했는지, 혹은 특정 동작이 아키텍처에서 비롯된 것인지, 증류 목표에서 비롯된 것인지, 아니면 단순히 확산 모델이기 때문인지를 설명하지 못한다. 우리는 이 스칼라를 분해 가능한 프로브로 대체하며, 이 프로브는 세 가지 모드(평균, 분산, 스케일)와 여섯 가지 강도 하에서 세 개의 층(프롬프트 인코더, 디노이저 입력, 디노이저 출력)을 따라 제어된 섭동을 주입하고, Inception 특징에 대한 부트스트랩 중앙값 Bures W2^2 선택성 비율을 보고한다. 다섯 개의 교사 모델과 다섯 개의 백본 패밀리(SDXL, SD1.5, SD3.5, PixArt-alpha, FLUX), 세 개의 아키텍처 클래스(UNet, DiT, MMDiT), 다섯 개의 증류 패러다임에 걸친 18개의 증류 학생 모델을 포함하는 23개의 모델 전체에 단일 매칭 추정기를 적용한 결과, 세 층은 경험적으로 분리 가능한 세 가지 요인을 읽어낸다: 프롬프트 층은 보편적인 프롬프트 평균 응답(판별자가 아닌 온전성 채널)이고, 잠재 변수 층은 예측 유형을 읽으며, 스코어 층은 증류 목표를 읽는다. 주요 결과: 이 탐색 범위 내에서 잠재 변수 층은 정류 흐름(rectified-flow) 백본의 이진에 가까운 검출기이다. 그 비율은 정류 흐름 모델(SD3.5, FLUX)에 대해서만 지속적인 낮은-중간 강도 구간에 걸쳐 1을 초과하며, 엡실론(epsilon) 예측 모델은 이를 충족하지 못한다. 매칭된 엡실론 예측 대조군(PixArt-alpha)은 광역 T5 조건화를 배제하며, 지문은 교사와 학생 모두로서 적대적(ADD) 증류에서도 유지된다. 두 가지 부차적 스코어 층 발견은 더 좁은 범위에서 성립한다: 비-ADD 기준선이 있는 UNet 패밀리에 대한 표준 4단계 ADD 대 나머지 대조, 그리고 UNet과 DiT 모두에서 CI로 분리된 궤적-롤아웃 초기 강도 스코어 스파이크. 모든 비율은 단일 추정기 하에서 CI로 인용 가능하며, 우리는 셀별 테이블과 추정기를 공개한다.
자율주행 테스트를 위한 현실적 교통 시뮬레이션에서 에이전트의 행동을 해석 가능한 축(안전성, 지도 준수, 속도 등)으로 제어하기 위해, CNeVA(Controllable Neural Variational Agents)는 채널별 할인 보상으로부터 폐쇄형 켤레 변분 추론으로 에이전트별 행동 잠재 변수를 학습하고 이를 rectified-flow 궤적 생성기에 조건화한다. Waymo Open Motion Dataset 벤치마크에서 경쟁력 있는 현실성을 유지하면서, 소프트 자격 게이트(soft eligibility gates) 도입으로 보상 해킹 없이 단조로운 안전성·속도 제어를 달성했다.
4D 역학(시간에 따라 진화하는 3D 기하)은 물리 세계의 기본 표현이며 월드 모델링(예: 애니메이션 및 게임)에서 중요한 역할을 한다. 임의 형상을 갖는 대규모 장기(horizon) 4D 메시 데이터의 부족으로, 초기 text-to-4D 방법은 비디오 확산 사전지식으로부터의 지식 증류(distillation) 또는 테스트 시점 최적화(test-time optimization)에 의존하여 추론이 지나치게 느려진다. 최근 피드포워드 생성기는 추론 비용을 크게 줄이지만 시공간적 제어 가능성이 제한적이며, 단기(horizon) 생성은 종종 장기 시퀀스에서 오류 누적을 초래한다. 우리는 키프레임 조건(keyframe conditioning)을 갖춘 임의 4D 메시를 위한 새로운 피드포워드 인-betweening 프레임워크를 제안한다. 범용 메시-애니메이션 잠재 표현(universal mesh-animation latents)을 기반으로, 키프레임 조건을 위해 참조 메시(reference mesh)에 고정(anchor)된 위상 비종속(topology-agnostic) 잠재 토큰으로 각 프레임을 인코딩하는 프레임 단위 메시 VAE를 도입한다. 또한 희소 키프레임(sparse keyframes)에 조건화된 비키프레임(non-keyframe frames)을 합성하는 MMDiT 백본을 갖춘 키프레임 조건 정류 흐름(rectified flow) 모델을 추가로 도입한다. 실험 결과 DyMesh16 및 DyMesh32 벤치마크 모두에서 강력한 성능과 향상된 제어 가능성을 보여준다.
오디오 편집은 나머지 음향 콘텐츠를 보존하면서 자연어 명령어에 따라 기존 오디오 클립의 특정 콘텐츠를 수정하는 것을 목표로 합니다. 디퓨전 모델의 획기적인 발전에도 불구하고, 기존 학습 기반 편집 방법들은 주로 합성곱 U-Net 백본의 국소적 편향(local inductive biases)과 크로스 어텐션(cross-attention) 상호작용에 의존하며, 이는 장거리 의미 정렬과 명령어의 정확한 이해 및 지역화를 종종 저해합니다. 대조적으로, 디퓨전 트랜스포머는 더 강력한 전역 모델링과 멀티모달 융합을 제공하지만, 기존 편집 아키텍처는 일반적으로 MMDiT와 DiT 블록의 단순한 스택을 채택합니다. 모든 블록에서 연결된 오디오 및 텍스트 토큰에 대해 조인트 어텐션(joint attention)을 적용하면 토큰 길이에 대해 이차적인 복잡도가 발생합니다. 편집 성능과 효율성의 균형을 맞추기 위해, 우리는 Rectified Flow 매칭을 기반으로 명령어 기반 오디오 편집을 위한 하이브리드 2단계 디퓨전 트랜스포머 아키텍처를 제안합니다. 이 방법은 저해상도 단계에서 대략적인 의미 정렬을 수립하기 위해 오디오 및 텍스트 토큰에 대해 조인트 어텐션을 수행한 다음, 고해상도 단계에서 편집 세부 사항을 정제하기 위해 교대로 조인트 어텐션 및 크로스 어텐션 블록으로 전환합니다. 이 coarse-to-fine 전략은 효율적이고 정확한 명령어 기반 오디오 편집을 가능하게 합니다. 실험 결과, 제안된 프레임워크는 중첩된 오디오 이벤트와 복잡한 명령어가 포함된 어려운 편집 작업에서 두드러진 성능 향상을 달성하면서, 컴팩트한 모델로 편집 효율성을 상당히 개선하는 것으로 나타났습니다.
우리는 10억 매개변수 규모로 처음부터 학습된 흉부 방사선 사진 합성을 위한 최초의 생성형 기반 모델을 소개합니다. 기존 방사선 사진 AI 모델은 환자 하위 집단, 기관 및 촬영 설정 전반에 걸쳐 일반화 성능이 낮아 실제 임상 유용성이 제한되는 문제가 자주 발생합니다. 흉부 방사선 사진의 제어 가능하고 고품질 합성은 임상 데이터셋을 다양화하고 진단 모델의 강건성을 평가하는 데 있어 유망한 경로입니다. 따라서 우리는 120만 장의 방사선 사진과 임상 전문가가 가이드한 메타데이터로 구성된 큐레이션된 이질적 데이터셋에서 1.6조 토큰을 학습한 13억 개 이상의 매개변수를 가진, 현재까지 가장 큰 흉부 방사선 사진 전문 생성형 기반 모델을 제시합니다. 우리의 모델은 다양한 인구통계학적 하위 집단, 촬영 뷰, 10여 가지 병리학적 소견에 걸쳐 제어 가능한 방사선 사진 생성 및 편집을 지원합니다. 또한, 우리는 방사선 사진 합성 충실도 측면에서 최신 기술 수준을 크게 발전시켜, 임상 전문가가 실제 방사선 사진과 구별할 수 없는 이미지를 생성합니다.
픽셀 공간 확산 모델(Diffusion Model)은 전체 대역폭의 잡음 이미지로 학습되지만, 디노이저(denoiser)가 사용할 수 있는 유용한 신호는 주파수에 강하게 의존합니다. Rectified Flow 확산과 자연 이미지 멱법칙 스펙트럼(power-law spectra) 하에서, 대역별 데이터 대 잡음 윤곽 $k^{*}(t) = (1-t)^{-2/α}$은 각 시간 $t$에서 신호를 포함하는 저주파 영역과 잡음이 지배적인 고주파 영역을 분리합니다. 우리는 이 암시적인 Coarse-to-fine 구조가 단순히 설명적인 것이 아님을 보이며, 이는 용량 할당 문제를 유발합니다. 표준 픽셀 공간 디노이저는 내부적으로 이동하는 대역폭 경계를 발견해야 하며, 최적의 예측이 데이터 분포 모델링보다는 결정론적 베이스라인(baseline)으로 붕괴되는 주파수-시간 영역에 연산을 소비할 수 있습니다. 이 경계를 명시적으로 만들기 위해, 우리는 스펙트럴 포싱(Spectral Forcing)을 도입합니다. 이는 패치 임베더(patch embedder) 이전에 잡음 입력에 적용되는 매개변수가 없는(parameter-free), 시간 조건부(time-conditional) 2D-DCT 저역 통과 연산자입니다. 그 차단 주파수(cutoff)는 확산 시간에 따라 단조롭게 확장되며 데이터 종점에서 항등 연산자가 됩니다. 제어된 합성 실험을 통해, 우리는 이 연산자가 유익한 레짐(regime)을 식별했습니다: coarse 패치 토큰화(tokenization)와 고주파 내용이 필수 신호보다는 주로 잡음인 데이터입니다. JiT-700M/32를 사용한 ImageNet-256에서, 스펙트럴 포싱은 다양한 학습 에포크(epoch)에 걸쳐 FID와 Inception Score를 일관되게 향상시키며, 학습 전반에 걸쳐 견고한 이득을 보여줍니다. 더 미세한 토큰화에서도 스펙트럴 포싱은 여전히 경쟁력이 있습니다. 우리는 또한 변경되지 않은 연산자를 통합 텍스트-투-이미지 모델인 SenseNova-U1에 삽입했으며, 여기서 DPG-Bench와 GenEval을 향상시켜, 입력 단 스펙트럴 사전(prior)이 클래스 조건부 생성(class-conditional generation)을 넘어 전이됨을 보여줍니다. 이러한 결과는 신호를 드러내고 잡음을 숨김으로써 용량 효율적인 픽셀 공간 확산으로 가는 경로를 제안합니다.