Adobe Photoshop의 Remove 및 Generative Fill 버튼과 같은 창의적 이미지 편집 도구는 일상적인 고객 사용의 중심이며 트래픽의 상당 부분을 차지한다. 그러나 현재의 생성형 AI 모델은 상당한 지연 시간 문제에 직면해 있으며, 이 분야가 합성곱 기반 U-Net에서 Diffusion Transformer(DiT)로 전환되면서 그 문제는 더욱 두드러진다. 다양한 마스크 비율에 걸친 수백 개의 대표적인 이미지 편집 샘플에 대한 평가에서, DiT 모듈은 50 타임스텝에서 8 타임스텝으로 증류한 후에도 전체 모델 지연 시간의 평균 73%를 차지한다. 이 문제를 해결하기 위해 고주파이며 문맥이 풍부한 영역에 더 큰 토큰 예산을 할당하고 저주파 영역에는 더 적은 토큰을 할당하는 입력 적응형 토큰 압축 프레임워크인 $\textbf{HiLo-Token}$을 제안한다. 구체적으로, 사용자 마스크로 지정된 편집 영역에서는 강한 지역성과 문맥적 관련성을 보존하기 위해 팽창된 마스크 내의 모든 토큰을 유지한다. 편집 영역 밖에서는 중요한 국소 세부 정보를 포착하기 위해 공간 주파수에 기반한 단순하지만 효과적인 고주파 토큰 선택 전략을 도입하고, 크게 다운샘플링된 이미지의 토큰으로 저주파 성분을 표현하여 대략적인 전역 구조를 보존한다. 실제 서비스 수준의 평가 데이터에 대한 광범위한 실험은 제안 방법의 효과를 입증하며, 평균 비율이 각각 6.38%, 15.92%, 35.36%인 작은, 중간, 큰 마스크 비율 범주의 이미지 편집 작업에서 A100-80GB 기준 DiT 속도를 각각 3.13$\times$, 2.59$\times$, 1.67$\times$ 향상시키면서 생성 품질의 저하는 없다. 편집 파이프라인이 분리되어 독립적으로 오토스케일링되는 GPU 워커로 서빙되는 실제 서비스 환경에서, 이러한 요청당 절감은 모델 서빙에 필요한 GPU의 33% 감소로 이어진다.
비디오 확산 트랜스포머(VDiT)는 고충실도 비디오 생성에서 상당한 능력을 보여 왔다. 그러나 장시간 비디오를 생성하는 능력은 셀프 어텐션 메커니즘의 이차 복잡도에 의해 근본적으로 제약된다. 최근의 클러스터링 기반 희소 어텐션 방법은 의미적으로 유사한 토큰을 묶어 품질과 속도 간 절충을 개선하지만, 실제 효율은 상당한 클러스터링 오버헤드와 불규칙한 클러스터 유도 블록으로 인한 낮은 CTA 활용률이라는 두 가지 병목으로 인해 제한된다. 우리는 이 두 병목을 함께 해결하는 학습 불필요 희소 어텐션 프레임워크인 HyperVAttention(HVA)을 제안한다. 클러스터링 오버헤드를 줄이기 위해, 비디오 토큰의 시공간 지역성을 활용하여 중심점 탐색을 고정된 국소 이웃으로 제한하는 3D 국소 윈도우 클러스터링을 도입하고, 효율적인 실행을 위해 맞춤형 Triton 커널로 구현한다. 또한 노이즈 제거 단계 전반에서 클러스터 할당의 시간적 안정성을 활용하여 앵커 단계에서만 전체 클러스터링을 수행하고 중간 단계에서는 일부 토큰만 갱신하는 하이브리드 클러스터링 전략을 제안한다. CTA 활용률을 높이기 위해, 병렬 병합형 군집화를 통해 CTA 정렬 실행 비용을 최소화하는 하드웨어 인식 클러스터 병합을 제시하며, 유휴 타일 용량을 활용하여 블록 밀도와 근사 충실도를 개선한다. 이러한 구성 요소는 함께 클러스터링 오버헤드를 줄이고 중복 갱신을 피하며 희소 어텐션을 최신 GPU 커널의 고정 타일 구조에 더 잘 맞춘다. 비디오 생성 실험에서 HVA는 학습 불필요 희소 어텐션의 파레토 프런티어를 개선하여, 비슷한 지연 시간에서 SVG2보다 높은 충실도를 달성하고 HunyuanVideo에서 전체 어텐션 대비 $2.13\times$ 속도 향상을, 더 빠른 변형인 HVA-Flash로는 $2.23\times$ 속도 향상을 달성한다.
플로 매칭과 확산 모델은 이미지에서 단백질에 이르는 다양한 영역에서 조건부 생성을 가능하게 하며, 최근에는 분포 외 맥락으로도 확장되고 있다. 그러나 신경 시계열의 생성 모델은 대체로 범주형 조건화에 머물러 있어 조합적이고 제로샷인 일반화가 어려웠다. 본 연구에서는 조합적 언어와 선택적 공간 사전 정보를 문맥 내(in-context)로 주입하여, 보지 못한 인지 과제 동안의 현실적인 fMRI 뇌 동역학을 생성하는 시점별 조건부 확산 트랜스포머인 PINC-Flow를 제안한다. 이러한 제로샷 생성은 실증적 검증에 앞서 새로운 인지 실험을 in-silico로 설계하고 평가할 수 있게 함으로써 반사실적 신경과학을 가능하게 할 수 있다. 이 모델을 활용하여 수백 개의 보류된 과제 조건에 걸쳐 평가하고, 학습 매니폴드와의 관계에서 예측 성능을 규명한다. 모델은 언어만으로도 과제 전반의 영역별 동원 양상과 보류된 공간 활성화 패턴을 복원한다. 공간 사전 정보는 사용 가능할 때, 언어만으로는 성능이 저하되는 과제 공간 영역에서 생성을 고정시켜 텍스트 경로를 보완하면서도 반사실적 과제 명세에 필요한 조합 구조를 유지한다. 우리가 아는 한, 이는 보지 못한 인지 과제에 대한 전체 피질 fMRI 동역학의 최초의 생성 모델이며, 반사실적 신경과학과 데이터 기반 실험 설계를 진전시킨다.
Siri Expressive Voices는 Apple의 가장 강력한 온디바이스 파운데이션 모델인 AFM 3 Core Advanced를 기반으로, 풍부하고 설정 가능한 음성을 실시간으로 전적으로 기기 내에서 합성한다. 본 연구는 이 기능의 기반이 되는 메모리 효율적 오디오 합성 아키텍처를 제시한다. 이는 파운데이션 모델이 내보내는 의미적 오디오 토큰을 Scalable Matrix Extension(SME)의 빠듯한 연산 및 메모리 예산 내에서 고충실도 오디오로 변환하는 디토크나이저이다. 우리는 시간 처리와 깊이 처리를 체계적으로 분리하는 스트리밍 인코더, 시간 디코더, 깊이 디코더의 세 구성 요소 설계로 의미적 오디오 토큰을 잔차 벡터 양자화(RVQ) 표현으로 변환한다. Diffusion Transformer(DiT) 방식의 단계 조건화를 갖춘 단일 재사용 가능 깊이 디코더가 모든 RVQ 수준을 자기회귀적으로 생성하여 기존 다중 디코더 아키텍처의 수준별 전용 디코더를 대체하며, 고정 윈도 키-값 캐싱을 사용하는 인과적 슬라이딩 윈도 어텐션은 시퀀스 길이와 무관한 일정한 메모리 복잡도를 제공한다. AMX에 배포된 디토크나이저는 생성 단계당 약 10 ms를 유지하여 실시간보다 약 16배 빠르며, 최대 런타임 메모리는 21 MB, 온디바이스 자산은 329 MB에 불과하여 20–320초 분량의 오디오를 연속 스트리밍 합성할 수 있다. 이러한 일정하고 작은 점유량은 기존 트랜스포머 및 GAN 기반 접근법의 선형 및 이차 메모리 증가를 대체한다. 절제 연구는 핵심 아키텍처 구성 요소를 검증하며, 오디오 품질 평가는 이 아키텍처가 기존 방법 대비 효율 향상을 달성하면서도 합성 충실도를 유지함을 확인한다. AFM 3 Core Advanced 내에서 10억 파라미터 활성화 크기로 동작하여, 이전 온디바이스 텍스트 음성 변환 시스템 대비 평균 의견 점수(MOS)를 전체적으로 +0.28(4.15 대 3.87), 대화체 음성에서 +0.42(4.24 대 3.82) 향상시킨다.
비디오 확산 트랜스포머(DiT)는 노이즈 제거 단계마다 수만 개의 시공간 토큰을 처리하므로, 저지연 추론과 학습은 일반적으로 여러 가속기에 분산하여 수행된다. 자동 병렬화 시스템은 논리 그래프 상에서 샤딩의 비용을 산정하지만, 실제 비용은 컴파일러가 생성하는 프로그램과, TPU 서브슬라이스와 같은 직접 네트워크에서는 각 논리 랭크를 어느 칩이 실행하는지에 따라 달라진다. 이 둘은 컴파일 이후에만 확인할 수 있는 반면 칩 할당은 그 이전에 확정되어야 한다. 우리는 컴파일러 독립적인 자동 병렬화 프레임워크 AoiZora를 제시한다. 이 프레임워크는 파티셔너가 샤딩하는 프로그램을 위한 IR과 컴파일러가 출력하는 프로그램을 위한 IR의 두 가지 IR을 기반으로 하며, 어떤 후보도 실행하지 않고 컴파일된 프로그램의 비용을 산정하여 샤딩되지 않은 모델의 논리 메시, 모든 텐서와 연산의 레이아웃, 장치 할당을 선택한다. AoiZora의 핵심은 증거(evidence)로, 이는 배치를 열어 둔 채 컴파일된 프로그램을 컴파일러 중립적으로 기록한 것이다. 이를 통해 한 번의 컴파일을 가속기 네트워크의 보정된 모델로 여러 배치에 대해 평가할 수 있으며, 배치가 어떤 샤딩이 선택될지를 결정할 수 있다. TPU v5e에서 AoiZora는 Wan 2.1과 HunyuanVideo의 노이즈 제거 지연 시간을 전문가 구성 및 Alpa 대비 평균 각각 1.23배, 1.32배 줄이며, 각 계획을 10분 이내에 찾는다. 또한 TPU v5p에서의 학습을 평균적으로 4개 칩에서 1.11배, 8개 칩에서 1.21배 가속하며, 동일한 핵심으로 GPU 상의 PyTorch 프로그램도 병렬화한다.
자기회귀(AR) 비디오 생성은 장기 합성(long-horizon synthesis)을 가능하게 하지만, 대규모 확산 트랜스포머를 통한 반복적인 순전파 연산을 필요로 합니다. 학습(training)이 필요 없는 캐싱 기법은 중간 계산을 재사용하여 이러한 비용을 줄이지만, 기존 제어기들은 캐시를 정확히 언제 동기화할지와 동기화 사이에 얼마만큼의 계산을 복원할 것인지라는 두 결정을 결합하는 경우가 많습니다. 본 논문에서는 이러한 역할을 분리하는 Frequency-Step Cache(FSC)를 제안합니다. FSC는 조밀한 단계에서 희소한 단계로 이어지는 궤적에 따라 정확한 전체 연산 앵커(anchor)를 스케줄링하며, 주파수 분해 드리프트와 토큰(token) 수명에 기반한 경량 잠재 공간 리스크를 통해 전체 스텝 재생, 선택적 토큰 재계산, 또는 완전 복원 방식으로 앵커 간 복원을 제어합니다. SkyReels-V2에서 전체 스텝 재사용은 대부분의 속도 향상을 제공하는 반면, 선택적 토큰 계산은 충실도 복원에 가장 효과적입니다. 통제된 어블레이션 실험에 따르면 단일 반응형 신호를 동기화와 복원 모두에 사용하는 것은 동일한 지연 시간에서 충실도를 감소시키며, 동일한 분리 이점이 FramePack 및 Matrix-Game에서도 관찰됩니다. 여러 자기회귀 비디오 백본 전반에서 FSC는 속도-품질 트레이드오프를 개선합니다. SkyReels-V2에서 FSC-Speed는 MotionCache의 2.275배 대비 2.36배의 속도 향상을 달성하면서도 SSIM을 0.019, PSNR을 0.5 dB 개선합니다. MotionCache와 동일한 속도에서 FSC-Quality는 SSIM을 0.031, PSNR을 1.0 dB 향상시키고 LPIPS를 0.024 낮춥니다. 재조정 없이도 FSC-Quality는 SkyReels-V2 14B에 전이되어 MotionCache의 1.79배 대비 2.12배의 속도 향상을 기록합니다.
디퓨전 특징(diffusion feature), 즉 디퓨전 모델 백본에서 추출된 중간 활성화는 생성과 시각적 이해(판별)를 통합하기 위한 유망한 접근법으로 부상했습니다. 디퓨전 백본이 디퓨전 트랜스포머(DiT)로 발전했음에도 불구하고, 기존 문헌에서는 DiT 모델이 더 강력한 생성 능력에도 불구하고 더 약한 특징을 산출하는 경향이 있음이 발견되었습니다. 이는 우수한 생성-이해 통합에 위협이 됩니다. 본 연구에서는 제어된 처음부터의 학습(from-scratch training)을 통해 롱 스킵 연결(LSC)이 특징 품질에 영향을 미침을 보여줍니다. 즉, LSC를 갖춘 DiT는 더 우수한 특징을 생성할 수 있습니다. 나아가 상세한 진단을 통해 이러한 효과를 유발하는 메커니즘을 밝혀냅니다. 구체적으로, 디퓨전 백본의 입력에는 잠재 이미지(latent image)와 디퓨전 노이즈가 모두 포함되며, 여기서 디퓨전 노이즈는 노이즈 형태로 나타나지만 실제로는 디퓨전 궤적의 정보를 반영합니다. 노이즈 변수($v$ 또는 $ε$)의 최종 예측을 수행하기 위해 디퓨전 백본에는 두 신호가 모두 필요합니다. 그러나 메인 백본을 통해 두 신호를 모두 전달하는 것은 사실상 이미지 신호를 노이즈로 "오염"시켜 특징 품질 저하로 이어집니다. 이에 비해 LSC는 디퓨전 노이즈를 필요한 곳으로 직접 지름길로 연결(shortcut)하여 메인 백본에 훨씬 약한 노이즈 신호만 남기므로 특징 품질을 향상시킬 수 있습니다. 더 넓은 영향력을 언급하자면, 이는 LSC가 단순한 트릭이 아니라 디퓨전 목표와 밀접하게 관련되어 있음을 밝혀냅니다. 코드는 https://github.com/Darkbblue/dit-lsc 에서 확인할 수 있습니다.
실시간 대화형 생성을 위해 결합 오디오-비디오 디퓨전 트랜스포머(diffusion transformer)를 배포하려면 일반적으로 두 가지 필수적인 수정이 필요합니다. 전체 클립이 완료되기 전에 프레임을 출력할 수 있도록 하는 블록 자기회귀 어텐션(block-autoregressive attention)과 각 블록의 연산 비용을 낮추기 위한 퓨샷 샘플링(few-step sampling)입니다. 기존 스트리밍 비디오 연구에서는 연쇄형 파이프라인(chained pipeline)을 통해 이 두 가지 기능을 모두 확보해 왔습니다. 즉, 양방향 교사 모델을 인과적(causal) 학생 모델로 증류한 후 이를 다시 퓨샷 학생 모델로 증류하거나, 그 반대 순서로 진행합니다. 이러한 연쇄 과정의 각 단계는 이전 단계가 생성한 가중치를 파인튜닝(fine-tuning)하므로, 이후의 목표가 이전의 기능을 훼손할 수 있습니다. 본 연구에서는 모델 병합(model merging) 개념에 착안하여 패킹된 오디오-비디오 백본에서 이 두 가지 기능을 병렬로 획득할 수 있음을 보여줍니다. 고정된 백본에 대해 인과적 어댑터를 학습하고, 기존 퓨샷 어댑터가 퓨샷 기능을 제공합니다. 두 어댑터가 서로 다른 기능적 축을 수정하기 때문에, 학습 과정에서 명시적인 직교성 제약 없이도 이들의 가중치 업데이트 방향이 거의 직교한다는 점을 예측하고 검증했습니다. 직교하는 업데이트는 상호 간섭 없이 결합될 수 있으므로 병렬 구성은 직합(direct sum) 형태가 됩니다. 두 어댑터는 공동 학습 없이 추론(inference) 시점에 단순히 더해지며, 양방향 교사 모델의 화질을 유지하는 퓨샷 스트리밍 오디오-비디오를 생성합니다. 연쇄형 베이스라인과 비교했을 때 결합된 모델은 대부분의 지표에서 이들과 대등하거나 능가하여 병렬 결합이 실용적인 접근법임을 입증합니다. 최종 스트리밍 시스템은 양자화(quantization) 없이 480×832 해상도에서 약 26 fps로 실시간 오디오-비디오를 공동 생성하며, 안정적인 화질로 30초 동안 연속 생성을 유지합니다. 데모 페이지: https://pac-demo-2027.github.io/demo/
텍스트-이미지(Text-to-image) 모델은 인간의 의도를 파악하는 주요 인터페이스로 텍스트 프롬프트(prompt)에 의존합니다. 프롬프트는 텍스트 인코더에 의해 임베딩(embedding)으로 인코딩되어 이미지 생성 과정을 조건화합니다. 텍스트 임베딩은 개별 토큰(token)의 의미를 넘어 구성성(compositionality) 및 속성 결합(attribute binding)과 같이 전체 프롬프트에 걸친 문맥 정보를 인코딩합니다. 그러나 이미지 모델이 실제로 이러한 풍부한 정보를 활용하는지는 아직 충분히 연구되지 않았습니다. 본 연구에서는 '텍스트 표현의 어떤 측면이 이미지 생성에 필수적인가?'라는 질문을 다룹니다. 우리는 텍스트-이미지 확산 트랜스포머(diffusion transformer) 기반 모델이 일반적으로 텍스트 표현의 비교적 단순한 두 가지 측면에만 의존함을 보여줍니다: (i) 여러 토큰에 걸친 단어에 대해 인접한 토큰들을 하나의 단어 표현으로 병합하는 것, 그리고 (ii) 텍스트 인코더의 위치 임베딩(positional embedding)에 의해 각인되는 단어 순서입니다. 이를 입증하기 위해, 우리는 개별 단어의 의미와 순서만을 인코딩하고 전체 프롬프트에 대한 문맥 정보는 전혀 포함하지 않는 새로운 텍스트 임베딩을 구축합니다. 이러한 위치 태그가 지정된 단어 주머니(bag of position-tagged words) 표현만으로도 이미지 생성을 성공적으로 유도하기에 충분하며, 전체 텍스트 임베딩 기반 생성과 동등한 수준의 시각적 품질 및 텍스트 충실도를 달성함을 확인했습니다. 이는 일반적인 믿음과 달리, 텍스트-이미지 모델이 개별 단어 의미와 단어 순서를 넘어 텍스트 임베딩에 인코딩된 풍부한 정보를 활용하지 않는 경우가 많음을 보여줍니다. 대신 복잡한 언어적 구조의 디코딩은 이미지 모델 자체에 의해 수행됩니다. 프로젝트 웹페이지: https://nsping13.github.io/contextless-TTI/
생성 모델링은 확률론적 시계열 예측을 용이하게 하지만, 이종의 외생적 정보(exogenous information)를 통합하는 것은 여전히 어려운 과제로 남아 있습니다. 디퓨전 트랜스포머(DiT, Diffusion Transformers)는 조건부 생성을 위한 확장 가능한 프레임워크를 제공하지만, 이를 예측 작업에 적용하려면 시계열에 맞춤화된 조건화 메커니즘이 필요합니다. 내생적 목표(endogenous targets)와 외생적 공변량(exogenous covariates)은 출처, 의미론적 특성, 통계적 특성이 서로 다르지만, 세밀한 조건부 유도를 지원하는 시간 좌표를 공유합니다. 공변량은 직접적인 회귀가 목표로 하는 조건부 평균을 넘어 미래 변동성과 시간적 의존성을 설명할 수 있습니다. 이러한 점에 착안하여, 본 논문에서는 공변량을 인식하는 예측을 위한 멀티모달 디퓨전 트랜스포머인 시계열용 디퓨전 트랜스포머(DiTS, Diffusion Transformers for Time Series)를 제안합니다. DiTS는 내생적 목표와 외생적 공변량을 서로 다른 모달리티로 모델링하며, 목표의 과거 이력과 가용한 공변량을 바탕으로 미래 생성을 공동으로 조건화합니다. 흐름 매칭(flow matching)은 노이즈가 포함된 미래 상태를 조건으로 하는 속도 예측과 공변량 의존적인 분포 정보가 유의미하게 연계되도록 만듭니다. 또한 시간 정렬 사전확률(temporal-alignment prior)을 바탕으로 AdaLN을 확장하여, 정렬된 공변량과 디퓨전 시간으로부터 패치 단위 변조 파라미터를 생성하는 시간 정렬 변조(Time-aligned Modulation)를 도입합니다. 다양한 공변량 인식 예측 태스크 전반에서 DiTS는 결정론적 예측과 확률론적 예측 모두에서 강력한 성능을 달성하여, 점 예측(point forecasting) 및 분포 예측(distributional forecasting) 모두에서 조건부 생성의 효과성을 입증합니다.
참조 기반 생성(예: 객체 합성, 커스터마이징)은 빠르게 발전해 왔으나, 기존 파이프라인들은 근본적인 한계를 공유합니다. 사용자가 제공한 객체 중심의 고해상도 참조 이미지(HRRI)가 모델에 입력되기 전에 고정된 저해상도(LR)로 다운샘플링되어, 출력이 생성되기도 전에 미세한 세부 정보가 버려진다는 점입니다. 게다가 생성 단계에서는 이러한 정보 손실 위에 고유한 아티팩트(예: 정체성 왜곡)가 추가로 발생합니다. 기존의 참조 기반 생성 콘텐츠 정제(RefGCR) 방식은 이러한 아티팩트 중 일부를 보정할 수 있지만 여전히 저해상도 영역에서 작동하며, 참조 기반 초해상화(RefSR) 방식은 해상도를 복원하지만 자연 이미지 열화를 가정하여 생성 파이프라인의 아티팩트 분포를 무시합니다. 이러한 두 가지 한계를 단일 프레임워크에서 해결하기 위해, 본 논문에서는 원본 HRRI를 후처리 단계에서 재사용하여 손실된 세부 정보를 복원하고, 생성 아티팩트를 정제하며, 출력을 동시에 업스케일링하는 새로운 태스크인 참조 기반 생성 콘텐츠 초해상화-정제(RefGC-SR$^2$)를 제안합니다. 우리는 이 RefGC-SR$^2$ 태스크를 위해 최초의 실제 삼중항(triplet) 데이터 생성 파이프라인을 구축하고, 공개된 사전학습 모델이 제공할 수 없는 쌍을 이루는 저품질 앵커를 합성하도록 딥틱 조건부 생성기를 학습시킵니다. 나아가 생성 아티팩트를 제거하면서 HRRI의 미세 세부 정보를 선택적으로 주입하는 RefGC-SR$^2$용 주파수 인식 확산 트랜스포머(diffusion transformer) 모델을 제시합니다. 광범위한 실험을 통해 제안하는 RefGC-SR$^2$ 모델이 (i) 참조 이미지에 충실하게 객체 정체성을 정제하고, (ii) 고해상도 세부 정보를 성공적으로 복원하여, 기존 RefGCR 및 RefSR 베이스라인과 비교해 최종 결과물이 현저히 높은 품질과 실질적인 활용성을 보임을 입증합니다.
확산(diffusion) 기반 월드 모델은 고품질의 대화형 환경 생성을 가능하게 하지만, 노이즈 제거(denoising) 과정에서 반복적인 트랜스포머(Transformer) 평가로 인해 상당한 추론(inference) 오버헤드가 발생합니다. 기존 캐싱 기법들은 주로 특징(feature)이나 토큰(token) 수준의 시간적 중복성을 활용할 뿐, 확산 특징의 기저에 있는 수학적 구조는 거의 탐색하지 않았습니다. 본 연구에서는 월드 모델의 특징이 인접한 노이즈 제거 단계 전반에 걸쳐 매우 안정적인 특이 부분공간(singular subspace)을 보이며, 이들의 특잇값(singular value)은 예측 가능한 진화 패턴을 따른다는 점을 밝혀냅니다. 이러한 관찰을 바탕으로, 안정적인 특이 부분공간을 재사용하고 선형 외삽법(linear extrapolation)을 통해 저차원 특잇값만을 추정하는 학습(training)이 필요 없는 스펙트럼 캐싱 프레임워크인 SpectralCache를 제안합니다. 나아가 인접한 전체 계산 특징 간의 스펙트럼 일관성을 활용하여, 특잇값 스케일링을 통해 계산 비용이 큰 특정 백본 평가를 건너뜁니다. 대표적인 월드 모델을 대상으로 한 광범위한 실험을 통해 SpectralCache가 생성 품질을 유지하면서 추론 효율성을 일관되게 향상시킴을 입증합니다. HunyuanWorld-Voyager-13B에서 SpectralCache는 정적 장면에 대해 65.90의 WorldScore를 유지하면서 5.22배 가속을 달성하여, 기존의 학습 불필요 캐싱 기법보다 추론 효율성 면에서 크게 우수한 성능을 보였습니다.
확산 트랜스포머(DiT)는 텍스트 및 이미지 조건으로부터 고충실도 이미지를 생성하지만, 출력의 분산이 크고 원하는 목표에 대한 충실도는 조건이 제공되는 방식에 크게 의존합니다. 본 논문에서는 동결된(frozen) 이미지 DiT를 조향하여 고충실도, 높은 충실성 및 독립적으로 제어 가능한 렌더링을 생성하는 가볍고 어텐션(attention)이 필요 없는 외형 및 기하학 분리 조건화 기법인 DAGS를 제시합니다. 두 개의 소형 합성곱 인코더가 프레임당 한 번씩 조건화 특징을 계산하고, 이를 학습(training)된 층(layer)별 요소별(element-wise) 잔차로서 이미지 토큰에 주입함으로써 어텐션을 통해 조건을 쌓는 데 드는 이차 비용을 방지합니다. 제어 및 시간적 처리가 동결된 백본 외부에 존재하기 때문에, 백본의 방대한 사전학습 사전을 유지하고 백본 과적합(overfitting) 위험을 제거합니다. 나아가 소형 순환 조명 안정화기와 학습 불필요(training-free) 시간적 가이던스 항을 추가하여, 조건화 기법과 결합함으로써 프레임별 이미지 모델(model)을 스트리밍 렌더러로 향상시킵니다. DAGS는 경로 추적(path tracing) 연산량의 극히 일부만으로 제어 가능하고 고품질인 렌더링을 생성하며, 실시간은 아니지만 연산량을 제어 가능성 및 품질과 맞바꿉니다. 일치된 1-spp + G-buffer 입력 조건에서 프레임별 DAGS는 실시간 디노이저인 Intel OIDN 및 확산 렌더러 RGB<->X 대비 각각 +8.6 dB 및 +10.1 dB 향상된 PSNR로 재구성하는 동시에 지각적으로 2.5~8배 더 시간적으로 안정적(temporal-LPIPS 깜빡임 기준)입니다.
디퓨전 트랜스포머(diffusion transformer)에서는 클래스 레이블이나 텍스트 프롬프트를 한 번 임베딩한 뒤, 모든 노이즈 제거(denoising) 단계에서 동일한 조건을 재사용합니다. 본 연구에서는 예측된 임베딩이 대신 이러한 조건으로 기능할 수 있는지 질문을 던집니다. 차기 임베딩 예측 자기회귀(Next-Embedding Predictive Autoregression, NEPA)는 시퀀스에서 다음 연속 임베딩을 예측하도록 트랜스포머를 학습시킵니다. 생성 과정에서 깨끗한 이미지는 노이즈가 있는 이미지 뒤에 이어지므로, 그 임베딩은 조건과 노이즈가 있는 이미지 다음의 차기 임베딩이 됩니다. 본 연구에서는 다중 임베딩 예측(Multi-Embedding Prediction)을 통해 이들을 한 번에 모두 예측하도록 NEPA 모델을 학습시키며, 임베딩 조건부 생성(Embedding Conditioned Generation)에서는 매 노이즈 제거 단계마다 재계산되는 이러한 예측값들을 DiT 생성기의 조건으로 주어 조건부 신호가 현재의 노이즈 상태에 적응하도록 합니다. 클래스 조건부 ImageNet $256\times256$에 대한 실험을 통해 생성기의 조건, 다중 임베딩 예측 설계, 그리고 두 모델의 스케일링을 살펴봅니다. NEPA 모델은 모든 샘플링 단계에 두 번째 네트워크를 추가하며, 이를 적용하고 REPA와 결합한 최종 모델인 NEPA-DiT-XL은 REPA의 약 3분의 1 수준의 학습 연산량만을 사용하고도 1.32의 FID를 달성합니다.
표현 정렬(representation alignment)은 디퓨전(diffusion) 학습을 가속화하는 효과적인 방법으로 자리 잡았지만, 그 이점이 픽셀 공간(pixel-space)의 클린 이미지(clean-image) 예측으로는 안정적으로 전이되지 않는다. JiT에서 우리는 보조 특징 정렬(auxiliary feature alignment)이 의미론적 특징(semantic feature)에 대한 접근성을 향상시키는 동시에 클린 이미지 예측에 필요한 이미지 변동(image variation)에 대한 접근성을 감소시켜, 보조 목표(auxiliary objective)와 디노이징(denoising) 과제 간의 불일치를 초래한다는 것을 발견했다. 이는 다른 원칙을 시사한다: 보조 지도(auxiliary supervision)는 별도의 표현 목표를 부과하기보다 예측 대상 자체를 개선해야 한다는 것이다. 우리는 서로 다른 노이즈 수준(noise level)에 걸쳐 클린 이미지 예측을 정렬하는 예측 지도(prediction-supervision) 방법인 JAx(Just Align x)를 제안한다. JAx는 마르코프 저하(Markov degradation)를 통해 더 노이즈가 많은 학생(student) 관측과 더 깨끗한 관측을 결합하며, 이 과정은 원래의 JiT 입력 분포를 보존한다. 이 결합 하에서, 더 깨끗한 상태로부터의 오라클 예측(oracle prediction)은 최적의 JiT 목표와 동일한 조건부 평균(conditional mean)을 가지면서도, 조건부 목표 공분산(conditional target covariance)은 더 크지 않다. 따라서 오라클 예측 정렬은 상수 항을 제외하면 모집단 JiT 목표를 보존하면서도 더 낮은 분산의 학습 목표를 제공한다. 불완전한 EMA 교사(teacher)를 사용하는 실제 상황에서 이 구성을 실용적으로 만들기 위해, JAx는 실제 정답 지도(ground-truth supervision)와 예측 위험도(prediction risk)에 기반하여 인접한 교사 상태를 선택하는 신뢰도 게이팅 결합 밴드(reliability-gated coupling band)를 결합한다. ImageNet 256x256에서 JAx는 외부 인코더나 아키텍처 또는 샘플링 절차의 변경 없이도 JiT-B/16, L/16, H/16 전반에 걸쳐 FID를 일관되게 향상시키고 수렴을 가속화한다. 그래디언트 진단(gradient diagnostics)은 미니배치 그래디언트 분산의 감소를 추가로 보여주며, 제거 실험(ablation)은 이러한 개선이 시간 재가중치화(time reweighting)만으로는 설명될 수 없음을 보여준다. 이러한 결과는 예측 공간 지도(prediction-space supervision)가 픽셀 공간 생성 모델(pixel-space generative model)에서 표현 정렬에 대한 단순하고 원칙적인 대안을 제공함을 보여준다.
본 논문은 3D 객체를 위한 고품질 재질(material)을 전적으로 텍스처 공간에서 생성하는 방법을 제시한다. 우리는 텍스트 기반 재질 생성, 다중 시점(multi-view) 재질 생성, 재질 업스케일링을 위해 비디오 디퓨전 트랜스포머(video diffusion transformer)를 파인튜닝한다. 핵심 통찰은 이미지 공간에서 텍스처 공간으로의 알려진 투영(projection)을 활용함으로써, 디퓨전 프로세스가 임의의 지오메트리와 텍스처 파라미터화(texture parameterization)에 걸쳐 일반화될 수 있도록 하는 것이다. 이 접근 방식은 또한 비디오 및 다중 시점 디퓨전 모델에 내재된 시점 일관성(view consistency) 문제를 회피한다. 텍스처 공간은 2차원이기 때문에, 사전학습된 비디오 디퓨전 모델의 강력한 사전 분포(prior)를 재사용할 수 있다. 우리는 이 방법을 알려지지 않은 조명 하에서 촬영된 포즈가 지정된 사진으로부터의 고품질 재질 복원뿐 아니라, 텍스트 및 이미지 기반 재질 생성에도 적용한다. 본 방법은 고해상도(8K), 100개 이상의 입력 시점, 그리고 신경 재질 표현(neural material representation)으로 확장될 수 있다. 정량적 및 정성적 평가에서 우리는 재질 생성 및 복원에 대해 최신 기술 수준(state-of-the-art)의 결과를 보여준다.
최근 픽셀 공간 확산 모델(pixel-space diffusion model)의 발전으로 잠재 공간(latent-space) 확산과의 화질 격차가 줄어들었으나, 여전히 수렴 속도가 느리고 최종 화질 면에서 뒤처져 있습니다. 본 논문에서는 명시적인 표현 사전확률(representation prior)의 부재가 그 주요 원인이라고 주장합니다. 주로 조밀하고 구조화된 잠재 공간에서 노이즈 제거(denoising)를 수행하는 잠재 확산과 달리, 픽셀 확산은 원시 RGB 공간에서 노이즈 제거에 적합한 표현 학습과 픽셀 생성을 동시에 수행해야 합니다. 이러한 문제를 해결하기 위해, 오토인코더(autoencoder)나 잠재 재구성 병목 현상을 도입하지 않고 표현 학습과 픽셀 생성을 분리하도록 설계된 엔드투엔드(end-to-end) 픽셀 공간 확산 모델인 PixelDiT2를 제안합니다. 동결된 사전학습(pre-training) 비전 파운데이션 모델을 활용하여 노이즈 제거 전반에 걸쳐 패치별 명시적인 표현 안내를 제공함으로써 픽셀 확산 트랜스포머가 픽셀 생성에 더욱 집중할 수 있도록 하는 표현 그라운딩(representation grounding)을 제안합니다. ImageNet-256x256에서 PixelDiT2는 600 에포크 학습 후 1.46의 FID를 달성했으며, 512x512 해상도에서는 680 에포크 후 1.48의 FID를 달성했습니다.
우리는 \emph{예술적 지능(Artistic Intelligence)}을 탐험(exploration) 기반의 세계 실현(world realization)으로 정의하며, 반드시 유지되어야 하는 의미적, 예술적, 구성적 구조를 보존하면서도 창의적 가능성의 여지를 남긴다. 텍스트-투-이미지(text-to-image) 모델인 Moonworks Lunara는 새로운 Diffusion Mixture Transformer 아키텍처로 이 프레임워크를 구현한다. 새로운 학습 알고리즘은 정보성이 높은 샘플 획득과 인간이 제작한 예술 작품의 표적화된 주입을 통해 데이터 분포를 반복적으로 진화시킨다. 우리는 FLUX.2-Klein-4B, Qwen-Image(20B), GPT-Image-1-Mini를 포함한 7개의 이미지 생성 모델과 Lunara를 벤치마킹한다. GPT-5.6 Sol을 평가자로 사용했을 때, Lunara는 \emph{미적 품질(Aesthetic Quality)}에서 1위(8.473 대 GPT-Image-1-mini의 8.457)를 기록했으며, \emph{정서적 공명(Emotional Resonance)}에서는 2위를 차지했고, \emph{콘텐츠 무결성(Content Integrity)}에서도 경쟁력을 유지했다. 동일한 평가 세트에 대한 블라인드 인간 평가 역시 자동화된 지표를 뒷받침하며, Lunara를 1위로 평가했다. 또한 CLIPScore 및 LAION Aesthetic Predictor를 포함한 기존 측정 방식에서도 가장 우수한 모델군에 속한다. GenEval에서 Lunara는 GPT Image 2와 Seedream 4.0을 포함한 16개 모델로 구성된 더 폭넓은 비교 대상들과 견주어도 경쟁력 있는 성능을 달성한다. 이러한 결과는 Lunara를 10B 미만의 활성 매개변수(active parameter)와 10초 미만의 추론(inference) 지연시간을 유지하면서도 예술적 지능의 최전선에 위치시킨다. Lunara는 모델이 이미지를 올바르게 만들 수 있는지에 대한 질문을, 모델이 의미를 얼마나 깊이 해석하고 이를 상상력이 풍부하고 표현력 있는 세계로 실현할 수 있는지에 대한 질문으로 전환함으로써 일반적인 시각 지능(visual intelligence)의 최전선을 발전시킨다.
이미지-투-3D 형상 생성에 특화된 Diffusion Transformer(DiT) 압축 프레임워크를 제안하며, 레이어별 기여도를 Earth Mover's Distance(EMD)로 측정하는 활성도(vitality) 분석을 기반으로 구조적 가지치기(pruning), 적응형 양자화(quantization), 선택적 파인튜닝을 결합한다. Step1X-3D, Hunyuan3D 2.0 등 최신 모델에 적용하여 최대 66%의 모델 크기 감소를 달성하면서도 원본 수준의 기하학적 충실도를 유지함을 실험으로 검증했다.
현대의 대규모 언어 모델(LLM)은 용량 증가와 효율성을 병행함으로써 성공적으로 스케일링하며, 용량이 커질수록 토큰당 비용과 배포 비용을 통제합니다. AIGC 기반 모델(AFM), 특히 확산-트랜스포머 백본은 희소 전문가를 도입하기 시작했지만, 최근 연구들은 대부분 LLM 스케일링을 실용적으로 만든 효율성 메커니즘을 가져오지 않은 채 총 매개변수 수와 희소성 비율만 키우는 데 그쳐, 생성 품질이 학습 및 배포 비용과 균형을 이루는 경우가 드뭅니다. 이는 자연스러운 질문을 제기합니다: 효율적인 LLM 스케일링 뒤에 있는 아키텍처 원칙을 AFM에 더 균형 잡힌 방식으로 적용할 수 있을까? 우리는 ModernMOE(MMOE)를 제안합니다. 이는 라우팅 전문가, 공유 및 경량 전문가, 게이트-잔차 라우팅, 어텐션-잔차 정보 재사용을 AIGC 생성에 체계적으로 적용한 SiT 스타일 확산 트랜스포머의 현대화입니다. 전문가 혼합(MoE)을 단일 플러그인 대체로 취급하기보다, MMOE는 확산 트랜스포머 내부에 구성했을 때 서로 다른 현대적 전문가 구성 요소가 수렴, 효율성, 생성 품질에 어떤 영향을 미치는지 연구합니다. 본 논문의 모든 실험은 접근 가능한 단일 머신 예산으로, 단일 8-GPU H100 노드에서 배치 크기 256으로 40만 스텝 동안 학습되었습니다. 동일한 학습 및 샘플링 프로토콜과 이 예산 하에서, MMOE는 기록된 모든 체크포인트에서 더 낮은 FID, 즉 학습 스텝당 더 빠른 수렴을 밀집(dense) 및 중간 희소-전문가 베이스라인보다 달성하며, 희소 변형들 중에서 최상의 품질-비용 균형을 이룹니다. 라우팅 분석은 또한 깊이에 걸친 안정적인 전문가 특화, 경량 경로의 상당한 사용, 디노이징 중 단계 간 라우팅 변화의 적절한 수준을 보여줍니다. 이 결과는 AFM이 총 매개변수와 희소성 비율을 단순히 늘리는 것이 아니라 검증된 효율성 설계를 도입함으로써 LLM의 균형 잡힌 스케일링 경로를 따를 수 있음을 시사합니다.