현대의 대규모 언어 모델(LLM)은 용량 증가와 효율성을 병행함으로써 성공적으로 스케일링하며, 용량이 커질수록 토큰당 비용과 배포 비용을 통제합니다. AIGC 기반 모델(AFM), 특히 확산-트랜스포머 백본은 희소 전문가를 도입하기 시작했지만, 최근 연구들은 대부분 LLM 스케일링을 실용적으로 만든 효율성 메커니즘을 가져오지 않은 채 총 매개변수 수와 희소성 비율만 키우는 데 그쳐, 생성 품질이 학습 및 배포 비용과 균형을 이루는 경우가 드뭅니다. 이는 자연스러운 질문을 제기합니다: 효율적인 LLM 스케일링 뒤에 있는 아키텍처 원칙을 AFM에 더 균형 잡힌 방식으로 적용할 수 있을까? 우리는 ModernMOE(MMOE)를 제안합니다. 이는 라우팅 전문가, 공유 및 경량 전문가, 게이트-잔차 라우팅, 어텐션-잔차 정보 재사용을 AIGC 생성에 체계적으로 적용한 SiT 스타일 확산 트랜스포머의 현대화입니다. 전문가 혼합(MoE)을 단일 플러그인 대체로 취급하기보다, MMOE는 확산 트랜스포머 내부에 구성했을 때 서로 다른 현대적 전문가 구성 요소가 수렴, 효율성, 생성 품질에 어떤 영향을 미치는지 연구합니다. 본 논문의 모든 실험은 접근 가능한 단일 머신 예산으로, 단일 8-GPU H100 노드에서 배치 크기 256으로 40만 스텝 동안 학습되었습니다. 동일한 학습 및 샘플링 프로토콜과 이 예산 하에서, MMOE는 기록된 모든 체크포인트에서 더 낮은 FID, 즉 학습 스텝당 더 빠른 수렴을 밀집(dense) 및 중간 희소-전문가 베이스라인보다 달성하며, 희소 변형들 중에서 최상의 품질-비용 균형을 이룹니다. 라우팅 분석은 또한 깊이에 걸친 안정적인 전문가 특화, 경량 경로의 상당한 사용, 디노이징 중 단계 간 라우팅 변화의 적절한 수준을 보여줍니다. 이 결과는 AFM이 총 매개변수와 희소성 비율을 단순히 늘리는 것이 아니라 검증된 효율성 설계를 도입함으로써 LLM의 균형 잡힌 스케일링 경로를 따를 수 있음을 시사합니다.
확산 트랜스포머(DiT) 기반 고해상도 비디오 확산 모델은 뛰어난 충실도를 제공하지만, 단일 워크스테이션의 메모리 예산을 빠르게 소진한다. 1,000억 개 이상의 매개변수를 가진 DiT는 지속 상태만으로도 쉽게 1TB 이상을 필요로 하며, 단순한 시공간 자기 어텐션은 시퀀스 길이에 대해 이차적으로 증가한다. 이 두 가지 장벽—매개변수 메모리와 활성화 메모리—은 대규모 GPU 클러스터 없이 거대 생성 모델을 적응하는 것을 연구자들로부터 막는다. 우리는 시스템 관점에서 이 문제를 재검토하고, 1.5TB 호스트 RAM을 갖춘 단일 H200 GPU에서 사전학습된 105B DiT를 적응할 수 있음을 보여주는 프로토타입인 MegaSlide-DiT를 제안한다. 핵심 통찰은 GPU가 모델 상태를 소유할 필요가 없다는 것이다. 모든 지속 가중치, 마스터 가중치 및 옵티마이저 모멘트는 호스트 메모리에 유지되고, 일시적 샤드만 필요에 따라 GPU로 스트리밍된다. 동시에, 이차적 전역 어텐션을 3D 변형 가능 슬라이드 어텐션(3D-DSA)으로 대체한다. 이는 움직임 적응형 로컬 어텐션 연산자로, 메모리와 계산 복잡도를 모두 시퀀스 길이에 대해 선형으로 줄인다. 설계를 뒷받침하기 위해 상세한 메모리 회계, 실행 추적 및 평가 결과를 보고한다. MegaSlide-DiT는 단일 GPU에서 105B 모델을 처음부터 학습할 수 있다고 주장하지 않으며, 대역폭 한계를 마법처럼 해결하지도 않는다. 오히려 고사양 워크스테이션에서 거대 비디오 확산 모델의 전체 매개변수 적응을 위한 실용적인 경로를 제시한다.
통합 멀티모달 모델은 멀티모달 이해와 이미지 생성을 모두 지원하는 공유 시각 토큰 공간을 추구한다. 이산적 방법은 공유 코드북을 통해 인터페이스를 통합하는 반면, 연속 파이프라인은 종종 이해를 위한 의미적 특징(예: ViT)과 합성을 위한 저수준 잠재 변수(예: VAE)라는 두 개의 이질적인 표현에 의존하여 잠재 공간 불일치를 초래한다. 우리는 동일한 토큰 그리드에서 ViT와 VAE 특징을 채널 방향으로 연결하여 형성한 통합 연속 토큰 공간인 Twins를 제안한다. 이로써 시퀀스 길이는 변하지 않고 어텐션 비용도 증가하지 않는다. 그러나 Diffusion 트랜스포머에서 Twins를 공동으로 모델링하면 심각한 최적화 불균형이 드러난다. 모델은 ViT 구성 요소에는 잘 적합하지만 VAE 잠재 분포와의 일치에는 어려움을 겪는다. 우리는 이러한 불균형의 원인을 주파수 바이어스, 내재 차원, 조건 정렬 대 조건 독립적 불확실성이라는 세 가지 이질성 원천으로 추적한다. 이를 해결하기 위해, 큰 오차를 보이는 VAE 차원에 가중치를 높이는 flow matching용 포컬 회귀 목적 함수를 적용하여 ViT와 VAE 구성 요소 간 최적화 균형을 개선한다. ImageNet에서 이는 classifier-free guidance 없이 단순 MSE 손실 대비 최대 10.57 gFID 향상을 가져온다. Twins는 멀티모달 이해 벤치마크에서도 경쟁력 있는 성능을 보이며 재구성 충실도를 향상시켜, 이해 지향 표현과 생성 지향 표현 간 격차를 줄인다.
대규모 확산 트랜스포머(DiT) prior를 활용한 비디오 초해상화(VSR)는 뛰어난 지각적 품질을 달성하지만, 밀집된 시공간 토큰 시퀀스를 처리하는 이차 계산 비용 때문에 실용적이지 않은 경우가 많다. 기존 효율 중심 방법은 되돌릴 수 없는 디테일 손실과 시간적 깜빡임 위험이 있으며, 이 취약점은 원스텝 확산 모델에서 특히 두드러진다. 이를 해결하기 위해, 컨텍스트 인식 비디오 prior와 네트워크 수준 prior를 모두 활용하여 적응적 토큰 할당을 수행하는 토큰 라우팅 및 병합 프레임워크 TRaM-VSR을 제안한다. 먼저, 동작에 민감한 시간적 단서와 의미적 텍스트 유사도를 융합하여 토큰 중요도를 추정하고, 동적 객체와 구조적 경계를 분리한다. 다음으로, 오프라인 플래너가 이 중요도를 추가로 보정·조정하여 최적으로 그룹화된 네트워크 블록 전반의 라우팅을 안내한다. 기술적으로, 각 라우팅 그룹 내에서 구조적으로 중요한 토큰은 고충실도 로컬 스트림에서 처리되고, 정보가 적은 토큰은 컴팩트한 글로벌 스트림으로 집계되며, 둘 모두 네트워크 깊이에 따라 변조되고 확산 모델의 다중 세분성 특성과 정렬된다. 광범위한 실험 결과, TRaM-VSR은 최첨단 재구성 품질과 견고한 시간적 일관성을 유지하면서 추론을 크게 가속화한다. 코드는 https://github.com/Ree1s/TRaM-VSR 에서 확인할 수 있다.
확산 모델(diffusion model)은 최근 고품질(high-fidelity) 이미지 합성에서 뛰어난 성과를 거두었지만, 시각 텍스트 생성 및 편집에 대한 적용은 상대적으로 덜 탐구된 상태이다. 일반적인 이미지 생성과 달리, 시각 텍스트 작업은 정밀한 구조적 규칙성과 가독성을 요구하며, 이는 작은 크기의 텍스트와 중국어와 같은 비라틴 문자(non-Latin script)에 추가적인 어려움을 초래할 수 있다. 기존 UNet 기반 모델은 종종 선명하고 일관된 텍스트를 생성하는 데 어려움을 겪는 반면, DiT 기반 모델은 더 표현력이 뛰어나지만 일반적으로 단일 작업에만 한정되어 중복된 학습 파이프라인, 일관되지 않은 시각적 스타일, 교차 작업 일반화(cross-task generalization) 저하를 초래할 수 있다. 이러한 과제를 해결하기 위해, 우리는 단일 모델 내에서 텍스트 생성과 편집을 모두 수행할 수 있는 통합 DiT 기반 프레임워크인 InnoText를 제안한다. 우리는 글꼴 크기(font scale) 전반에 걸쳐 표현을 강화하기 위한 Font Size-Aware Modulation(FSAM) 모듈, 미세한 충실도(fine-grained fidelity)를 개선하기 위한 Small-Character Aware Augmentation 전략, 그리고 적응적 최적화를 위한 Task-Specific Region Weighted Loss를 도입한다. 학습과 평가를 지원하기 위해, 우리는 또한 다양한 글꼴, 크기, 배경을 포함하는 고품질 이중언어(영어-중국어) 시각 텍스트 데이터셋을 구축한다. 실험 결과는 우리 방법이 우수한 생성 정확도와 편집 품질을 달성하며, 시각적으로 매력적이고 사실적인 텍스트 이미지를 생성함을 보여준다.
인간-객체 상호작용(HOI) 비디오 생성의 핵심 한계—구체적으로 정제된 모션 데이터에 대한 의존, 새로운 객체/시나리오에 대한 제한된 일반화, 제한된 접근성—를 해결하기 위해, 약하게 조건화된 멀티모달 기반 프레임워크인 HunyuanVideo-HOMA를 제안한다. HunyuanVideo-HOMA는 희소하고 분리된(decoupled) 모션 가이던스를 통해 제어 가능성을 향상시키고 정밀한 입력에 대한 의존성을 줄인다. 외형(appearance) 및 모션 신호를 멀티모달 확산 트랜스포머(MMDiT)의 이중 입력 공간에 인코딩하고, 공유 컨텍스트 공간 내에서 이를 융합하여 시간적으로 일관되고 물리적으로 타당한 상호작용을 합성한다. 학습을 최적화하기 위해, 사전학습된 MMDiT 가중치로 초기화된 매개변수 공간 HOI 어댑터—기존 지식을 보존하면서 효율적인 적응을 가능하게 함—와 해부학적으로 정확한 오디오 기반 입술 동기화를 위한 얼굴 크로스-어텐션 어댑터를 통합한다. 광범위한 실험은 약한 감독(weak supervision) 하에서 상호작용 자연스러움과 일반화에서 최첨단(state-of-the-art) 성능을 확인한다. 마지막으로, HunyuanVideo-HOMA는 사용자 친화적인 데모 인터페이스와 함께 텍스트 조건 생성 및 대화형 객체 조작에서 다양성을 보여준다. 프로젝트 페이지는 https://bone-11.github.io/homa-page/ 에 있다.
확산 Transformer(DiT)의 W4A4 사후 학습 양자화(PTQ)는 각 선형 계층에 들어가는 활성화에 4비트 형식으로 표현할 수 없는 이상치(outlier)가 포함되어 있기 때문에 출력 품질을 심각하게 저하시킨다. 표준 해결책은 둘 다 양자화하기 전에 활성화에 가역 선형 변환을 적용하고, 가중치에는 그 역변환을 적용하는 것이다. 블록 사이의 정규화 층은 이 변환이 매 디노이징(denoising) 단계마다 온라인으로 실행되도록 강제하므로, 추론 계산 비용이 지배적 설계 제약이 된다. 기존 방법들은 양자화 품질과 추론 비용 사이에서 트레이드오프를 한다: 채널별 스케일링(SmoothQuant)은 계산 비용이 낮지만 채널의 크기(magnitude)에 영향을 주어 양자화 정확도를 해칠 수 있다; 고정 Hadamard 변환은 더 나은 양자화 정확도를 제공하지만 높은 온라인 비용을 수반하는 큰 블록 크기를 요구한다; 학습된 전체 $d$ 차원 가역 변환은 보정 성능이 가장 우수하지만 층당·단계당 감당하기 어려운 조밀한 $d \times d$ 행렬 곱(GEMM)을 수반한다. 우리는 KroQuant를 제안한다. 이는 활성화의 32요소 블록 각각에 학습된 Kronecker 구조 가역 변환을 적용하는 PTQ 방법으로, 채널별 스케일링보다 절반 미만의 파라미터만 저장한다. 블록 단위 구조는 작은 텐서 코어 GEMM으로 실행되며, MI350 GPU에서 KroQuant 양자화 커널은 SmoothQuant 커널보다 최대 $14\%$ 빠르다. 오프라인 LoRaQ 가중치 보정은 이어서 잔여(per-weight) 양자화 오차를 흡수한다. PixArt-$\Sigma$, SANA, FLUX.1-schnell에서 W4A4(MXFP4e2)로 평가할 때, KroQuant는 MJHQ-30K와 SDCI에서 SVDQuant 및 LoRaQ보다 FP 기준에 더 가까운 출력을 생성하면서 이미지 품질을 유지하거나 개선한다.
우리는 통합 아키텍처 하에서 5B 및 14B 규모로 구현된 하이브리드 비디오 확산 트랜스포머인 SANA-Video 2.0을 소개한다. 단일 GPU에서 최대 720p의 고품질 비디오를 생성하도록 설계된 SANA-Video 2.0은 선형 어텐션의 유리한 장시퀀스 스케일링을 유지하면서 품질 면에서 전체 소프트맥스 비디오 DiT와 동등한 수준을 달성한다. 전 구간에서 이차 어텐션을 피하기 위해 Hybrid Linear-Softmax Attention은 O(N) 지배적 혼합을 위한 게이트 선형 어텐션과 3:1 비율의 주기적 게이트-소프트맥스 앵커를 결합하여, 순수 선형 어텐션이 결여한 full-rank 토큰 상호작용을 복원한다. 이 갱신된 표현을 깊이 방향으로 전파하기 위해 Block Attention Residuals(AttnRes)는 완료된 블록 요약을 이후 선형 층으로 라우팅하여 앵커 특징 재사용을 가능하게 하고, 깊은 층의 유효 rank를 약 12% 향상시킨다. 처음부터 학습을 통해 SANA-Video 2.0은 사전학습 모델을 선형화하는 대신 완전한 하이브리드를 직접 학습하며, 저해상도 프록시 연구를 통해 소프트맥스 25%가 최적의 품질-효율 트레이드오프임을 확인했다. 40단계 샘플링으로 SANA-Video 2.0은 단일 H100에서 480p 기준 13.2초 만에 VBench 점수 84.30을 달성하며, 훨씬 작은 지연 시간으로 훨씬 더 큰 소프트맥스 비디오 DiT와 경쟁력을 유지한다. 컴파일된 DiT 순전파는 720p/60s에서 일치하는 전체 소프트맥스 기준선보다 3.2배 빠르며, 이 격차는 비디오 길이가 길어질수록 더 커진다. 또한 풀스택 Sol-Engine 최적화(커널 융합, 캐싱, 희소 어텐션)는 이 하드웨어 친화적 백본을 추가로 3.58배 가속하여 5B 파이프라인을 720p/5s에서 13.06초로 단축하고, 단일 H100에서 Wan 2.2-A14B보다 120배 빠르게 만든다. 전반적으로 우리의 하이브리드 설계는 상당히 낮은 비용으로 소프트맥스 수준의 표현력을 회복하여, 확장 가능한 장시간·고해상도 비디오 생성을 가능하게 한다.
메이크업 전이는 소스 얼굴의 정체성을 보존하면서 참조 메이크업을 소스 얼굴에 적용하는 작업이다. 확산 기반 방법을 통한 전체 얼굴 편집의 발전에도 불구하고, 강한 영역 제어성, 메이크업 충실도, 정체성 보존은 여전히 어려운 과제로 남아 있다. 그 이유는 (i) 픽셀-어텐션 불일치로 인해 비대상 영역으로의 번짐이 발생하고 영역 제어가 약화되는 것, (ii) 두 이미지 조건부 설정 하에서 전이/보존 개념 분리가 불명확하여 메이크업 속성과 정체성 간 결합이 발생하는 것, (iii) 정체성 일관성과 영역 라벨이 있는 고해상도 데이터셋이 부족하여 세밀한 감독이 어려운 것이다. 본 논문에서는 공간적 제약과 개념 분리에 기반하여, 영역 제어 가능하고 고충실도 메이크업 전이를 위한 확산 트랜스포머 기반 프레임워크인 MagicMakeup을 제안한다. 정체성을 보존하면서 정밀한 영역별 편집을 가능하게 하기 위해, 픽셀 마스크를 어텐션과 정렬하고 영역별 로짓 게이팅을 적용하는 Token-Aligned Region Gating을 제안한다. 전이와 보존 개념을 명확히 하기 위해, 텍스트와 이미지 특징을 정렬하여 교차 모달 개념 인식을 강화하는 Cross-Modal Perception Guidance를 추가로 도입한다. 또한 영역별 메이크업 제거를 통해 1024 x 1024 데이터 쌍을 생성하는 파이프라인을 설계하고, 합성 및 실제 설정에서 통합 벤치마크를 구축한다. 광범위한 정량적 및 정성적 실험 결과, MagicMakeup은 스타일, 인종, 포즈에 걸쳐 강한 견고성을 보이며 영역 제어성, 메이크업 충실도, 정체성 보존을 개선함을 보여준다.
Immersive affective content generation aims to create visually compelling VR imagery with controllable emotional nuance, yet existing methods typically rely on coarse labels or prompt-only control. Although modern diffusion transformers (DiTs) such as FLUX improve visual fidelity, they are not designed to incorporate structured affective representations. We present EmoSpace, an immersive affective content generation framework guided by fine-grained emotion prototypes, transforming free-form text and emotion descriptions into fine-grained affective imagery through three coordinated components. First, to represent sub-emotion variation beyond conventional categorical models, EmoSpace learns a hierarchical bank of 256 prototypes with input-conditioned adaptation through vision-language alignment. Second, Prototype-Conditioned Steering converts these prototypes into DiT-compatible generation signals through multi-pathway injection and temporal blending, while Iterative Prompt Refinement enriches prompts with prototype-aligned sub-emotion descriptors. Third, Affect-Grounded Modulation coordinates emotion conditioning with controllable LoRAs for panoramic, stylized, and multi-conditional generation. Through quantitative and qualitative evaluations, EmoSpace improves fine-grained emotional alignment while maintaining high aesthetic quality. Our user study shows that EmoSpace outputs are perceived as more emotionally aligned than baseline results and more suitable for immersive scene design. Additionally, we find that immersive presentation alters emotional perception and increases emotional engagement. Together, these findings inform the design of emotion-aware generative systems for immersive media, with potential applications including education, immersive storytelling, and artistic creation. We will release our code and models to facilitate future research along this line.
Diffusion Transformers (DiTs) set the state of the art in visual generation, yet their quadratic self-attention cost fundamentally limits scaling to long token sequences. Recent Top-K sparse attention approaches reduce the computation of DiTs by compressing tokens into block-wise representation and selecting a small set of relevant key blocks, but still suffer from (i) quadratic selection cost on compressed tokens and (ii) increasing K required to maintain model quality as sequences grow. We identify that their inefficiency is due to the single-level design, as a single coarse level is insufficient to represent the global structure. In this paper, we introduce Log-linear Sparse Attention (LLSA), a trainable sparse attention mechanism for extremely long token sequences that reduces both selection and attention costs from quadratic to log-linear complexity by utilizing a hierarchical structure. LLSA performs hierarchical Top-K selection, progressively adopting sparse Top-K selection with the indices found at the previous level, and introduces a Hierarchical KV Enrichment mechanism that preserves global context while using fewer tokens of different granularity during attention computation. To support efficient training, we develop a high-performance GPU implementation that uses only sparse indices for both the forward and backward passes, eliminating the need for dense attention masks. We evaluate LLSA on high-resolution pixel-space image generation without using patchification and VAE encoding. LLSA accelerates attention inference by 28.27x and DiT training by 6.09x on 256x256 pixel token sequences, while maintaining generation quality. The results demonstrate that LLSA offers a promising direction for training long-sequence DiTs efficiently. Code is available at: https://github.com/SingleZombie/LLSA
대부분의 기존 비디오 압축 알고리즘은 변환과 양자화의 패러다임을 따르며, 왜곡과 비트레이트 사이의 트레이드오프를 최적화한다. 그러나 극단적으로 낮은 비트레이트 압축은 여전히 탐색이 부족한 영역으로, 심각하게 제한된 코딩 자원 하에서의 지각적 품질 최적화가 충분히 다루어지지 않았다. 본 논문에서는 사전학습된 Diffusion Transformer(DiT) 사전 분포를 활용하여 극단적으로 낮은 비트레이트에서 높은 지각적 품질을 달성하는 통합 생성 프레임워크를 제안한다. 우리는 먼저 인과적 토크나이저의 잠재 공간 내에서 유연한 Group-of-Latents(GoL) 전략을 도입하여, 잠재 스트림을 명시적으로 프레임 내(intra) $I$-잠재와 프레임 간(inter) $P$-잠재로 분할한다. Deep Compression Module(I-DCM)은 핵심 $I$-잠재를 인코딩하여 최소한의 오버헤드로 지각적 앵커를 보존한다. 이러한 앵커를 기반으로, DiT 기반 Unified Latent Denoising Module(U-LDM)은 프레임 내 텍스처를 정제하고 노이즈로부터 $P$-잠재를 합성하여, 추가 비트레이트 비용 없이 시간적 역학을 재구성한다. 광범위한 실험을 통해, 본 방법이 극단적으로 낮은 비트레이트 영역(예: (<0.005) bpp)에서 독특하게 동작하며, 풍부한 공간적 디테일과 견고한 시간적 일관성을 갖춘 최첨단 지각적 충실도를 달성함을 보여준다. 코드는 공개될 예정이다.
디퓨전 트랜스포머(DiT)에 특화된 사후학습 가지치기(post-training pruning) 방법인 DiT-Pruning을 제안하며, LLM용 기존 방법의 가중치 기여 과증폭 문제와 균일 가지치기 단위의 한계를 에너지 기반 현저도 지표와 클러스터링 인식 가지치기 단위로 해결한다. FLUX.1-dev 모델에서 50% 희소성 조건 하에 MJHQ 기준 CLIP 점수 손실 0.001을 기록하며 기존 방법들을 크게 능가했다.
신경주위 침윤(Perineural invasion, PNI)은 담관암종(cholangiocarcinoma)에서 중요한 예후 인자이다. 그러나 자기공명영상(MRI)을 통한 수술 전 예측은 종양 경계를 넘어 주변 영역으로 확장되는 미묘한 영상 특징으로 인해 여전히 어렵다. 기존 합성곱 신경망은 장거리 공간 의존성을 포착하는 데 한계가 있다. 트랜스포머 기반 아키텍처는 공간적으로 분산된 문맥 단서를 집계하여 체적 MRI의 전역 모델링을 개선하지만, 종양 주변 영역의 미묘하고 잡음에 민감한 패턴을 포착하는 것은 여전히 어렵다. 확산 기반 분류기(diffusion-based classifier)는 노이즈 제거 기반 클래스 점수화(denoising-based class scoring)를 활용하여 이러한 미묘한 패턴을 더 잘 포착하는 대안적 공식화를 제공한다. 그러나 이러한 접근법은 트랜스포머 기반 모델링과 반복적 노이즈 제거 과정의 결합으로 인해 상당한 계산 오버헤드를 초래한다. 이러한 문제를 해결하기 위해, 본 연구에서는 PNI 예측을 확산 기반 분류 문제로 공식화하고 트랜스포머 기반 표현을 사용하여 노이즈 제거 네트워크를 구현한다. 계산 효율성을 향상시키기 위해 어텐션 헤드, 공간 토큰, MLP 너비에 걸친 적응형 라우팅을 도입한다. 실험 결과, 제안된 접근법이 257.57 GFLOPs로 AUC 0.731을 달성함을 보여준다.
실세계 장면 이해를 위한 객체 중심 모델 배포는 일반적으로 강건한 장면 분해와 고품질 생성을 동시에 달성하기 위해 복잡한 파이프라인을 필요로 합니다. 최근 확산(diffusion) 기반 접근법들은 시각적 품질을 향상시켰지만, 이들은 거의 예외 없이 Stable Diffusion과 같은 무거운 사전학습 생성 사전(prior) 및 외부 VAE 잠재 공간에 의존합니다. 본 논문에서는 Slot-RAE를 제안합니다. 이는 시각적 기반 모델(VFM)(예: DINOv3)의 연속적인 의미 특징(feature) 공간 내에서 직접 동작하는 훨씬 단순하고 완전히 통합된 프레임워크입니다. Slot-RAE는 Diffusion 트랜스포머(DiT) 디코더와 표현 정렬(REPA, Representation Alignment) 헤드를 사용하는 특징 공간 확산 프로세스를 적용합니다. 텍스트-이미지 사전에 크게 의존하는 기존 확산 기반 객체 중심 방법들과 달리, Slot-RAE의 생성 핵심 구성요소(슬롯 어텐션과 DiT)는 고정된 VFM 특징 공간 내에서 처음부터 학습됩니다. 이를 통해 VAE 병목과 태스크 비특화 생성 사전학습의 필요성이 제거됩니다. COCO 데이터셋에 대한 실험 결과, Slot-RAE는 구조적 단순성에도 불구하고 최첨단 성능을 달성합니다. 기존 객체 중심 잠재 확산 모델보다 훨씬 빠르고 계산 효율적이면서도, 비슷한 수준의 비지도 객체 검출, 더 높은 품질의 이미지 재구성, 강건한 제로샷 합성성(compositionality)을 제공합니다.
디퓨전 트랜스포머(Diffusion Transformers, DiTs)는 고품질의 시간적으로 일관된 결과로 비디오 생성을 발전시켰다. 그러나 목표 프롬프트에 맞추면서 참조 모션을 따르는 모션 전이(motion transfer)로 이를 확장하는 것은 DiTs 내 모션 및 구조 표현에 대한 이해가 부족하여 여전히 어려운 과제이다. 우리는 비디오 DiTs를 어텐션 헤드 수준에서 분석하고, 모션과 공간 구조에 각각 특화된 별개의 헤드를 식별한다. 이러한 통찰을 바탕으로, 매개변수 업데이트가 필요 없는 헤드 인식 제어 가능 모션 전이 프레임워크를 제안한다. 제안하는 방법은 의미론적 대응 안내를 통해 모션 특화 헤드에서 모션 단서를 정제하고, 선택적 특징 주입을 통해 구조를 보존한다. 이 헤드 수준 제어는 정확한 모션 전이를 가능하게 할 뿐만 아니라, DiTs를 활용한 제어 가능한 비디오 생성을 위한 해석 가능한 기반을 제공한다.
실세계 sRGB 이미지 노이즈 제거는 센서 노이즈의 비선형적 특성과 정렬된 클린-노이즈 이미지 쌍 획득의 어려움으로 인해 여전히 난제로 남아 있다. 지도 학습 기반 노이즈 제거기는 제한된 쌍 데이터셋에 과적합되기 쉬우며, 자기 지도 학습 방법 역시 충분히 다양한 노이즈 관측값에 의존한다. 이러한 한계는 클린 정답 데이터나 카메라 메타데이터 없이 실세계 노이즈를 모델링할 수 있는 확장 가능한 노이즈 합성 방법에 대한 동기를 부여한다. 우리는 동일한 장면의 두 장의 노이즈 관측값만으로 학습하는 실세계 sRGB 노이즈 생성 프레임워크 YeTI를 제안한다. YeTI는 재구성 오토인코더(Reconstruction Autoencoder)를 사용해 장면 구조와 노이즈 특성을 분리하고, 일관성 목적 함수로 학습된 단일 단계 조건부 확산 트랜스포머(Conditional Diffusion Transformer)로 잠재 노이즈 분포를 모델링한다. 추론 시 단일 노이즈 입력이 주어지면, YeTI는 기저 장면 콘텐츠를 보존하면서 신호 의존적인 현실감 있는 노이즈를 생성한다. 광범위한 실험을 통해 실세계 벤치마크에서 YeTI의 효과를 입증한다. SIDD에서 노이즈 생성을 평가하고, 스마트폰 및 다양한 소비자 카메라 센서를 포함하는 SIDD+, MAI2021, SID에서 일반화 성능을 추가로 평가한다. DND에서의 다운스트림 노이즈 제거 결과는 YeTI로 합성된 이미지로 학습된 노이즈 제거기가 강력한 실세계 성능을 달성함을 보여주며, 클린 이미지 및 메타데이터가 불필요한 노이즈 생성의 실용적 가치를 부각한다.
REPA와 같은 최근 연구들은 외부 의미론적 특징(예: DINO)으로 디퓨전 모델을 가이드하면 디퓨전 트랜스포머(DiT)의 학습을 크게 가속화할 수 있음을 보여주었다. 그러나 사전학습된 외부 특징을 가이던스 신호로 사용하면 추가적인 의존성이 발생한다. 우리는 DiT가 실제로 스스로의 학습을 가이드할 능력을 갖추고 있다고 주장하며, 내부 특징 감독만을 사용하여 빠른 수렴을 달성하는 효과적인 방법인 SelfTranscendence를 제안한다. 원하는 내부 가이던스 특징은 두 가지 요건을 충족해야 한다: 얕은 블록이 노이즈와 신호를 분리하도록 돕는 구조적으로 깔끔한 특징과, 얕은 레이어가 효과적인 표현을 학습하도록 돕는 의미론적으로 변별력 있는 특징이다. 이를 고려하여, 먼저 DiT 특징을 잠재 디퓨전의 기본 구성 요소인 깨끗한 VAE 잠재 특징과 짧은 학습 단계(예: 40 에폭) 동안 정렬하여 구조적 표현을 향상시킨 후, 중간 특징에 분류기 없는 가이던스(classifier-free guidance)를 적용하여 변별력과 의미론적 표현력을 강화한다. 모델 내부에서 완전히 학습된 이러한 풍부해진 내부 특징들은 새로운 DiT를 처음부터 학습하도록 가이드하는 감독 신호로 사용된다. 기존의 자체 완결형 방법들과 비교하여 우리의 접근법은 상당한 성능 향상을 달성한다. 심지어 외부 DINO 특징을 가이던스로 사용하는 REPA를, 클래스-이미지 및 텍스트-이미지 생성 태스크 모두에서 생성 품질과 수렴 속도 면에서 능가할 수 있다. 방법의 소스 코드는 https://github.com/csslc/Self-Transcendence 에서 확인할 수 있다.
텍스트-투-비디오 생성은 콘텐츠 제작을 크게 풍부하게 했으며, 강력한 월드 시뮬레이터로 발전할 잠재력을 지니고 있다. 그러나 광대한 시공간적 공간을 모델링하는 것은 계산 비용이 매우 크며, 특히 시퀀스 처리에서 이차 복잡도를 유발하여 실용적 응용을 제한하는 Transformer를 사용할 때 더욱 그러하다. 최근 선형 시간 시퀀스 모델링, 특히 Mamba 아키텍처의 발전이 보다 효율적인 대안을 제시한다. 그러나 Mamba의 단순한 설계는 멀티모달 및 시공간적 비디오 생성 태스크에 직접 적용하는 데 한계가 있다. 이러한 과제를 해결하기 위해, 우리는 효율적인 텍스트-투-비디오 생성을 위한 멀티모달 Mamba 프레임워크인 M4V를 제안한다. 구체적으로, 멀티모달 정보의 원활한 통합과 시공간 모델링을 가능하게 하는 MultiModal diffusion Mamba(MM-DiM) 블록을 프레임워크 내에 설계하였다. 세부적으로, 단순한 토큰 배열을 통한 멀티모달 정보 통합을 위한 양방향 방식을 채택하는 새로운 멀티모달 토큰 재구성 설계를 도입하였으며, 시공간적 일관성을 강화하기 위한 비주얼 레지스터도 함께 적용하였다. 그 결과, M4V의 MM-DiM 블록은 768x1280 해상도의 비디오 생성 시 어텐션 기반 대안 대비 FLOPs를 45% 절감한다. 또한, 본 연구에서는 공개적으로 이용 가능한 데이터셋만을 사용하여 텍스트-투-비디오 모델을 학습하는 방법에 대한 더 나은 이해를 제공하기 위한 여러 학습 전략을 탐구하였다. 텍스트-투-비디오 벤치마크에 대한 광범위한 실험을 통해, M4V가 계산 비용을 크게 절감하면서도 고품질 비디오를 생성할 수 있음을 입증한다. 프로젝트 페이지: https://huangjch526.github.io/M4V_project/.
UAV 자율 내비게이션을 위한 비전-언어 내비게이션(VLN)에서 고수준 의미 추론과 저지연 비행 제어 간의 구조적 불일치 문제를 해결하고자, 사전학습된 비전-언어 모델 기반의 느린 시스템과 Diffusion Transformer(DiT) 기반의 빠른 시스템을 비동기적으로 결합한 FSD-VLN 프레임워크를 제안한다. 대규모 저고도 시뮬레이션 실험에서 FSD-VLN은 미관측 환경 기준 SOTA 대비 최대 2배 높은 내비게이션 성공률을 달성하면서 단일 행동 추론 지연과 전체 작업 실행 시간을 50% 이상 단축했다.