PyTorchKR Papers

최신 논문

총 84편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.27089v1cs.CV

TMP: Tree-structured Mixed-policy Pruning for Large-scale Image Generation and Editing

대규모 이미지 생성·편집 모델의 파라미터와 연산 부담을 줄이기 위해 TMP(Tree-structured Mixed-policy Pruning)라는 구조적 프루닝(structured pruning) 프레임워크를 제안하며, T2I·TI2I 작업과 MoE·DiT 아키텍처에 적용 가능하고 구조적 프루닝 뒤 트리 구조 혼합 정책 특징 증류와 예측 정렬로 성능을 회복한다. HunyuanImage-3.0을 80B에서 20B로 75% 압축해 생성 품질 저하를 제한했고 단일 24GB GPU에서 추론이 가능하며, Z-Image turbo는 6B에서 4B로 33% 줄여 거의 성능 저하 없이 압축했다.

arXiv:2606.26778v1cs.CV

LearniBridge: 확산 모델 가속을 위한 특징 캐싱의 학습 가능한 보정

LearniBridge: Learnable Calibration of Feature Caching for Diffusion Models Acceleration

확산 Transformer(DiT)의 특징 캐싱은 고가속 구간에서 오차 누적이 심해지는데, LearniBridge는 다양한 프롬프트에 공통인 저랭크 보정 구조를 활용해 경량 LoRA로 여러 타임스텝을 연결하는 학습 가능한 보정 메커니즘을 제안한다. 3–5개 샘플만으로 학습해도 FLUX·HunyuanVideo·WAN2.1에서 최대 5.87×·5.75×·4.10× 추론 가속을 달성하고, WAN2.1에서는 4.10× 가속에서 VBench가 이전 SOTA 대비 1.28% 향상된다.

arXiv:2606.24888v1cs.CV

DiffusionBench: On Holistic Evaluation of Diffusion Transformers

Diffusion transformer (DiT) research on image generation has converged to a single evaluation setup: class-conditional generation on ImageNet. While methods improve the FID and related metrics, it is increasingly unclear whether they reflect real progress in generative modeling. The natural alternative, i.e., text-to-image (T2I) generation, is perceived as too costly or inconvenient to train and evaluate and is often skipped. We argue that this perception no longer holds. We introduce NanoGen, a unified DiT training and evaluation framework. NanoGen matches state-of-the-art DiT baselines on ImageNet and, with 12 lines of configuration change, also trains competitive text-to-image models. It currently supports RAE, VAE, pixel-space, and MeanFlow diffusion methods under both ImageNet and T2I setups. Under NanoGen, training T2I requires comparable compute to ImageNet. After training 21 latent diffusion models with NanoGen, we observe that method ranking shows no strong correlation between ImageNet and T2I generation: Pearson correlation is between -0.377 and -0.580 across three metrics. This suggests that a method which improves class-conditional ImageNet FID may show no corresponding improvement on T2I, clearly indicating the necessity of evaluating DiTs on both tasks. To this end, we summarize ImageNet and text-to-image results, which yields DiffusionBench, a holistic benchmark for DiT research. We recommend reporting DiffusionBench in place of ImageNet alone: methods that improve DiffusionBench are more likely to reflect broader progress.

arXiv:2606.20101v1cs.SD

Rectified Flow를 통한 명령어 기반 오디오 편집을 위한 하이브리드 디퓨전 트랜스포머

Hybrid Diffusion Transformer for Instruction-Guided Audio Editing via Rectified Flow

오디오 편집은 나머지 음향 콘텐츠를 보존하면서 자연어 명령어에 따라 기존 오디오 클립의 특정 콘텐츠를 수정하는 것을 목표로 합니다. 디퓨전 모델의 획기적인 발전에도 불구하고, 기존 학습 기반 편집 방법들은 주로 합성곱 U-Net 백본의 국소적 편향(local inductive biases)과 크로스 어텐션(cross-attention) 상호작용에 의존하며, 이는 장거리 의미 정렬과 명령어의 정확한 이해 및 지역화를 종종 저해합니다. 대조적으로, 디퓨전 트랜스포머는 더 강력한 전역 모델링과 멀티모달 융합을 제공하지만, 기존 편집 아키텍처는 일반적으로 MMDiT와 DiT 블록의 단순한 스택을 채택합니다. 모든 블록에서 연결된 오디오 및 텍스트 토큰에 대해 조인트 어텐션(joint attention)을 적용하면 토큰 길이에 대해 이차적인 복잡도가 발생합니다. 편집 성능과 효율성의 균형을 맞추기 위해, 우리는 Rectified Flow 매칭을 기반으로 명령어 기반 오디오 편집을 위한 하이브리드 2단계 디퓨전 트랜스포머 아키텍처를 제안합니다. 이 방법은 저해상도 단계에서 대략적인 의미 정렬을 수립하기 위해 오디오 및 텍스트 토큰에 대해 조인트 어텐션을 수행한 다음, 고해상도 단계에서 편집 세부 사항을 정제하기 위해 교대로 조인트 어텐션 및 크로스 어텐션 블록으로 전환합니다. 이 coarse-to-fine 전략은 효율적이고 정확한 명령어 기반 오디오 편집을 가능하게 합니다. 실험 결과, 제안된 프레임워크는 중첩된 오디오 이벤트와 복잡한 명령어가 포함된 어려운 편집 작업에서 두드러진 성능 향상을 달성하면서, 컴팩트한 모델로 편집 효율성을 상당히 개선하는 것으로 나타났습니다.

arXiv:2606.20112v1cs.CV

픽셀 수준 잔차 확산 트랜스포머: 확장 가능한 3D CT 볼륨 생성

Pixel-Level Residual Diffusion Transformer: Scalable 3D CT Volume Generation

미세한 디테일을 갖춘 고해상도 3D CT 볼륨 생성은 기존 생성 모델에 내재된 상당한 계산 요구와 최적화의 어려움으로 인해 여전히 어려운 과제이다. 본 논문에서는 고품질 3D 의료 볼륨을 복셀 수준에서 직접 합성하는 확장 가능한 생성 프레임워크인 Pixel-Level Residual Diffusion Transformer(PRDiT)를 제안한다. PRDiT는 두 단계 학습 아키텍처를 도입하며, 여기에는 1) 겹치는 3D 패치에서 동작하는 MLP 기반 blind estimator 형태의 국소 디노이저가 저주파 구조를 효율적으로 분리하고, 2) 메모리 효율적인 어텐션을 사용하는 전역 잔차 확산 트랜스포머가 전체 볼륨에 걸친 고주파 잔차를 모델링하고 정제한다. 이 거친-세밀(coarse-to-fine) 모델링 전략은 최적화를 단순화하고, 학습 안정성을 높이며, 오토인코더 병목의 한계 없이 미세한 구조를 효과적으로 보존한다. LIDC-IDRI 및 RAD-ChestCT 데이터셋에서 수행한 광범위한 실험은 PRDiT가 HA-GAN, 3D LDM, WDM-3D와 같은 최신 모델들을 일관되게 능가하며, 3D FID, MMD 및 Wasserstein 거리 점수에서 현저히 낮은 수치를 달성함을 보여준다.

arXiv:2606.20076v1cs.CV

확산 트랜스포머를 위한 학습 가능한 전역 병합 기반 가변 길이 토큰화

Variable-Length Tokenization via Learnable Global Merging for Diffusion Transformers

잠재 확산 모델(Latent Diffusion Models, LDMs)은 시각 합성에서 지배적이지만, 품질-연산(compute) 트레이드오프는 토크나이저의 고정된 압축 비율에 크게 제한된다. 가변 길이 토크나이저(variable-length tokenizers, VLTs)는 토큰 수를 변화시켜 적응형 압축을 가능하게 하며, 확산 모델이 품질과 연산을 유연하게 균형 잡을 수 있게 한다. 그러나 기존 VLT는 순서가 있는 토큰 시퀀스를 잘라내어 길이를 조절하므로, 토큰 의미가 토큰 위치에 의존하게 되고 길이 간 표현 정렬이 깨진다. 이는 잠재 분포에서 길이 간 이동(cross-length shift)을 초래하여 단일 가변 길이 확산 모델이 효과적으로 동작하는 것을 방해한다. 이를 해결하기 위해, 우리는 토큰 병합으로 길이를 조절하는 새로운 가변 길이 토크나이저를 제안한다. 유사한 토큰이 병합되도록 유도하면, 확산 트랜스포머가 병합 패턴에 따라 동작할 때 길이 간 표현 정렬이 직접적으로 가능함을 보인다. 기존 병합 방법은 데이터에 의존적이어서 생성 시 병합 패턴에 접근할 수 없으므로, 데이터에 독립적인 학습 가능한 전역 병합(learnable global merging)을 도입하여 확산 트랜스포머와의 호환성을 보장한다. ImageNet 256$\times$256 생성에서, 확산 트랜스포머와 통합된 병합 기반 가변 길이 토크나이저는 기존 VLT 방법 대비 우수한 gFID-연산 트레이드오프를 달성한다. 코드는 https://github.com/movinghoon/lgm 에서 제공된다.

arXiv:2601.03112v2eess.IV

DiT-JSCC: Diffusion 트랜스포머와 의미적 표현을 통한 Deep JSCC 재고

DiT-JSCC: Rethinking Deep JSCC with Diffusion Transformers and Semantic Representations

생성형 결합 소스-채널 부호화(GJSCC)는 초저 대역폭 및 낮은 신호 대 잡음비(SNR)와 같은 극한의 무선 채널 환경에서 고품질이고 강건한 이미지 전송을 달성하기 위한 새로운 Deep JSCC 패러다임으로 등장했습니다. 최근 연구들은 주로 생성형 디코더로 확산 모델(diffusion models)을 채택하지만, 이들은 종종 시각적으로는 사실적이나 의미적 일관성(semantic consistency)이 제한된 결과를 생성합니다. 이러한 한계는 재구성 지향 JSCC 인코더와 생성형 디코더 사이의 근본적인 불일치에서 기인하는데, 전자는 명시적인 의미적 식별력(semantic discriminability)이 부족하여 신뢰할 수 있는 조건부 단서(conditional cues)를 제공하지 못하기 때문입니다. 본 논문에서는 의미 우선 표현 인코더와 diffusion 트랜스포머(DiT) 기반 생성형 디코더를 공동으로 학습할 수 있는 새로운 GJSCC 백본(backbone)인 DiT-JSCC를 제안하며, 본 오픈 소스 프로젝트는 GJSCC의 향후 연구를 촉진하는 것을 목표로 합니다. 구체적으로, 극한 채널 환경에서 의미적 일관성(semantic consistency)을 우선시하기 위해, coarse-to-fine 조건부 DiT 디코더와 자연스럽게 정렬되는 의미-세부 이중 분기 인코더를 설계했습니다. 더욱이, 전송 효율을 더욱 향상시키기 위해 콜모고로프 복잡도(Kolmogorov complexity)에서 영감을 받은 학습 없는(training-free) 적응형 대역폭 할당 전략을 도입하여, 생성형 디코딩 시대의 정보 가치 개념을 실제로 재정의합니다. 광범위한 실험을 통해 DiT-JSCC가 의미적 일관성(semantic consistency)과 시각적 품질 모두에서 기존 JSCC 방법들을 지속적으로 능가함을 입증했으며, 특히 극한 조건에서 그러합니다.

arXiv:2606.18765v1cs.CV

SpectralDiT: 플로우 매칭 DiTs를 위한 타임스텝 조건 스펙트럼 잔차 보정

SpectralDiT: Timestep-Conditioned Spectral Residual Correction for Flow-Matching DiTs

우리는 플로우 매칭 Diffusion Transformers(DiT)에 대한 가벼운 수정인 SpectralDiT를 제안하며, 이는 MLP 잔차 분기에 타임스텝 조건 스펙트럼 보정을 추가합니다. 이 모듈은 패치 토큰(patch-token) 그리드 상에서 각 잔차 업데이트를 저주파 및 고주파 성분으로 분해하고, 모델이 초기에는 기준선(baseline) DiT와 일치하도록 0으로 초기화된 가산 게이트를 학습합니다. CIFAR-10 픽셀 공간 생성에서 SpectralDiT는 패치 크기 1일 때 FID를 20.78에서 19.71로 향상시키고 방사형 푸리에 스펙트럼 간극을 감소시킵니다. 또한, 우리는 ImageNet-100에 대한 잠재 확산(latent diffusion)으로 방법을 확장했습니다. 이론적 FLOPs 0.6% 증가와 파라미터 1.36% 증가만으로 SpectralDiT는 잠재 플로우 매칭을 개선하여, 분류기 없는 안내(classifier-free guidance, CFG 2.0) 조건에서 8.7%의 상대적 FID 감소를 달성했습니다. 보고된 모든 결과는 다섯 개의 시드(seed)에 대한 평균입니다. CIFAR-10에서의 소거 연구(ablation)와 게이트 시각화는 안정적인 블록별 스펙트럼 보정 패턴을 보여줍니다.

arXiv:2606.19004v1cs.DC

Spotlight: DiT RL 사후학습을 위한 시드 탐험과 스팟 GPU의 결합

Spotlight: Synergizing Seed Exploration and Spot GPUs for DiT RL Post-Training

Diffusion Transformer(DiT)의 강화학습(RL) 사후학습은 수천 개의 고성능 GPU가 필요하여 비용이 막대합니다. 기존 연구는 비용 절감을 위해 두 가지 방향을 탐색했습니다. 시드 탐험(seed exploration)은 대비가 높은 샘플을 선택하여 학습 수렴을 개선하지만, 핵심 경로에 연산 부하를 추가합니다. 스팟 GPU(spot GPU)는 69~77% 더 낮은 비용을 제공하지만, DiT 롤아웃(rollout)이 거의 동시에 완료되어 학습 중 유휴 상태로 남게 되며, 이는 학습과 롤아웃의 LLM 스타일 파이프라이닝을 방해합니다. 스팟 선점(spot preemption)은 시퀀스 병렬화(SP) 그룹을 더 깨뜨려 GPU 토폴로지를 파편화합니다. 우리는 DiT RL 사후학습을 위해 스팟 GPU를 활용하는 최초의 시스템인 Spotlight를 제안합니다. Spotlight는 우리가 고안한 두 가지 핵심 통찰에 기반합니다. (1) 탐험은 오래된 모델 가중치를 허용할 수 있음을 보여줍니다. 이전 반복(iteration)의 모델 가중치를 사용하는 탐험은 랜덤 시드의 상대적 순위를 보존하므로, 학습 중 유휴 스팟 GPU에서 탐험을 실행할 수 있습니다. (2) SP 재구성은 노드 내 상태를 재사용할 수 있어, 그룹 복구 시간을 수분에서 1초 미만의 실행 시간으로 단축합니다. 이러한 통찰을 바탕으로, Spotlight는 세 가지 기법을 도입합니다: 학습 시간 예산 내에서 보상(reward) 분산을 최대화하는 밴디트 기반 탐험 계획기, 지속형 스케줄러와 노드 내 가중치 복사를 통해 SP 그룹을 동적으로 재구성하는 탄력적 시퀀스 병렬화, 그리고 부하를 균형화하고 선점 시 진행 중인 상태를 커밋하는 선점 인식형 풀 기반 요청 스케줄러입니다. 우리는 오픈소스 RL 플랫폼인 ROLL에 Spotlight를 구현하고 Qwen-Image 사후학습에서 평가했습니다. Spotlight는 기준선보다 $4\times$ 더 빠르게 동일한 목표 검증(validation) 점수에 도달하여, 전체 비용을 $1.4$-$6.4\times$ 줄이면서 DeepSeek-OCR 및 Geneval 데이터셋에서 해상도 $512\times512$ 및 $1280\times1280$으로 우수한 이미지 품질을 달성했습니다.

arXiv:2605.20708v2cs.CV

Diffusion Transformers(DiT)에서의 층 간 정보 라우팅 재고

Rethinking Cross-Layer Information Routing in Diffusion Transformers

Diffusion Transformers(DiT)는 현대 시각 생성의 사실상의 백본이 되었으며, 토큰화, 어텐션, 컨디셔닝, 목적 함수, 잠재 오토인코더를 포함한 거의 모든 주요 설계 축이 광범위하게 재검토되었습니다. 그러나 층 간에 정보가 누적되는 방식을 결정하는 잔차 스트림(residual stream)은 원래의 트랜스포머로부터 직접 상속받았습니다. 본 논문에서는 DiT의 층 간 정보 흐름에 대해 깊이와 노이즈 제거 타임스텝(denoising timestep)을 함께 고려하여 체계적인 실증 분석을 수행하고, 전통적인 잔차 덧셈의 세 가지 구체적인 증상인 단조적 전방 크기 팽창, 급격한 후방 그래디언트 감쇠, 그리고 뚜렷한 블록 단위 중복성을 식별합니다. 이러한 진단에 동기를 부여받아, 우리는 하위 층 출력의 이력에 대해 학습 가능하고 타임스텝 적응적이며 비증분적인 집계를 수행하는 대체 가능한 잔차 대체 수단인 Diffusion-Adaptive Routing(DAR)을 제안합니다. 또한 제안된 DAR는 REPA와 같은 많은 현대 트랜스포머 향상 방법과 호환됩니다. ImageNet $256\times256$에서 DAR는 SiT-XL/2의 FID를 $2.11$만큼 향상시켰으며($7.56$ vs.\ $9.67$), 학습 반복 횟수를 $8.75\times$ 줄이고도 기준선의 수렴된 품질과 일치하는 성능을 보였습니다. REPA 위에 결합했을 때 초기 단계에서 $2\times$ 학습 가속을 달성하여, 층 간 정보 라우팅이 기존 표현 정렬 목표와 직교적으로 작동하는 확산 모델링에서 미탐색 설계 축임을 시사합니다. 사전 학습을 넘어, DAR는 대규모 텍스트-이미지(T2I) 모델의 미세조정 단계에서도 적용될 수 있으며 Distribution Matching Distillation 동안 고주파 세부 사항을 보존합니다.

arXiv:2606.13501v1cs.DC

GF-DiT: 디퓨전 트랜스포머 서빙을 위한 병렬성 스케줄링

GF-DiT: Scheduling Parallelism for Diffusion Transformer Serving

디퓨전 트랜스포머(DiT) 서빙의 정적 병렬성 한계를 극복하기 위해, GF-DiT는 워크로드와 시스템 상황에 따라 병렬성을 동적으로 조정하는 탄력적인 런타임을 제안한다. 이 방식은 그룹 프리 컬렉티브를 통해 통신 오버헤드를 획기적으로 줄여 처리량을 최대 6.01배 향상시키고 평균 지연 시간을 최대 95% 단축했다.

arXiv:2606.13432v1cs.CV

OmniDirector: 교차 쌍 데이터 없는 범용 멀티샷 카메라 클로닝

OmniDirector: General Multi-Shot Camera Cloning without Cross-Paired Data

참조 비디오에서 카메라 동작을 복제하는 것은 비디오 생성에서 중요한 과제로, 비디오는 직관적이고 정밀한 제어를 제공합니다. 기존 방법들은 멀티샷 생성을 처리하지 못하는 파라메트릭 표현을 직접 사용하거나 교차 쌍 데이터를 합성하는데, 이는 데이터 희소성 문제로 인해 복잡한 카메라 동작 클로닝에서 성능이 저하됩니다. 이러한 문제를 해결하기 위해, 카메라를 그리드 모션 비디오로 인코딩하는 범용 카메라 동작 표현을 제안합니다. 이 카메라 그리드는 카메라 파라미터를 시각적으로 표현하며 멀티샷 비디오 생성을 위한 다양한 궤적의 통합을 지원합니다. 이를 기반으로, 백만 규모의 카메라 그리드-비디오 쌍으로 학습된 통합 프레임워크인 OmniDirector를 제안합니다. OmniDirector는 캐릭터, 동작, 카메라를 조율하여 멀티모달 확산 트랜스포머(multimodal diffusion transformers)에 감독 수준의 제어를 제공합니다. 또한, 신호 간 관계를 이해하여 카메라 동작과 시각적 콘텐츠를 체계적으로 기술함으로써 서로 다른 제어 신호를 조화롭게 통합하는 새로운 계층적 프롬프트 확장 에이전트를 설계합니다. 광범위한 실험을 통해 본 프레임워크의 우수한 성능과 뛰어난 제어 가능성을 입증합니다. 프로젝트 페이지: https://ymlinfeng.github.io/OmniDirector.github.io/

arXiv:2606.12987v1cs.CV

자율주행 장면 예측을 위한 디퓨전 트랜스포머 월드-액션 모델

Diffusion Transformer World-Action Model for AV Scene Prediction

행동 조건부 월드 모델(action-conditioned world models)은 자율주행 차량이 계획된 제어를 통해 미래 카메라 장면을 예측하게 하여 실제 환경 수행 없이 계획 및 시뮬레이션을 가능하게 하지만, 소형이고 학습 가능한 규모에서는 미래가 모호하며 분야의 표준 왜곡 메트릭(distortion metrics)은 적극적으로 오도합니다: 이들은 현실적인 예측보다 흐릿한 회귀 평균(regression mean)을 선호합니다. 우리는 현재 전방 카메라 잠재(latent)와 자기 행동(ego-actions) 시퀀스가 주어지면 미래 장면 잠재를 예측하는 소형 잠재 월드 모델로 이 문제에 대응하며, 동결된 디코더(frozen decoder)가 이를 최대 8초 후까지의 $256 \times 256$ 프레임으로 렌더링하고, 150개의 별도 nuScenes 장면에서 평가합니다. 우리는 먼저 어디서 예측할지 벤치마킹합니다: 4개의 표현 계열에 걸친 6개의 동결된 인코더 중에서, 시간적 맥락이 있는 V-JEPA2가 최고의 단일 프레임 인코더 대비 조향 RMSE를 40% 감소시킵니다. 그 후 우리는 잠재 Diffusion Transformer(DiT)를 학습시키고, 통제된 분석을 통해 필요한 4가지 요소를 식별합니다: 공간 토큰(spatial tokens), $x_0$ 목적함수, 잔차 앵커링(residual anchoring), 그리고 목표 불확실성에 매칭된 샘플링입니다. Stable-Diffusion-VAE 인코딩-예측-디코딩 파이프라인에서 우리는 핵심 긴장 관계를 드러냅니다: 왜곡 메트릭(코사인 유사도, SSIM)은 흐릿한 평균을 선호하여, 디퓨전 모델이 실제 프레임 분포에 훨씬 더 가깝다는 사실을 가립니다. Inception 기반 FID와 KID는 명확한 인식-왜곡 프론티어(perception-distortion frontier)를 보여줍니다: 디퓨전은 회귀(regression)의 0.375 대비 KID 0.078을 달성($4.8\times$ 더 우수)하며, 배포 가능한 학습 유래 보정(calibration)은 테스트 시점 정답 없이도 이를 실용적으로 만듭니다. 이 모델은 진정으로 행동 제어가 가능합니다(조향이 장면 변위를 유도함, 스피어만 $ρ=0.81$, 회귀의 경우 $-0.18$). 우리는 제한된 단일 패스 모션(single-pass motion)의 원인을 공유된 현재 앵커(shared-present anchor)로 추적하고, 완전한 실제 모션 크기($1.02\times$ GT)를 복원하는 소형 170만 파라미터 "점프(jump)" 모델을 설계했으며, 단일 패스 모델들은 절반 미만을 포착합니다.

arXiv:2606.12555v1cs.SD

AudioX-Turbo: 효율적인 Anything-to-Audio 생성을 위한 통합 프레임워크

AudioX-Turbo: A Unified Framework for Efficient Anything-to-Audio Generation

유연한 멀티모달 제어 신호에 기반한 오디오 및 음악 생성은 널리 적용 가능한 주제이나, 다음과 같은 주요 과제가 존재합니다: 1) 통합 멀티모달 모델링 프레임워크, 2) 대규모 고품질 학습 데이터, 3) 다단계 확산 샘플링의 과도한 추론 비용. 이에 본 연구에서는 텍스트, 비디오, 오디오 신호 등 다양한 멀티모달 조건을 통합하는 anything-to-audio 생성을 위한 통합적이고 효율적인 프레임워크인 AudioX-Turbo를 제안합니다. AudioX-Turbo는 교사-학생 패러다임을 따릅니다. 교사 모델 AudioX-Base는 고충실도 합성을 위해 다양한 멀티모달 입력을 정렬하는 멀티모달 적응형 융합(Multimodal Adaptive Fusion) 모듈을 갖춘 멀티모달 확산 트랜스포머(Multimodal Diffusion Transformer)로 구축되었으며, 플로우 매칭(flow matching)에 적응된 분포 매칭 증류(Distribution Matching Distillation)를 통해 소수 단계 학생 모델 AudioX-Turbo로 증류되고, 고품질 소수 단계 생성을 위해 확산 기반 판별자로 보완됩니다. AudioX-Turbo의 학습을 지원하기 위해, 2단계 데이터 수집 및 주석 파이프라인을 통해 선별된 약 920만 개의 샘플로 구성된 대규모 고품질 데이터셋 IF-caps-Pro를 구축했습니다. 다양한 작업에 걸쳐 AudioX-Turbo를 벤치마킹한 결과, 본 모델이 단 4개의 샘플링 단계에서만 동작하며 다단계 기준 모델보다 약 25배 적은 함수 평가(NFE)만을 요구함에도 불구하고, 특히 텍스트-투-오디오 및 텍스트-투-뮤직 생성에서 우수한 성능을 달성함을 확인했습니다. 이러한 결과는 본 방법이 유연한 멀티모달 제어 하에서 오디오 생성이 가능하며, 효율적이고 강력한 인스트럭션 따르기(instruction-following) 능력을 보여줌을 입증합니다. 코드와 데이터셋은 https://zeyuet.github.io/AudioX-Turbo/ 에서 제공될 예정입니다.

arXiv:2606.12280v1cs.LG

8비트 가중치·활성화에서 FP8 품질 상한 유지: 소비자용 GPU를 위한 Ideogram 4.0의 INT8 및 GGUF 사후 학습 양자화

Holding the FP8 Quality Ceiling at 8-Bit Weights and Activations: INT8 and GGUF Post-Training Quantization of Ideogram 4.0 for Consumer GPUs

사후 학습 양자화는 대규모 텍스트-이미지 확산 트랜스포머를 소비자용 GPU에서 실행할 수 있게 해 주지만, 하드웨어별 트레이드오프는 직접 측정되는 경우가 드물다. 우리는 FP8 텐서 코어가 없는 Ampere RTX 3090 GPU용으로 Ideogram 4.0을 양자화한다. Ideogram 4.0은 9.3B flow-matching 확산 트랜스포머(DiT)로, classifier-free guidance를 위해 단일 스트림 34층 백본의 별도 가중치 사본 두 개로 배포되며 Qwen3-VL-8B 인코더로 조건화된다. 우리의 INT8 W8A8 레시피(채널별 가중치, 토큰별 동적 활성화, SmoothQuant, 소수의 고취약성 층 집합에 대한 혼합 정밀도 보호)는 FP8 품질 상한을 유지한다. 200-프롬프트 벤치마크에서 INT8-FP8에 대한 동일 시드 부트스트랩 CI는 Pick과 CLIP 모두에서 0을 포함하며, INT8은 NF4 대비 CLIP에서 +1.9 개선을 보인다(95% CI [+1.21, +2.64], 0 배제). 범주별 OCR 분석은 우리가 아는 한 이 모델 클래스에 대해 보고된 적이 없으며, 텍스트 가독성이 보존됨을 확인하고, ablation은 FFN down-projection 보호가 지배적 품질 레버임을 격리한다. 우리의 GGUF Q4_K 양자화는 동일한 디스크 크기에서 NF4를 능가하며 품질-메모리 프론티어에서 파레토 최적이며, 쌍체 신뢰구간이 0을 배제한다(Q8_0은 품질 중립). 마지막으로, 8비트 양자화가 어디서 도움이 되고 어디서 되지 않는지 특성화한다. INT8의 가중치는 축소하기보다 FP8의 footprint와 같으므로, Ampere에서의 속도 향상은 융합 INT8 커널을 기다려야 한다.

arXiv:2606.11783v1cs.CV

오픈 도메인 맞춤형 비디오 생성을 위한 포괄적 생태계

A Comprehensive Ecosystem for Open-Domain Customized Video Generation

최근 비디오 생성 분야의 진전으로 인상적인 시각적 합성 능력이 입증되었다. 그러나 오픈 도메인 맞춤형 비디오 생성은 다양한 정체성 특화 속성을 포착하는 대규모 주석 데이터셋의 부재로 인해 여전히 제한적이다. 이를 해결하기 위해, 우리는 정체성 보존 비디오 생성을 위한 최초의 공개 백만 규모 데이터셋인 PexelsCustom-1M을 제안한다. 이 데이터셋은 8,000개 이상의 카테고리에 걸쳐 100만 개의 큐레이션된 <identity, text, video> 트리플릿을 포함한다. 이를 활용하여, 우리는 사전학습된 멀티모달 Diffusion Transformer를 단 8%의 추가 학습 가능 매개변수만으로 맞춤형 비디오 생성기에 적응시키는 매개변수 효율적 프레임워크인 CustoMDiT를 제안한다. 우리 방법은 이전 최첨단(state-of-the-art)을 능가한다. 그러나 DreamBooth와 같은 벤치마크는 100개 클래스만을 다루어 실제 응용에는 불충분하다. 이를 극복하기 위해, ImageNet과 MS-COCO로부터의 교차 데이터셋 지식 융합을 통해 1,000개 이상의 카테고리를 포함하는 새로운 벤치마크 OpenCustom을 구축한다. 광범위한 실험은 우리 데이터셋과 모델 모두의 장점을 확인한다. 우리는 데이터셋, 파이프라인, 벤치마크, 구현을 포함한 전체 생태계를 오픈소스로 공개하여 후속 연구를 지원할 것이다.

arXiv:2512.14096v2cs.CV

RSTR: 디퓨전 트랜스포머에서의 시공간 중복성 감소

RSTR: Reducing SpatioTemporal Redundancy in Diffusion Transformers

디퓨전 트랜스포머(DiT)는 이미지 생성에서 주목할 만한 성공을 거두었으나, 높은 연산 비용으로 인해 배포가 제한받고 있습니다. 우리는 중복성의 두 가지 원인을 식별했습니다. 첫째, 시간적 중복성입니다. 분류기 없는 가이던스(CFG)는 모든 타임스텝에서 비용이 많이 드는 이중 순방향 패스를 적용하지만, 가이던스는 특정 단계에서만 중요하며, 중요한 단계에서의 가변 스케일이 다른 단계를 건너뛴 것을 보상할 수 있습니다. 둘째, 공간적 중복성입니다. 가변 가이던스 하에서 서로 다른 트랜스포머 블록은 이질적인 민감도를 보이지만, 모든 블록에 걸친 균일한 보정은 연산을 낭비할 뿐만 아니라 그들의 다양한 요구사항을 해결하지 못합니다. 우리는 디퓨전 트랜스포머에서 시공간 중복성을 동시에 줄이는 최초의 프레임워크인 RSTR을 제안합니다. 1단계는 진화적 탐색을 통해 시간적 중복성을 해결하며, 가변 스케일을 갖는 희소 가이던스 스케줄을 도출합니다. 2단계는 적응형 랭크 할당을 통해 공간적 중복성을 해결하며, 민감도에 기반하여 트랜스포머 영역에 보정 용량을 할당합니다. DiT-XL/2, PixArt-$α$, FLUX 및 최첨단 Qwen-Image에 대한 실험은 품질을 유지하거나 개선하면서 50%-70%의 연산 절감 효과를 입증했습니다. DiT-XL/2에서 RSTR은 15%의 FID 개선과 함께 57%의 절감을 달성했으며, Qwen-Image에서는 품질을 유지하면서 3.43배의 속도 향상을 보였습니다.

arXiv:2606.07207v1cs.SD

엔트로피를 구조적 사전으로 활용: DiT 신뢰 공간에 적용한 로그-배리어가 음악적 다양성과 전개를 이끄는 방식

Entropy as a Structural Prior: How a Log-Barrier on DiT Belief Space Drives Musical Diversity and Development

신뢰도 기반 손실(loss) 가중치(weighting)는 모델(model)이 확신하지만 틀린 경우 오류를 가속화하므로 생성 모델에서는 일반적으로 피하지만, 이 직관은 지도 학습(supervised) 디퓨전 학습(training)에서는 성립하지 않습니다. 본 연구에서는 DiT 출력의 공간적 에너지 분포 엔트로피에서 파생된 매개변수가 없는 가중치인 Eisbach 로그-배리어(log-barrier)를 소개합니다. 높은 엔트로피는 그래디언트(gradient)를 감쇠시키는 반면, 낮은 엔트로피는 이를 보존합니다. MusicCaps 데이터셋에서 Stable Audio 3 Medium의 LoRA 미세조정(fine-tuning)에 적용한 결과, 가중치가 없는 학습보다 더 강력한 주제적 전개, 명확한 음향적 차별화, 그리고 높은 질감적 다양성이 예상치 못하게 나타났으며, 이는 모드 붕괴(mode collapse)와는 정반대의 현상입니다. 이는 지도 학습 디퓨전에서 그래디언트(gradient) 방향이 정답(ground truth)에 고정되어 있어 신뢰도가 단순히 스텝 크기만 조절한다는 점, 그리고 시간적 엔트로피가 평탄한(flat) 샘플의 가중치는 낮추면서 고대비(high-contrast) 샘플은 보존한다는 점 때문에 작동합니다. 그 결과, 분석된 노이즈 수준 동역학(dynamics)과 검증 가능한 예측을 포함하여, 순전파(forward pass)에서만 순수하게 발생하는 온라인 자기 참조적 데이터 커리큘럼이 도출되었습니다.

arXiv:2606.07053v1cs.CV

TrioPose: 포즈 기반 텍스트-이미지 생성을 위한 네이티브 삼중 스트림 Diffusion Transformer

TrioPose: Native Triple-Stream Diffusion Transformers for Pose-Guided Text-to-Image Generation

포즈 기반 텍스트-이미지 생성은 복잡한 다인물 시나리오에서 사지 왜곡과 특징 간 크로스토크(crosstalk)로 인해 문제가 자주 발생한다. 기존 UNet 기반 어댑터는 장거리 공간 의존성을 처리하는 데 어려움을 겪는 반면, 새롭게 등장한 멀티모달 확산 트랜스포머(Multimodal Diffusion Transformers, MM-DiTs)는 뛰어난 전역 모델링을 제공한다. 그러나 MM-DiTs에서 단순한 신호 연결(concatenation)은 사전학습된 잠재 분포를 심각하게 훼손한다. 이를 해결하기 위해 SD3.5M 아키텍처 위에 구축된 네이티브 포즈 기반 프레임워크인 TrioPose를 제안한다. 구체적으로, 포즈를 독립적인 모달리티로 취급하는 삼중 스트림 포즈 인식 DiT(Triple-Stream Pose-Aware DiT, TSPA-DiT)를 도입한다. 이는 층별 활성화와 영 초기화 이중 잔차 주입(dual-residual injection)을 사용하여 사전학습된 잠재 안정성을 유지하면서 기하학적 제약을 부드럽게 강제한다. 심각한 다중 인스턴스 가림(occlusion)을 해결하기 위해, 위상학적 연결성을 세분화된 물리적 상태로 분류하고 이를 연속적인 어텐션 소프트 제약으로 매핑하여 인스턴스 간 간섭을 효과적으로 분리하는 학습 가능 관계형 바이어스 마스크(Learnable Relational Bias Mask)를 설계한다. 또한 포즈 기반 공간 손실 가중치(Pose-Guided Spatial Loss Weighting) 전략은 히트맵에서 유도된 오차 맵을 사용하여 네이티브 확산 목적 함수를 조절하며, 해부학적 감독을 왜곡이 발생하기 쉬운 영역에 엄격히 집중한다. 광범위한 실험을 통해 TrioPose가 Human-Art, CrowdPose, OCHuman을 포함한 도전적인 벤치마크 전반에서 최첨단 성능을 달성함을 보여준다. 특히 Human-Art에서 AP 64.33을 달성하여 이전 연구 대비 30% 향상을 이루었으며, 복잡한 다인물 생성에서 시각적 충실도와 텍스트-이미지 의미 정렬의 새로운 기준을 제시한다.

arXiv:2606.06875v1cs.CV

불안전한 정보 흐름 제한을 통한 멀티모달 확산 트랜스포머 기반 통합 안전 인-컨텍스트 이미지 생성

Unified Safe In-context Image Generation in Multimodal Diffusion Transformers via Restricting Unsafe Information Flows

멀티모달 어텐션(MM-Attn)을 갖춘 확산 트랜스포머(DiT)는 이미지 생성의 지배적 패러다임이 되었다. 그러나 유해 콘텐츠 생성을 방지하는 것은 여전히 중요한 과제이며, 특히 이미지-투-이미지(I2I) 편집 작업에서 그렇다. 기존 안전성 메커니즘은 주로 텍스트-투-이미지(T2I) 합성이나 U-Net 기반 아키텍처를 위해 설계되어, DiT 기반 프레임워크에서 통합 안전성 완화의 효과를 제한한다. 이 간극을 메우기 위해, 생성된 이미지에서 불안전한 의미를 조절하는 학습 없는 안전 생성 프레임워크인 Unified Visual Safety Regulator(UVR)를 제안한다. UVR은 MM-Attn에서 정보 흐름의 관점에서 어텐션 동역학을 분석한 것에 기반한다. 우리는 작업 독립적인 시작 단계를 확인하는데, 이 단계에서 출력 패치의 불안전한 의미가 빠르게 나타나 정확히 국소화될 수 있으며, 이어서 작업별 의미 증폭 및 간섭 단계가 있어 유해 신호가 더 전파되고 정상 콘텐츠와 얽힌다. 이러한 관찰에 기반하여, UVR은 확인된 불안전 출력 패치에 대해 통합적이고 표적화된 어텐션 변조 및 유해 정보 흐름의 명시적 제한을 통해 불안전 생성을 완화한다. 다양한 개념에 걸친 실험에서 UVR은 이미지 합성 및 편집 작업에서 각각 91% 및 77%의 삭제율(erase rate)을 달성함으로써 최첨단 안전성 성능을 보이며, 최소한의 품질 저하로 시각적 품질과 충실도를 유지한다. 코드는 https://github.com/deng12yx/UVR 에서 이용 가능하다.