Positron emission tomography (PET) seeks to balance diagnostic quality with ra-diation dose. Low-count PET noise is non-Gaussian, non-stationary, and spatial-ly dependent. It scales directly with local activity and is shaped by iterative recon-struction and physical corrections. Standard denoising diffusion probabilistic models (DDPMs) ignore these PET properties. Their forward process adds iso-tropic, homoscedastic Gaussian noise to the target. Such an approach fails to cap-ture the realistic physical degradation generated by the imaging system. To ad-dress the above limitations, this study introduces a heteroscedastic residual diffu-sion model (HDDPM) for low-count brain PET recovery in which the forward corruption is itself intensity-aware. We designed a fixed, Poisson-based variance module to generate voxel-wise noise maps. These maps naturally place stronger noise perturbation on low-activity regions than high-activity ones, meanwhile the network predicts the low-to-standard-count residual under explicit dose-fraction conditioning. We evaluated our proposed model (HDDPM) alongside generative frameworks across three different scanners, using both internal and external da-tasets at various simulated dose levels (1% to 50%). HDDPM and isotropic DDPM showed comparable overall image quality, but HDDPM stood out in the lowest-dose (1%) external scans. It is highly reliable and significantly reduces measurement errors in both high- and low-activity regions, compared to the standard model. These results support that heteroscedastic noising with the pro-posed HDDPM is feasible, and it provides a physically motivated inductive bias for quantitative low-count PET recovery by reflecting the activity-dependent noise structure of PET.
생성 모델은 데이터 합성에서 뛰어난 성과를 거두었지만, 모델 규모 확대에 힘입은 최근 발전은 계산 비용과 효율성 측면에서 새로운 과제를 야기했다. 양자 머신러닝은 압축적이고 표현력이 높은 모델로 복잡한 데이터 분포를 표현할 수 있는 유망한 대안을 제공한다. 본 연구에서는 시계열 합성을 위한 최초의 양자 생성 확산 모델인 QDiffusion-TS를 제안하고 IQM 양자 프로세서에서 이를 검증한다. 본 프레임워크는 디노이징 트랜스포머 내 피드포워드 구성 요소를 양자 신경망으로 대체하여 고전적 확산 아키텍처를 확장함으로써, 대체된 각 구성 요소의 학습 가능한 파라미터 수를 거의 세 자릿수만큼 줄이는 하이브리드 양자 트랜스포머를 구현한다. Apple과 Amazon의 금융 시계열에 대해 평가한 결과, 본 모델은 합성 데이터를 생성하여 실제 분포를 더 정확하게 재현하며, 두 데이터셋 모두에서 고전적 대응 모델 대비 Wasserstein 거리를 약 44% 감소시킨다. 하류 예측 작업에서 생성된 데이터를 활용한 데이터 증강은 실제 데이터만으로 학습한 기준선 대비 RMSE를 최대 71% 개선한다. 이러한 결과는 양자 강화 아키텍처가 상당히 적은 파라미터로 고전적 성능에 지속적으로 부합하거나 종종 이를 능가할 수 있음을 보여주며, 보다 효율적이고 확장 가능한 데이터 기반 생성 모델링을 향한 실용적 프레임워크를 확립한다.
고해상도 위성 영상에 대한 수요 증가로, Sentinel-2와 같은 무료 공개 미션과 PlanetScope와 같은 상업 시스템 간의 공간 해상도 격차를 해소하기 위한 초해상화(super-resolution, SR)에 대한 관심이 높아졌다. 어떤 센서도 진정한 저해상도-고해상도 쌍 관측을 제공하지 않기 때문에, SR 모델은 보통 합성적으로 저하된 데이터로 학습되며, 이는 실제 교차 센서 영상에서 도메인 갭(domain gap)을 만든다. 본 연구에서는 이러한 합성-실제(synthetic-to-real) 불일치가 현대 확산(diffusion) 기반 SR 모델의 성능에 어떤 영향을 미치는지에 대한 최초의 체계적 연구를 제공한다. 기하학적·시간적으로 정렬된 대규모 Sentinel-2 및 PlanetScope 영상 데이터셋을 사용하여, 통제된 실험 설정 하에서 다섯 가지 최신(state-of-the-art) 확산 아키텍처를 평가한다. 또한 Sentinel-2 자기지도(self-supervised) 특징 기반의 도메인 적응형 지각(perceptual) 지표인 LPIPS-Sat를 제안한다. 결과는 두 가지 지속적인 과제를 보여준다: 합성 데이터로 학습된 모델은 실제 쌍(real pairs)에서 급격히 성능이 저하되며, 실제 교차 센서 데이터로 학습된 모델은 최적화(optimization) 어려움을 보이고 물리적·방사측정(radiometric) 다양성에 적응하는 데 어려움을 겪는다. 이러한 발견은 현재 SR의 핵심 한계를 부각시키며, 초해상화와 도메인 적응(domain adaptation)을 분리(disentangle)하는 방법을 촉구한다.
심층 학습은 고처리량 병리조직학 이미지 분석에서 뛰어난 성과를 보여주었다. 그러나 학습 기반 모델의 성능은 전문 병리의가 수행하는 주석의 품질과 규모에 크게 의존하며, 이는 자원 집약적이고 시간이 많이 소요되는 과정이다. 데이터 부족과 주석 부담이라는 한계를 해결하기 위해, 짝을 이루는 병리조직학 데이터를 합성하는 여러 방법이 제안되었다. 그럼에도 이러한 프레임워크는 일반적으로 학습 중 구조적 제약을 부과하기 위해, 비록 양은 줄더라도 여전히 주석 데이터를 필요로 한다. 본 연구에서는 CHIS를 제안한다. CHIS는 사전학습된 확산 모델의 샘플링 궤적을 두 가지 핵심 단계—시작 시 구조적 초기화와 생성 중 텍스처 변조—를 통해 안내하는 플러그인 프레임워크이다. 초기 노이즈 상태는 주파수 영역에서 사전 마스크의 위상(phase) 정보와 가우시안 노이즈의 진폭(amplitude)을 융합하여 정교화되며, 이를 통해 구조적으로 정보가 반영된 시작점을 얻는다. 역방향 확산 과정 동안, 서로 다른 웨이블릿 분해 수준에서 거시적·미시적 텍스처를 모두 적응적으로 변조한다. 이를 통해 레이블 없는 이미지만으로 사전학습된 확산 모델이 참조 조직 스타일을 유지하면서 사전 구조 마스크와 일치하는 출력을 생성할 수 있다. 광범위한 실험을 통해 CHIS의 생성 충실도 우수성과 하류 분할 작업에 대한 상당한 이점을 입증하였다. 코드는 https://github.com/IBIL-Code/CHIS 에서 이용할 수 있다.
End-to-end 픽셀 공간 확산 모델은 잠재 확산 모델(Latent Diffusion Models, LDM)의 손실 압축을 우회하지만, 고차원 공간에서 저주파 의미와 고주파 신호를 공동으로 모델링하는 데 어려움을 겪는다. 기존 연구들은 이 문제를 완화하기 위해 복잡한 픽셀 디코더에 크게 의존한다. 본 논문에서는 이러한 추세에 도전하며, 이러한 디코더가 주로 속도 예측(velocity prediction, $v$-prediction)에 내재된 최적화(optimization) 난점을 보완하는 역할을 한다는 점을 밝힌다. 클린 데이터 패러다임(clean data paradigm, $x$-prediction) 하에서는 이들은 중복된다. 이 통찰에 동기 부여되어, 우리는 복잡성보다 단순함을 옹호하고 픽셀 공간에 맞춘 미니멀리스트형 단일 단계 U형 확산 트랜스포머(Diffusion Transformer)인 PixelU를 제안한다. PixelU는 보조 디코더를 버리고 무(無)비용 스킵 연결(skip connections)을 채택하며, 이는 손상되지 않은 고주파 공간 세부 정보를 얕은 층에서 깊은 층으로 직접 전달하는 "정보 고속도로(information highway)" 역할을 한다. 백본(backbone)이 저주파 의미만을 모델링하는 데 전적으로 집중할 수 있도록, 우리는 자연스러운 저역 통과 필터(low-pass filter)로서의 일정 채널(constant-channel) 공간 다운샘플링(spatial down-sampling) 메커니즘을 도입하여, 깊은 층의 특징(feature)을 압축적이고 저주파의 의미 매니폴드(semantic manifold)로 압축한다. 광범위한 실험을 통해, 이러한 주파수 분리(decoupling of frequencies)가 강력한 기준선(JiT-G)을 약 1/3의 연산 비용만으로 능가할 수 있음을 보여준다. ImageNet 256$\times$256 및 512$\times$512에서 PixelU는 각각 FID 1.63과 1.92를 달성하여, 최근 픽셀 공간 방식들을 능가하고 end-to-end 확산 모델을 위한 단순하면서도 강력한 새로운 패러다임을 정립한다.
분
{"title_ko": "GeoFace: 기하 구조 제약 확산을 활용한 일관된 다중 뷰 얼굴 생성", "abstract_ko": "우리는 단일 입력으로부터 일관된 얼굴 생성을 위한 기하 구조 제약 다중 뷰 확산 프레임워크인 GeoFace를 제안한다. 최근 다중 뷰 확산 모델은 뷰 단위 수준에서 사실적인 합성을 달성하지만, 뷰 간 공유 3D 구조를 강제하는 명시적 메커니즘이 부족하여 시점 간 기하 구조가 불일치하는 경우가 많다. 이를 해결하기 위해 GeoFace는 외관과 기하 스트림이 공유 어텐션 레이어를 통해 상호작용하는, 다중 뷰 RGB 이미지와 3D 얼굴 기하를 공동 생성하는 통합 이중 스트림 프레임워크를 제안한다. 두 스트림이 서로를 상호 제약하도록 유도하기 위해, 우리는 3D 일관 대응 관계로 외관과 기하 토큰 사이의 크로스-어텐션을 지도하는 기하 유도 어텐션 정렬 손실을 도입하여, 외관 스트림이 시점 간 견고한 정렬을 위해 자세 불변 기하 단서를 올바르게 참조할 수 있게 한다. 기하는 다중 뷰 관측에 피팅된 FLAME 메시로부터 유도된 정규(canonical) UV 위치 맵으로 표현되며, 생성된 모든 뷰에 걸쳐 시점 불변 공유 제약으로 기능한다. RenderMe-360 및 NeRSemble에서의 실험은 GeoFace가 시각적 품질과 뷰 간 기하 일관성 모두에서 기존 방법을 지속적으로 능가하며, 보다 효율적인 3D 재구성을 가능하게 함을 보여준다."}
확산(diffusion) 기반 데이터셋 증류는 최근 대규모 데이터셋을 압축된 합성 세트로 응축하는 유망한 패러다임으로 부상했다. 사전학습된 생성 사전지식(pretrained generative priors)을 활용함으로써, 이러한 방법들은 전통적인 매칭 기반 접근법보다 더 효율적으로 사실적인 클래스 조건부 샘플을 생성할 수 있다. 그러나 기존 확산 기반 방법의 대부분은 여전히 경직된 ``Generate-and-Use'' 전략을 채택하며, 생성된 샘플을 고정된 클래스당 이미지 수 예산 하에서 최종 증류 세트로 직접 취급한다. 이러한 설계는 후보 생성과 최종 예산 할당을 밀접하게 결합하여, 제한된 예산의 중복 낭비 또는 정보가 불충분한 샘플을 초래할 수 있다. 본 논문에서는 할당 인식 생성형 데이터셋 증류를 위한 2단계 프레임워크인 ``Pool-Select-Refine''을 제안한다. 먼저, 고정된 수의 생성 샘플을 직접 사용하는 대신 과완전(over-complete) 후보 풀을 구성하고 목표 예산 하에서 소형 부분집합을 선택한다. 둘째, 교사 모델에서 유도된 소프트 레이블(soft-label) 지도를 사용하여 잠재 공간(latent space)에서 선택된 샘플을 정제(refine)함으로써, 생성 사전지식을 보존하면서 의미 정렬(semantic alignment)을 개선한다. 이러한 설계는 생성, 선택, 정제를 명시적으로 분리하여 증류 예산을 더 효과적으로 활용할 수 있게 한다. 대규모 및 세밀한(fine-grained) 이미지 분류 벤치마크에서의 실험은 제안된 프레임워크가 확산 기반 베이스라인 대비 일관된 성능 향상을 달성함을 보여준다. 결과는 정제 전에 큐레이션(curation) 단계를 도입하는 것이 확산 기반 데이터셋 증류를 개선하는 간단하면서도 효과적인 방법임을 시사한다.
자기지도 학습(SSL)과 확산 모델은 각각 고차원 3D 시각 데이터에 대한 표현 학습과 생성 모델링을 발전시켜 왔지만, 종종 별개의 패러다임으로 개발된다. 다중 출처 이질성 하에서의 통합은 여전히 어려운 과제인데, 해부학적 내용은 분석을 위해 보존되어야 하는 반면 촬영 관련 스타일은 센터 간에 달라지며 합성에 영향을 미치기 때문이다. 본 논문에서는 변분 오토인코더 잠재 공간에서 3D 의료 영상 분리 통합 사전학습(3D Medical image Disentangled UnifiEd PreTraining) 프레임워크인 MeDUET를 제안한다. MeDUET는 통합 사전학습을 경험적 인자 식별 가능성 문제로 공식화하여, 해부학을 위한 도메인 불변 내용 인자와 외관을 위한 도메인 특이적 스타일 인자를 학습하는 것을 목표로 한다. 인자 분리를 개선하기 위해 MeDUET는 먼저 표준 적대적 도메인 정규화와 함께 토큰 디믹싱(token demixing)을 사용하여 기본적인 내용-스타일 특화를 확립하고, 더 나아가 Mixed Factor Token Distillation과 Swap-invariance Quadruplet Contrast를 도입하여 혼합 영역 인자 누출을 줄이고 인자별 불변성과 판별 가능성으로 인자 공간을 구조화한다. 이렇게 학습된 인자를 통해 MeDUET는 합성과 분석 모두에 효과적으로 전이되어, 합성에서는 더 높은 충실도, 더 빠른 수렴, 더 나은 제어 가능성을 제공하고, 다양한 데이터셋, 태스크, 모달리티에서 경쟁력 있거나 우수한 도메인 일반화와 레이블 효율성을 달성한다. 전반적으로 MeDUET는 다중 출처 이질성이 유용한 감독 신호로 활용될 수 있음을 보여주며, 분리(disentanglement)가 3D 의료 영상 합성과 분석을 통합하는 효과적인 인터페이스를 제공함을 시사한다. 코드는 https://github.com/JK-Liu7/MeDUET 에서 제공된다.
대부분의 종단간 자율 주행 방법은 단일 전문가 시연에 대한 모방 학습에 의존하는데, 이는 종종 보수적이고 동질적인 행동을 낳아 복잡한 실제 시나리오에서의 일반화를 제한한다. 본 연구에서는 다양하고 실행 가능한 궤적을 생성하기 위해 강화학습과 확산 기반 생성을 결합한 종단간 주행 프레임워크인 DIVER를 제안한다. DIVER의 핵심에는 강화 확산 기반 생성 메커니즘이 있다. 먼저, 모델은 지도 요소와 주변 에이전트를 조건으로 하여 단일 정답(ground-truth) 궤적에서 여러 참조 궤적을 생성하고, 단일 전문가 시연에만 의존하는 모방 학습의 한계를 완화한다. 둘째, 강화학습을 사용하여 확산 과정을 유도하는데, 보상 기반 감독이 생성된 궤적에 안전성과 다양성 제약을 강제하여 실용성과 일반화 능력을 향상시킨다. 또한, 궤적 다양성을 포착하는 데 L2 기반 오픈 루프 지표의 한계를 해결하기 위해, 다중 모드 예측의 다양성을 평가하는 새로운 Diversity 지표를 제안한다. 폐루프 NAVSIM 및 Bench2Drive 벤치마크와 오픈 루프 nuScenes 데이터셋에서의 광범위한 실험을 통해, DIVER가 궤적 다양성을 크게 향상시키고 모방 학습에 내재된 모드 붕괴 문제를 효과적으로 해결함을 보인다.
피부경 영상의 흐릿한 경계와 아티팩트로 인한 분할 한계를 줄이기 위해 MLFFM-SegDiff는 확산 기반 프레임워크에 이중 경로 U-Net 인코더, 다중 수준 특징 융합 모듈(MLFFM), 경계 민감 손실을 결합해 수준 간 특징 상호작용과 경계 복원을 강화한다. ISIC2018, PH2, HAM10000에서 DermoSegDiff, U-Net, SwinUNETR 등을 능가하며 평균 Jaccard index 0.8546, Dice 계수 0.9207을 달성했다.
폐루프 교통 시뮬레이션은 상호작용형 다중 에이전트 행동을 장면 일관성과 제어 가능성을 유지하며 생성해야 하지만, 기존 diffusion 방식은 추론 비용이 높아 재계획 루프에 쓰기 어렵다. 인스턴스 중심(instance-centric) 장면 맥락과 다중모달 proposal 사전분포로 조건화한 잠재 diffusion에 PCA 기반 컴팩트 액션 잠재와 proposal 초기화, 선택적 test-time guidance를 결합해 재학습 없이 샘플링 효율을 높였고, Waymo Open Motion Dataset에서 현실성·안전성·제어 가능성의 균형과 목표 간 트레이드오프 조절을 보였다.
심장 MRI의 제한된 주석 데이터와 기기 간 도메인 편차 문제를 해결하기 위해, 반지도 학습 VAE와 계단형 잠재 확산 모델(LDM)을 결합하여 해부학적 구조와 시간적 동역학을 분리 생성하는 4D cine CMR 합성 프레임워크를 제안한다. 정적 해부학 생성과 잔차 잠재 모션 예측을 순차적으로 수행하며, 합성 데이터로 학습 세트를 증강한 결과 nnU-Net 기반 심장 분할에서 평균 Dice 점수 1.4% 향상 및 Hausdorff Distance 3.0mm 감소를 달성했다.
기존 확산 모델 기반 데이터셋 증류의 분포 이동과 다단계 증류 한계를 피하기 위해, 사전학습된 확산 모델의 노이즈 예측 손실로 원본 이미지에서 클래스 관련 패치를 선택하고 클래스 내 클러스터링·순위화로 다양성을 확보하는 프레임워크를 제안한다. 단일 단계 증류 파이프라인으로 대규모 데이터셋과 복잡한 네트워크 설정에서 기존 최신 방법들을 다양한 지표에서 일관되게 능가한다.
종양학에서는 환자 데이터 공유가 제한되어 치료 효과 추정에 편향을 낳는 기존 합성 데이터 생성의 한계를, 공변량·치료·생존 결과 간 인과 관계를 순차적으로 모델링하는 확산(diffusion) 기반 OncoSynth로 해결한다. 대규모 폐암·유방암 코호트 평가에서 OncoSynth는 환자·치료·결과 분포를 높은 충실도로 재현하고, 인구 수준 치료 효과 오차를 최대 66%, 환자 수준 오차를 최대 58% 줄여 기존 방법보다 정확한 치료 효과 추정을 지원한다.
도시 점검 다중 UAV 임무에서 공간적 채널 이질성으로 통신 품질 확보가 어렵다는 문제를, 채널 지식 맵(CKM) 기반 궤적 계획 프레임워크로 다룬다. 확산(diffusion) 모델로 시간 누적 CKM을 구축하고 그래프 어텐션 네트워크(GAT)와 소프트 액터-크리틱(SAC) 기반 GATSAC 알고리즘으로 통신을 고려한 방문 순서와 연속 비행 경로를 최적화하며, 시뮬레이션에서 실시간 채널 피드백 없이도 고품질 채널 구역을 따라 궤적 효율과 통신 신뢰성이 크게 향상됨을 보인다.
고해상도(HR) MRI 획득은 스캔 시간 제약으로 인해 어려움을 겪는 경우가 많아, 진단 정확도를 저하시키는 비등방성 또는 저해상도 스캔(예: 두꺼운 슬라이스 FLAIR)이 발생한다. 심층 학습(deep learning) 기반 초해상도(SR) 방법들이 가능성을 보이고 있지만, 해부학적 세부 정보를 환각(hallucinate)하는 경향이 있어 뇌 구조적 무결성을 손상시킬 수 있다. 이러한 한계를 완화하기 위해, 우리는 MR-DiffuSR을 소개한다. 이는 HR T1w 구조 영상 사전 정보(prior)를 통합하여 두꺼운 슬라이스 FLAIR 스캔의 복원을 안내하고 3D 잠재 공간에서 동작하는 다중 해상도 확산 기반 초해상도(Multi-Resolution Diffusion-based Super-Resolution) 프레임워크이다. 우리의 아키텍처는 교차 모달리티 구조적 스윈-어텐션(cross-modality structural swin-attention)을 도입하여, HR T1w로부터 구조적 어텐션 맵을 도출하고 이를 저해상도 FLAIR 잠재 특징에 적용한다. 이 설계는 해부학적 구조를 모달리티별 대비(contrast)로부터 분리하여 환각을 효과적으로 방지한다. 또한, 혼합 스케일 저하(mixed-scale degradation) 전략을 채택하여 다양한 다운샘플링 인수의 연속체에서 모델을 학습시켜 다양한 슬라이스 두께에 대한 강건성을 보장하고, DINOv3 기반 지각 손실(perceptual loss)로 최적화하여 고주파 의미론적 세부 정보를 보존한다. ADNI-4 데이터셋에서 평가한 결과, MR-DiffuSR은 CNN 및 2D 확산 접근법 모두를 능가하여 모든 다운샘플링 인수에 걸쳐 평균 PSNR 32.46dB, SSIM 0.97, LPIPS 0.07을 달성하였다. 하류(downstream) 백질 고신호(white matter hyperintensity) 분할 작업에서 우리 모델은 탁월한 강건성을 보인다. 10배 다운샘플링에서 기준선(baseline) 성능이 붕괴하는 반면(Dice: 0.51), MR-DiffuSR은 7mm 동등 슬라이스 두께에서도 Dice 점수 0.63을 유지하여 유용성을 보존한다.
현재 확산 모델을 인간 선호도에 정렬하는 주류 방법들은 대개 VLM 기반 보상 모델을 사용한다. 그러나 이러한 보상 모델들은 의미적 정렬을 위해 사전학습되어 있어, 미학적 요소, 구도, 시각적 조화와 같은 본질적인 지각 품질을 포착하는 데 어려움을 겪는다. 본 연구에서는 고충실도 생성이 가능한 모델이라면 이러한 시각적 속성에 대한 깊은 이해를 갖추어야 한다고 주장한다. 이러한 통찰을 바탕으로, 사전학습된 확산 모델을 강력한 평가 백본으로 활용하는 새로운 패러다임인 확산 기반 보상 모델(DRM)을 제안한다. DRM의 핵심 장점은 최종 이미지뿐만 아니라 생성 과정의 임의 단계에서 노이즈가 포함된 중간 잠재 변수도 평가할 수 있는 고유한 능력이다. 우리는 이 단계별 평가 능력을 두 가지 방식으로 활용한다. 첫째, GRPO 알고리즘의 부정확한 크레딧 할당 문제를 해결하기 위해 각 단계마다 밀도 있는 보상을 제공하는 강화학습 알고리즘인 Step-wise GRPO를 제안하여 보다 안정적이고 효과적인 정렬을 달성한다. 둘째, 각 단계에서 DRM을 동적 가이드로 활용해 여러 생성 경로를 평가하고 더 높은 품질의 결과물로 프로세스를 유도하는 새로운 추론 전략인 Step-wise Sampling을 도입한다. 광범위한 실험을 통해 우리의 접근법이 생성된 이미지의 최종 품질을 크게 향상시킴을 확인하였다. 코드: https://github.com/jjaxonx/DRM.
Existing film-restoration methods frequently fail under fast motion, producing limb disappearance and structural distortion due to inaccurate motion modeling. Moreover, high-resolution restoration under spatially-persistent and mixed defects remains insufficiently studied. We propose HaineiFRDM, a Film Restoration Diffusion Model that leverages the content modeling capability of diffusion models for content-aware restoration, removing defects while preserving scene structure.To enable scalable high-resolution restoration, we adopt a patch-wise strategy with position-aware global fusion modules to maintain cross-patch coherence. We further introduce a frequency-based module to enhance texture consistency and a patch-consistent inference framework to alleviate blocking artifacts introduced by patch-based processing.We also construct a film restoration dataset comprising categorized defect templates, professionally restored films, and realistic synthetic degradations.Extensive experiments demonstrate our superior restoration quality with strong structural consistency. Our design also reduces memory requirements, enabling high-resolution restoration on a single 24GB-VRAM GPU.Code and the dataset will be released at https://anonymous.4open.science/r/HaineiFRDM.
3D head stylization enables expressive reimagining of human faces for creative visual experiences in digital media. Existing 3D-aware methods often require computationally intensive optimization or per-style fine-tuning, limiting flexibility and user control. To overcome these challenges, we introduce StyleFusion360, a diffusion-based framework for multi-view consistent, identity-preserving 3D head stylization from a single style reference image, without per-style training. Our approach enhances the Style Fusion Attention mechanism with a style-conditioned key modulation mechanism that aligns content and style representations for fine-grained and controllable stylization. We further provide a user-controllable slider for adjusting stylization intensity. In addition, StyleFusion360 supports local multi-edit stylization, enabling targeted edits such as modifying hair or eyes independently. Extensive experiments on FFHQ and RenderMe360 demonstrate that StyleFusion360 produces high-quality, controllable, and visually compelling stylizations, outperforming state-of-the-art GAN- and diffusion-based methods across diverse style domains.
Training data for class-conditional image synthesis often exhibit a long-tailed distribution with limited amount of images for tail classes. Such an imbalance causes mode collapse and reduces the diversity of synthesized images for tail classes. For class-conditional diffusion models trained with imbalanced data, we aim to improve the diversity and fidelity of tail class images without compromising the quality of head class images. We propose contrastive conditional-unconditional alignment (CCUA), which comprises two synergistic loss functions. Our first loss is an Alignment Loss (AL) that aligns class-conditional generation with unconditional generation at large timesteps. Alignment loss makes the denoising process insensitive to class conditions for the initial steps, which enriches tail classes through knowledge sharing from head classes. Secondly, we diversify unconditional generation via an Unsupervised Contrastive Loss (UCL) to increase the distance/dissimilarity among synthetic images. We combine the two losses to implicitly diversify conditional generation. Our framework is easy to implement as demonstrated on both U-Net based architecture and Diffusion Transformer. Our method outperforms vanilla denoising diffusion probabilistic models, score-based diffusion model, and alternative contrastive methods for class-imbalanced image generation across various datasets, in particular ImageNet-LT with 256$\times$256 resolution.