Generative models often represent signals as dense grids of amplitudes, blurring sharp transients that are crucial for the correctness of physical signals. We introduce Singularity Space, a generative framework that represents signals through complex-plane singularities, rooted in the classical pole-residue representation of meromorphic functions. We learn a latent space of physically constrained, per-signal singularity configurations to solve an inverse problem from degraded or partial observations. The framework has three key properties: interpretability, in which each generated singularity configuration corresponds to a set of physical parameters; structural stability, which mitigates Gibbs artifacts at discontinuities; and resolution-free output reconstruction on arbitrary grids without retraining or interpolation. Our framework employs a transformer-based diffusion model that directly predicts samples at complex-plane singularity coordinates, subject to geometric constraints during sampling. As a controlled test case for sharp-feature recovery, we evaluate our framework on 1D Burgers shocks, where each shock is represented by 32 predicted singularities (an $8\times$ reduction versus a 1024-point grid signal). Our framework preserves signal structure ($\text{TV ratio} \approx 1$) under unseen test-time observation noise, achieves a $4.2\times$ lower reconstruction error in zero-shot sub-resolution generalization than a grid-based baseline, and recovers physical parameters to $10^{-4}$ absolute error in-distribution. These results suggest that singularity-based representations may provide a practical foundation for other transient-dominated signals such as speech and biomedical signals, with potential extension to higher-dimensional domains.
표현 정렬(REPA)은 확산 학습을 가속화하기 위해 연구되어 왔으나, 확산 트랜스포머(DiT)의 중간 표현을 정규화하면 잠재 변수가 암묵적으로 얽히고 생성 용량이 제한될 수 있음을 관찰하였다. 이 문제를 해결하기 위해, 단일 확산 모델 내에서 표현과 데이터 모두에 대한 다중 벡터 필드를 공동으로 추정하는 계층적 다중 프롬프트 표현 생성 프레임워크인 ReGen을 제안한다. 또한 조건부 흐름 매칭(CFM)의 일반화를 향상시키기 위해 일반화된 흐름 매칭(GFM)을 도입한다. 신경 오디오 코덱과 Wave-VAE를 포함한 단일 단계 파형 확산 모델에서 ReGen을 검증한다. ReGen은 12.5 Hz에서 고도로 압축된 잠재 표현으로부터의 파형 생성 품질을 크게 향상시킨다. 또한 소규모 데이터셋으로 강력한 음성 명료도(WER)와 화자 유사도(SIM)를 달성하는 잠재 확산 모델(LDM) 기반 텍스트 음성 변환 모델인 ReGenVoice를 소개한다. 더불어, 풍부한 의미적·음향적 잠재 표현으로 6.25 Hz에서 LDM을 운용함으로써 효율적인 학습과 샘플링이 가능하며, 4개의 GPU로 단 1일의 학습만 필요하고 RTF 0.08의 빠른 추론을 제공한다. 오디오 샘플은 https://regenvoice.github.io/demo/ 에서 확인할 수 있다.
실내 장면 리라이팅은 사실적인 렌더링, 정밀한 공간 제어, 엄격한 다중 시점 일관성을 요구한다. 확산 기반 이미지 편집 모델은 텍스트 프롬프트를 통한 의미론적 조명 조작을 가능하게 하지만, 정확한 3D 광원 배치를 강제하면 생성 사전(generative prior)이 손상되는 경우가 많다. 우리는 공간적으로 제어 가능한 다중 시점 실내 리라이팅을 위해 의미론적 조명 사전을 활용하는 점진적 프레임워크인 Lume-Palette를 제안한다. 이 접근법은 리라이팅을 두 단계로 분리한다: (1) 사전학습된 확산 모델에서 정준 조명 팔레트(canonical illumination palette)를 추출하여 사실적인 재질-광원 상호작용을 보존하는 조명 증류(illumination distillation)와, (2) 거친 3D 기하구조로부터 정의된 목표 공간 조명 조건을 명시적으로 매핑하는 조명 투영(illumination casting)이다. 밀도 높은 다중 시점 및 다중 모달 입력을 효율적으로 처리하기 위해, 필수적인 공간 컨텍스트를 선택적으로 주입하는 비대칭 다중 시점 조건화 전략을 도입한다. 다양한 합성 장면 및 실제 장면에 대한 실험을 통해 Lume-Palette가 사실적이고 공간적으로 제어 가능하며 다중 시점에서 일관된 리라이팅 결과를 생성함을 입증한다. 프로젝트 페이지: https://cjeen.github.io/lumepalette
향후 10년의 관측 우주론은 Vera C. Rubin Observatory의 지상 기반 LSST와 우주 기반 Euclid 미션 같은 대규모 전천 탐사에 의해 형성될 것이다. 이 탐사들은 깊이, 해상도, 파장에 걸쳐 전례 없는 우주의 모습을 제공할 것으로 기대되지만, 관측 방식, 하늘 커버리지, 점퍼짐 함수(point-spread function), 스캔 주기의 차이로 인해 공동 분석이 유익하면서도 어렵다. 공동 분석을 용이하게 하기 위해, 우리는 지상 기반과 우주 기반 관측 사이를 변환하는 양방향 생성 모델인 A(stronomical)S(urvey)-Bridge를 소개한다. AS-Bridge는 LSST와 Euclid 관측 사이에 확률적 브라운 브리지(Brownian Bridge) 과정을 활용하는 확산 모델을 학습한다. 두 탐사는 하늘에서 겹치는 영역을 가지며, 이를 통해 두 탐사 간의 조건부 확률 분포를 명시적으로 모델링할 수 있다. 이 공식화가 단일 탐사 분석을 넘어 새로운 과학적 기능, 즉 누락된 탐사 관측에 대한 충실한 확률적 예측과 탐사 간 희귀 사건 검출을 가능하게 함을 보인다. 이러한 결과는 탐사 간 생성 모델링의 실현 가능성을 확립한다. 따라서 AS-Bridge는 미래의 LSST-Euclid 공동 데이터 파이프라인의 보완적 구성 요소로 기능하여, 두 탐사의 데이터가 이용 가능해지면 과학적 성과를 향상시킬 것으로 기대된다. 데이터와 코드는 https://github.com/ZHANG7DC/AS-Bridge에서 이용 가능하다.
희소 센서 데이터만으로 도시 내 고해상도 바람장을 재구성하기 위해, GenDA는 CFD 시뮬레이션으로 학습된 다중 스케일 그래프 기반 확산 모델에 분류기 없는 가이던스(classifier-free guidance)를 적용하여 기하학 인식 사전 분포와 센서 관측 제약을 결합하는 생성적 데이터 동화(data assimilation) 프레임워크를 제안한다. 지도 학습 GNN 및 고전적 저차원 데이터 동화 기법 대비 RRMSE를 25~57% 감소시키고 SSIM을 23~33% 향상시켰으며, 재학습 없이 학습에 포함되지 않은 메시 기하구조와 센서 배치에도 일반화됨을 실제 영국 브리스톨 도시 RANS 시뮬레이션으로 검증하였다.
각 방을 공간적 가우시안 분포로 모델링하는 연속 잠재 표현인 GRE(Gaussian Room Embedding)를 도입하고, 이를 기반으로 사용자 지정 제약 조건 하에 아파트 평면도 생성 및 편집을 자동화하는 확산(diffusion) 기반 프레임워크 GRE-Diff를 제안한다. RPLAN 데이터셋 실험에서 GRE-Diff는 LLM 파싱 명령어나 GUI 인터랙션을 통해 방 유형·개수·경계 형태를 제어하면서 고품질의 편집 가능한 다각형 레이아웃을 생성함을 보인다.
관절형 객체와의 전신 인간 상호작용 합성을 위해 텍스트 조건부 확산 모델 GIRAF를 제안하며, 객체 중심의 Dynamic BPS 표현으로 손-객체 접촉을 통합하고 혼합 도메인 학습 전략과 접촉 기반 데이터 증강을 결합하여 이동에서 조작으로의 자연스러운 전환을 생성한다. 미관측 객체 배치에 대한 강력한 일반화 능력을 입증하며 최첨단 방법들을 능가하였다.
확산 모델(diffusion model)을 사전 분포로 활용하는 베이지안 역문제에서 기기 응답 파라미터와 노이즈 파라미터를 함께 추정하는 Hyper-G-DPS 방법을 제안하며, G-DPS의 깁스(Gibbs) 구조와 마르코프 조건부 독립성을 활용해 사후 샘플링과 불확실성 정량화를 MCMC로 수행한다. MNIST 실험을 통해 추정값의 품질과 계산 효율성을 확인하였다.
확산 모델(diffusion model)을 사전 분포로 활용하는 비적정(ill-posed) 선형 역문제에서 사후 샘플링을 수행하기 위해 깁스(Gibbs) 알고리즘 기반의 G-DSP 샘플러를 제안하며, 순방향·역방향 확산 pdf를 교대로 활용하는 간단한 구조로 수렴 보장과 함께 기존 DPS, SMC 기반 방법 대비 효과적인 성능을 수치 실험으로 확인한다.
FourTune은 확산 모델의 사후학습에서 메모리 부족과 낮은 학습 속도 문제를 해결하기 위해 가중치·활성화·그라디언트를 모두 4비트로 양자화하는 W4A4G4 엔드-투-엔드 프레임워크를 제안한다. 고정된 수치 안정자(numerical stabilizer)를 포함한 삼중 분기 파이프라인과 블록 단위 양자화 및 커스텀 퓨전 커널을 결합하여, FLUX.1-dev(12B) 기준 BF16 LoRA 대비 메모리를 2.25배 절감하고 학습 처리량을 2.27배 향상시키면서 전체 정밀도 파인튜닝과 동등한 생성 품질을 달성했다.
본 연구는 LLM과 확산 모델의 배포 비용 및 추론 지연 문제를 해결하기 위해 Perlmutter(NVIDIA A100), Expanse, Voyager(Intel Gaudi) 등 이기종 HPC 시스템에서 민감도 기반 혼합 정밀도 사후 학습 양자화(PTQ) 프레임워크를 도입하고 파인튜닝 전략을 체계적으로 분석하였다. TinyLlama-1.1B 모델에 대해 최대 2~4배 압축률을 달성하면서 WikiText-2, HellaSwag, BoolQ 세 가지 태스크에서 정확도 손실을 최소화하였으며, Gaudi 세대별 파인튜닝 성능 비교에서 Gaudi2가 Gaudi1 대비 2.5~3배 이상의 속도 향상을 보임을 확인하였다.
확산 기반 이미지 편집 파이프라인에서 VLM을 조건 인코더로 사용할 때 발생하는 로컬라이제이션(localization) 성능 저하 원인을 분석하기 위해, 경량 프록시 모델을 VLM의 중간 표현에 학습시키는 Analysis-by-Proxy 프레임워크를 제안한다. 분석 결과, 단일 순전파 제약 하에서 공간적 로컬라이제이션 신호는 기존 파이프라인이 사용하는 최종 레이어가 아닌 입력 프롬프트에 따라 위치가 변하는 중간 레이어의 특정 토큰에 집중되어 있음을 밝혀, 현재 조건 추출 전략의 근본적 한계를 규명하였다.
고해상도 아트워크 아웃페인팅(outpainting)의 전역 계획 부재, 레이아웃 제어 불가, 순차 생성으로 인한 높은 추론 지연 문제를 해결하기 위해, 1단계에서 바운딩 박스 조건을 활용한 저해상도 전역 청사진을 생성하고 2단계에서 이를 기반으로 고해상도 패치를 병렬 합성하는 2단계 확산 프레임워크를 제안한다. 대규모 아트워크 데이터셋 실험에서 기존 방법 대비 시각적 품질과 의미적 일관성이 향상되고 추론 속도가 최대 2.4배 개선됨을 보인다.
기존 잠재 확산 모델(LDM)이 메모리 제약으로 1K 미만 해상도에 제한되는 문제를 해결하기 위해, UltraDiffEdit는 다중 스케일 점진적 편집, 멀티 패치 인코딩, 글로벌-로컬 일관성 디노이징, 패치 기반 하이브리드 샘플링을 결합한 튜닝-프리(tuning-free) 이미지 편집 프레임워크를 제안한다. 추가 학습 없이 기존 사전학습된 LDM(SDXL, ControlNet 등)을 활용하여 단일 RTX 3090 GPU만으로 최대 8K 해상도의 실제 이미지 편집을 달성하며 경계 아티팩트와 의미론적 일관성 문제를 효과적으로 해결한다.
제로샷 분할과 구조 보존 확산 모델로 배경을 다양하게 변형한 이미지를 생성한 뒤, 동일한 객체의 서로 다른 배경 변형본을 대조 학습의 양성 쌍으로 활용하는 Cross-Variant Self-Supervised Learning을 통해 배경 불변 표현을 명시적으로 학습하는 2단계 프레임워크(GRSSL)를 제안한다. Waterbirds, MetaShift, NICO++ 분포 이동 벤치마크에서 각각 92.5%, 81.7%, 87.4%의 최악 그룹 정확도로 최고 성능을 달성하였다.
DeSeG는 인간-장면 상호작용(HSI) 합성에서 의미적 의도와 기하학적 제약이 하나의 백본에 혼재되어 발생하는 단축 편향(shortcut bias) 및 물리적 환각 문제를 해결하기 위해, Residual Semantic Planner와 물리 정규화 확산 실행기(physics-regularized diffusion executor)로 구성된 계층적 분리 프레임워크를 제안한다. Lingo 데이터셋 실험에서 기존 SOTA 대비 장면 관통을 47% 감소시키고 의미 정렬을 29% 향상시키는 최고 성능을 달성했다.
ARMS는 텍스트 지시에 따라 솔로 행동과 인간-인간 상호작용 사이를 끊김 없이 전환하는 스트리밍 모션 생성 프레임워크로, 동역학 비대칭 표현(dynamics-asymmetric representation)과 인과적 관계형 확산 모델(causal relational diffusion model)을 통해 장기적 시간 일관성과 에이전트 간 공간적 일관성을 동시에 유지한다. 실험 결과, 기존 상호작용 중심 기준 모델 대비 전환 부드러움과 사회적 일관성이 향상되었으며, 인간-인간 상호작용 벤치마크에서도 경쟁력 있는 성능을 달성하였다.
감시 환경의 저해상도 얼굴 이미지에서 신원 왜곡을 최소화한 초해상도(super-resolution)를 위해, 확산 모델(diffusion model) 기반의 FASR++는 참조 저해상도 이미지와 다수의 보조 저품질 이미지에서 추출한 특징을 Feature Combiner 모듈로 집약하여 고품질 얼굴 이미지를 생성한다. CelebA와 Quis-Campi 데이터셋에서 PSNR, SSIM, LPIPS 등 이미지 품질 지표와 1:1 검증 및 1:N 얼굴 인식 정확도 모두에서 최첨단(state-of-the-art) 성능을 달성하였다.
위성 이미지의 낮은 공간 해상도로 인해 인공강우 결정에 필요한 미세 구름 구조 포착이 어려운 문제를 해결하기 위해, 역 확산(inverse diffusion) 기반 2단계 초해상도(super-resolution) 프레임워크를 제안한다. 1단계는 실제 쌍 데이터로 센서 간 정렬을 학습하고, 2단계는 자기 지도 방식으로 고주파 구름 텍스처를 정제하여 SEVIRI→VIIRS, MSG→MTG 변환에서 기존 트랜스포머 및 확산 기반 베이스라인 대비 재구성 정확도와 지각적 품질 모두 향상된 성능을 달성했다.
LoRA 파인튜닝된 확산 모델(diffusion model)이 학습 이미지를 암기(memorization)해 저작권 콘텐츠를 재현하는 문제를 해결하기 위해, Base-Anchored Filtering(BAF)은 학습 데이터나 추론 과정 접근 없이 LoRA 업데이트를 SVD로 스펙트럼 채널로 분해한 뒤 사전학습 백본의 주요 부분공간(principal subspace)과의 정렬 정도를 기준으로 암기 관련 채널을 선별적으로 억제한다. 여러 데이터셋과 확산 백본 실험에서 BAF는 생성 품질을 유지하거나 향상시키면서 암기를 일관되게 감소시킴을 입증했다.