CONFLUX는 흉부 CT 합성을 위한 3D 잠재 확산 모델(latent diffusion model)로, 3D VAE와 정류 흐름 트랜스포머(rectified-flow transformer)를 결합하여 18가지 이상 소견, 성별, 나이 등 구조화된 방사선 메타데이터를 조건으로 볼륨을 생성하며, MAISI 대비 삼평면 FID에서 32.3 대 74.6으로 우수한 품질을 달성했다. 여기에 그룹 상대 정책 최적화(GRPO) 기반 강화학습 사후학습 단계를 추가하여 생성 볼륨과 요청 조건 간의 충실도 격차를 47% 해소하고, 약 20만 건의 합성 흉부 CT 데이터셋을 공개했다.
단일 항공 이미지에서 명시적 위상 구조를 갖는 차선 수준의 벡터 지도를 생성하는 생성 확산 모델 MapDreamer를 제안하며, VAE로 차선 중심선과 위상 관계를 잠재 공간에 인코딩하고 트랜스포머 기반 잠재 확산 모델(LDM)로 그래프를 예측한다. 차선 수 변화에 대응하는 ghost lane latents와 lane cardinality 모듈, 그리고 슬라이딩 윈도우 전역 그래프 집계 전략을 도입하여, Argoverse 2 기반 UrbanLaneGraph에서 비생성적 베이스라인 대비 향상된 기하학적·위상적 충실도를 달성하였다.
SynLaD은 리간드 기반 약물 설계의 3D 파마코포어(pharmacophore) 조건부 분자 생성과 합성 가능성을 동시에 만족하는 잠재 확산(latent diffusion) 프레임워크로, 단일 인코더에서 3D 구조 복원 헤드와 합성 경로 생성 헤드를 함께 학습한다. Lit-PCBA 벤치마크의 생체활성 리간드 유사체 생성 실험에서 기존 베이스라인 대비 합성 가능하고 다양한 히트 분자 생성 성능이 향상됨을 입증했다.
PDE 제약 고차원 역문제를 위해 VAE, 무조건 잠재 확산 모델, 확산 사후 샘플링(DPS), 미분 가능 신경망 대리(surrogate) 모델을 결합한 잠재 공간 확산 사후 샘플링(L-DPS)을 제안하며, 디코더-대리 모델 조합으로 가능도 그래디언트를 계산해 반복적 수치 PDE 솔버 호출을 줄인다. 역 Darcy 유동 문제에서 희소·노이즈 압력 관측으로 투과도 필드를 추론할 때 정확하고 견고한 역해를 제공하고, 전체 공간 DPS 대비 추론 비용을 낮추며 희소·노이즈 환경에서 조건부 잠재 확산 및 역 FNO 같은 상각화(amortized) 기준선을 능가한다.
표적 단백질 결합을 위한 펩타이드 설계에서 전원자 기하 제약 하의 서열·구조 공동 설계 확장성을 높이기 위해, MEET(Memory Efficient Equivariant Transformer)라는 E(3) 등변 백본을 제안하고 VAE와 잠재 확산 파이프라인에 통합했다. 메모리 효율적 어텐션과 거리 인식 query-key 증강, 희소 결합 어댑터를 통해 원자 수에 대해 선형 메모리 스케일링을 달성했으며, AFDB 기반 대규模 실험에서 기존 펩타이드 설계 방법 대비 결합 친화도, 물리적 타당성, 샘플 다양성을 개선했다.
결측 데이터 대체에 쓰이는 픽셀 공간 확산 모델은 학습 데이터가 심하게 불완전할수록 성능이 저하되므로, 강건한 VAE 기반 imputer로 의미적 잠재 표현을 학습한 뒤 잠재 공간에서 확산하는 2단계 프레임워크 LDMiss를 제안한다. 무작위 완전 결측(MCAR) 설정에서 LDMiss는 최대 50% 결측률까지 샘플 품질을 유지하고, 결측 대체와 생성 품질 모두 픽셀 공간 확산보다 일관되게 우수함을 보였다.
수어 생성(SLP)을 위한 잠재 확산 접근법은 수어 포즈 시퀀스의 인코딩을 학습하는 초기 단계에 의존하며, 이를 통해 결과적 잠재 공간에서 생성 모델링을 가능하게 한다. 이 단계에서 사용되는 오토인코더는 일반적으로 SLP에서 흔히 쓰이는 기하학적 지표를 통해 재구성 품질 측면에서 평가된다. 유용하긴 하지만, 이러한 지표는 하류 생성 모델의 학습과 성능에 영향을 줄 수 있는 잠재 공간 특성을 완전히 포착하지는 못한다. 본 연구에서는 수어 포즈 인코딩을 위한 변분 자동인코더(VAE)의 아키텍처 및 학습 목표 설계 선택이 잠재 공간 구조에 어떤 영향을 미치는지, 그리고 이러한 차이가 텍스트-수어 생성을 위한 잠재 확산 모델의 성능으로 어떻게 이어지는지 조사한다. Phoenix14T 데이터셋에 대한 실험에서, 역번역(back-translation) BLEU 점수로 측정한 생성 성능의 변동은 때로 VAE 재구성 정확도만으로는 설명하기 어렵고, 잠재 공간 특성의 차이로 더 잘 설명될 수 있음을 보여준다.
시각 문화와 인문학 분야에서 생성형 이미지 모델에 대한 가치 있는 비평은 이들이 생성하는 이미지를 형성하는 데 있어 데이터셋의 역할을 강조해 왔습니다. 그러나 모델의 메커니즘에 내장된 이데올로기적 입장에 대한 면밀한 연구는 간과되어 왔으며, 이로 인해 모델은 "블랙 박스"로 상상되고 있습니다. 데이터셋 비평을 대체하는 것이 아닌 확장하기 위해, 본 논문은 컴퓨터 비전 엔지니어를 대신하여 해결하도록 도입된 문제들과 각 구성 요소가 자동화하도록 맡겨진 결정들의 관점에서 잠재 확산 모델의 메커니즘을 살펴봅니다. 저는 그 앙상블을 구성 부품들의 역사와 시스템이 모든 생성 이미지에 새겨 넣는 시각 이론을 통해 해석합니다. Impett와 Offert의 신경 교환 가치 개념을 차용하여, 저는 이 분석을 통해 모델이 신경 경제로 작동한다고 주장합니다. 즉, 사회적 영역을 판매 가능한 단위로 이전시키는 과정에서 사회적 소통을 환산 가능한 벡터로 추상화하는 폐쇄적인 기호 체계라는 것입니다. 학습 및 생성 파이프라인을 구성 요소별로 추적해 보면 각 연산이 무엇을 전위시키는지, 그리고 사회적 소통 위에 플랫폼 및 어텐션 경제의 논리를 어떻게 더욱 강화하는지 드러납니다. 본 논문은 저작권과 상품 방어에만 집착하는 비평은 모델이 생산해 내는 페티시즘을 재확인할 위험이 있다고 경고하며, 대신 사회적 교환을 중심에 두어야 한다고 주장합니다.
의료 기기의 실리코(in-silico) 시험은 해부학적 구조의 가상 인구 생성을 필요로 합니다. 심혈관 분야 응용에서 가상 해부학적 구조는 일반적으로 생성 모델(generative model)에서 샘플링된 3D+t 메쉬로 표현됩니다. 그러나 대부분의 기존 메쉬 생성기는 정적 해부학적 구조에 초점을 맞추고 있으며, 시퀀스 모델은 종종 명시적인 주기성이 부족합니다. 이를 위해 우리는 메쉬를 인코딩하는 컨볼루션 메쉬 VAE, 절단된 푸리에 급수를 사용하여 모션을 매개변수화하는 구조적 잠재 공간, 그리고 푸리에 계수 토큰에 대한 잠재 분포를 학습하는 확산 사전(distribution)으로 구성된 조건부 생성 프레임워크인 4D F-MeshLDM을 제안합니다. 아핀 변조를 통해 임상 공변량으로 확산 과정을 조건화함으로써, 제어 가능한 합성을 가능하게 합니다. 토큰을 샘플링하고 역푸리에 합성을 수행하면 주기 일관성(cycle-consistent)을 가진 잠재 궤적이 생성되며, 이를 3D+t 심장 메쉬 시퀀스로 디코딩할 수 있습니다. 5,000명의 UK Biobank 참가자를 대상으로 한 실험에서 4D F-MeshLDM은 해부학적 충실도 측면에서 최신 기법(baselines)보다 우수하며, 거의 0에 수렴하는 주기 폐쇄 오차(cycle closure error)를 달성함을 입증했습니다. 또한, 생성된 코호트는 임상 기능 지수를 정확하게 보존하여, 신뢰할 수 있는 실리코(in-silico) 심장 시험을 위한 우리 프레임워크의 잠재력을 강조합니다.
DeepJEB++는 2D 잠재 공간 증강과 파운데이션 모델을 활용하여 소규모 시드 데이터에서 대규모 시뮬레이션 라벨이 부여된 3D 엔지니어링 데이터셋을 생성하는 프레임워크입니다. 2D 확산 모델 파인튜닝, 비전-언어 모델(VLM) 필터링, 자동화된 유한 요소 라벨링 파이프라인을 통해 400개 미만의 시드 디자인을 1만 5천 개 이상의 데이터로 40배 확장했습니다.
잠재 확산 모델(LDM)이 시각적 합성 분야를 혁신한 한편, 개인에 대한 무단 모방에 점점 더 악용되고 있다. 기존 방어 기법들은 생성된 이미지를 무관한 대상으로 유도하기 위해 기만적 perturbation을 주입한다. 그러나 이 접근법은 근거 없는 가정에 의존한다: 미묘한 perturbation이 LDM의 광범위한 생성 과정 전반에 걸쳐 기만 효과를 유지할 수 있다는 것이다. 실제로는 모델의 내재적 복원 메커니즘이 이러한 perturbation을 제거하고, 생성된 이미지에서 개인의 정체성이 재등장하게 만든다. 우리는 LDM의 내재적 확률성을 조작함으로써 이 문제를 극복하는 방어 프레임워크 VOID를 제안한다. VOID는 두 가지 새로운 방식으로 확산 파이프라인을 교란한다: 1) 잠재 인코딩 오류를 증폭하여 이미지의 의미론적 구조를 파괴하고, 2) 타깃 가이던스 신호에 대항하여 모델의 복원 능력을 억제한다. 그 결과 무단 모방을 좌절시키는 의미론적 손상이 발생한다. 특히, 보안 효과가 시각적 유용성을 희생시키지 않는다는 점에서 VOID는 동시에 perturbation을 보호 이미지의 인간이 감지하기 어려운 영역에 한정시킨다. 5개 데이터셋에서 10가지 모방 공격에 대한 24개 최신 방어 기법을 종합 평가한 결과, VOID의 전례 없는 방어 성능이 입증되었다: 평균 Fréchet Inception Distance(FID)를 113에서 365로 증가시켜, 현재까지 가장 강력한 방어 기법 대비 223% 향상을 달성하였다.
벡터 양자화는 현대 생성 모델링 파이프라인의 핵심이지만, 대규모 코드북 VQ 모델은 종종 코드북 붕괴를 겪는다. 우리는 인코더 드리프트가 이러한 실패의 핵심 원인임을 밝혔다. 인코더가 잠재 분포를 이동시키면서 드물게 갱신되는 코드 벡터가 뒤처지고, 할당을 잃으며, 양자화 오차를 증가시켜 straight-through estimator를 통해 피드백 루프를 형성한다. 우리는 NSVQ를 제안한다. 이는 조밀한 비정상성(non-stationary) 임베딩 손실, 코드북 교체, 단계별 인코더 동결을 결합한 비정상성 인식 VQ 학습 전략이다. NSVQ는 먼저 초기 학습 동안 코드북이 인코더 드리프트를 추적하도록 돕고, 이어 인코더를 동결하여 고정된 잠재 기하 하에서 코드북을 강화한 뒤, 마지막으로 적대적 정제를 다시 도입한다. ImageNet-1k 실험에서 NSVQ는 전체 코드북 활용률을 유지하면서 재구성 품질을 개선하는 것을 보여준다. ImageNet-1k에서 128×128 해상도와 65,536개 코드를 사용할 때, NSVQ는 SimVQ 대비 rFID를 2.39에서 2.10으로 줄이며, 두 방법 모두 100% 활용률을 유지한다. 추가 잠재 확산(latent diffusion) 실험에서 NSVQ는 하류 ImageNet 생성 FID도 개선함을 보여준다.
음성 감정 변환(Speech Emotion Conversion, SEC)은 내용과 화자 정체성을 보존하면서 원본 발화의 감정을 목표 감정으로 변환하는 것을 목표로 합니다. 실제 환경(In-the-Wild) 데이터에 대한 SEC는 학습 데이터의 비병렬(non-parallel) 특성과 복잡한 실제 음향 환경으로 인해 어려운 과제입니다. 기존의 고정 길이(fixed-duration) 접근 방식은 감정을 효과적으로 변환하는 데 어려움을 겪거나(높은 품질, 낮은 변환율), 음성의 자연스러움을 저하시키는(낮은 품질, 높은 변환율) 문제가 있습니다. 본 연구에서는 화자 정체성과 연속적인 감정에 조건화된 감정 중심 스타일 임베딩을 생성하는 임베딩 기반 잠재 디퓨전 프레임워크인 TargetSEC를 제안합니다. 스펙트로그램(spectrogram) 위에서 확산(diffuse)하는 방법들과 달리, TargetSEC는 압축된 잠재 공간에서 작동합니다. MSP-Podcast 데이터셋에 대한 실험 결과, TargetSEC는 높은 음성 품질을 유지하면서 변환 정확도 면에서 현재의 비지속(non-duration) 기준 모델들을 능가하며, 명시적인 시간적 모델링 없이도 지속 시간 예측 시스템과 유사한 성능을 달성함을 보여줍니다.
잠재 확산 모델(LDM)이 역문제(inverse problem)의 강력한 사전 분포로 부상했지만, 기존 LDM 기반 솔버는 불안정성 문제를 자주 겪는다. 본 연구에서는 먼저 이 불안정성이 솔버의 동역학과 확산 모델이 학습한 안정적인 역방향 확산 동역학 사이의 불일치에서 비롯됨을 규명하고, 이 간극을 줄이면 솔버가 안정화됨을 보인다. 이를 바탕으로, 측정 일관성 랑주뱅 업데이트(measurement-consistent Langevin update)를 통해 LDM 기반 역문제 솔버를 개선하는 이론적으로 엄밀한 플러그 앤 플레이 안정화 모듈인 측정 일관성 랑주뱅 보정기(Measurement-Consistent Langevin Corrector, MCLC)를 소개한다. 잠재 공간에서 성립하지 않는 경우가 많은 선형 다양체 가정에 의존하는 기존 접근법과 달리, MCLC는 원칙에 기반한 안정화 메커니즘을 제공하여 잠재 공간에서 보다 안정적이고 신뢰할 수 있는 동작을 구현한다.
확장성(scalability)은 최근 생성 모델링의 발전을 이끌어 왔지만, 적대적 학습(adversarial learning)에서는 그 원리가 아직 충분히 탐구되지 않았다. 우리는 다른 유형의 생성 모델에서 효과적임이 입증된 두 가지 설계 선택을 통해 생성적 적대 신경망(GAN)의 확장성을 조사한다: compact Variational Autoencoder(VAE) 잠재 공간(latent space)에서의 학습과 순수 트랜스포머 기반 생성기 및 판별기 채택. 잠재 공간에서의 학습은 지각적 충실도(perceptual fidelity)를 유지하면서 효율적인 계산을 가능하게 하며, 이 효율성은 계산 예산에 따라 성능이 스케일링(scaling)되는 일반 트랜스포머와 자연스럽게 맞아떨어진다. 이러한 선택을 바탕으로, GAN을 단순히 확장할 때 나타나는 실패 모드를 분석한다. 구체적으로, 생성기의 초기 층이 충분히 활용되지 않는 문제와 네트워크가 확장될수록 나타나는 최적화(optimization) 불안정성을 발견한다. 이에 따라 경량 중간 감독(intermediate supervision)과 폭 인식(width-aware) 학습률 조정과 같은 단순하고 확장에 친화적인 해결책을 제시한다. 실험 결과, 순수 트랜스포머 기반 잠재 공간 GAN인 GAT는 S부터 XL까지 다양한 용량 범위에서 안정적으로 쉽게 학습될 수 있음을 보여준다. 더 나아가 GAT-XL/2는 ImageNet-256에서 단일 단계(single-step) 클래스 조건부 생성 성능(FID 2.18)의 최신 최고(state-of-the-art) 수준을 달성하며, 이는 강력한 베이스라인 대비 4배 적은 60 epoch만으로 이루어진다. 프로젝트 페이지: https://hse1032.github.io/GAT.