모호한 3D 의료 이미지 분할에서 전문가 간 경계 불일치를 모델링할 때 기존 확산 모델이 전체 마스크를 비구조적 노이즈로부터 생성해 위상 불일치가 발생하는 문제를 해결하기 위해, VDD(Volumetric Directional Diffusion)는 결정론적 분할 예측을 해부학적 앵커로 삼아 잔차 경계 영역에서만 방향성 확산을 수행하는 프레임워크를 제안한다. LIDC-IDRI, KiTS21, ISBI 2015 세 가지 다중 평가자 데이터셋 실험에서 VDD는 경쟁력 있는 분할 정확도와 3D 구조적 일관성을 유지하면서 불확실성 분포 정렬(GED, CI 기준)을 개선하였다.
MEMS 기반 관성 항법 시스템의 확률적 노이즈와 추정 지터링 문제를 해결하기 위해, PedestrianDiffusion은 Short-Time Fourier Transform(STFT)을 활용한 스펙트럼 도메인 생성 프레임워크로 6D 상태 추정을 조건부 디노이징 과정으로 재정식화한다. 비전-언어 임베딩 기반의 제로샷 의미론적 조건화와 단일 스텝 확률 흐름 ODE 솔버($T=1$)를 결합하여, OxIOD, RIDI, RoNIN, TLIO 벤치마크에서 최첨단 성능과 함께 임펄스 섭동 및 6D 운동학적 드리프트에 대한 강건성을 달성했다.
오프라인 다목적 최적화(Offline MOO)는 추가적인 환경 상호작용 없이 정적 데이터셋으로부터 파레토 최적 설계를 탐색한다. 기존 생성 기반 방법들은 일반적으로 외부 서로게이트(surrogate) 또는 선호도 모델을 사용해 샘플링을 유도하는데, 이는 학습 복잡성을 높이고 신뢰할 수 없는 가이드를 제공할 수 있다. 우리는 ParetoPilot을 제안한다. 이는 사전학습된 조건부 확산 모델을 이용해 서로게이트 없이 추론 시점에 설계를 파레토 프론트(Pareto front)로 유도하는 플러그 앤 플레이(plug-and-play) 방법이다. ParetoPilot은 역방향 확산 과정 내에 Infer-Perturb-Guide(IPG) 엔진을 도입한다. IPG는 먼저 조건부 예측과 비조건부 예측을 정렬함으로써 배치 내 각 샘플에 대한 개별 조건부 타겟을 추론한다. 이후 배치 전체에 걸쳐 이 타겟들을 집합적으로 교란시켜, 파레토 프론트를 향한 수렴과 샘플 간 다양성 사이의 균형을 맞춘다. 마지막으로, 엔진은 표준 분류기-없는 가이던스(Classifier-Free Guidance, CFG)를 통해 교란된 타겟을 주입함으로써 생성 궤적을 파레토 프론트 방향으로 유도한다. 51개 태스크에 대한 실험에서 ParetoPilot은 16가지 방법 중 최고의 전체 순위를 달성하고, 경쟁력 있는 하이퍼볼륨 개선(hypervolume improvement)을 보인다.
광학 원격탐사 영상의 현저 객체 검출(ORSI-SOD) 기존 방법들은 주로 정적 추론 전략을 채택하는데, 이는 테스트 단계에서 고정된 학습 모델 매개변수를 사용하여 현저성 추론을 수행한다. 이는 생성된 현저성 맵에 오류가 있더라도 추가적인 최적화가 불가능함을 의미한다. 본 논문에서는 정보 재구성 및 다중 사전 안내를 갖춘 확산 기반 ORSI-SOD 방법인 새로운 IPDiff를 제안한다. IPDiff는 독자적인 동적 최적화 전략을 기반으로 구축되어, 동적 매개변수를 통해 현저성 맵을 반복적으로 최적화하는 능력을 갖는다. 구체적으로, IPDiff에서 ORSI-SOD를 조건부 확산 문제로 정식화한다. IPDiff는 먼저 정보 재구성 기반 어텐션 모듈의 도움을 받아 사전 네트워크에서 ORSI로부터 현저성 사전(saliency prior) 및 계층적 사전(hierarchical priors)을 포함한 정보성 조건부 사전을 추출한다. 현저성 사전은 현저 객체의 위치 정보를 제공하고, 계층적 사전은 현저 객체의 세부 및 의미론적 정보를 제공한다. 이러한 사전들의 안내 하에, IPDiff는 타임스텝이 동적으로 변화하는 동안 디노이징 네트워크에서 무작위 노이즈를 반복적으로 디노이징하여 실제값에 가까운 현저성 맵을 생성한다. 특히, 효율적인 네트워크 학습을 달성하기 위해 하이브리드 손실 함수를 통해 공간 및 스펙트럼 영역 모두에서 IPDiff를 동시에 감독한다. 공개 ORSSD, EORSSD, ORSI-4199 데이터셋에 대한 포괄적인 실험을 통해, 제안된 IPDiff가 46개의 최신 방법들과 비교하여 최고 성능을 달성함을 입증한다. 본 방법의 코드 및 결과는 https://github.com/MathLee/IPDiff에서 확인할 수 있다.
텍스트-이미지 확산 모델은 밀집 장면에서 올바른 객체 수를 생성하는 데 실패하며, 겹치는 인스턴스들이 시각적으로 그럴듯하게 보임에도 불구하고 구별 불가능한 구조로 붕괴된다. 우리는 이를 인스턴스 소유권 붕괴(instance ownership collapse)로 정의한다: 겹치는 객체의 토큰들이 어텐션을 통해 자유롭게 상호작용하는 반면, 심하게 가려진 인스턴스는 가시 영역이 작아 약한 지도 신호를 받는다. 우리는 토큰 상호작용을 영역 일관적 그룹화 방향으로 부드럽게 유도하고 인스턴스 간 누출을 억제하는 레이아웃 인식 어텐션 바이어스를 통해 이를 해결하며, 차폐 수준에 따라 가려진 객체의 그래디언트를 증폭하는 비모달 균형 손실(amodal-balanced loss)과 결합한다. 체계적인 평가를 가능하게 하기 위해, 비모달 지도를 갖춘 밀집 중첩 장면 벤치마크인 OverlapDepth-45K를 제안한다. 우리의 접근 방식은 이미지 품질을 유지하면서 객체 수 정확도를 크게 향상시키고 인스턴스 병합을 방지한다. 프로젝트 페이지: https://bachngoh.github.io/AIBL
오프라인 필기 이미지에서 온라인 펜 궤적을 복원하는 것, 즉 필기 궤적 복원(획 복원, handwriting trajectory recovery)은 획 수준 편집 및 필적 감정에 활용되는 오프라인-투-온라인 변환 태스크이다. 본 논문에서는 저자들이 아는 한 이 태스크를 위한 최초의 확산 모델(diffusion model) 기반 프레임워크를 제안한다. 제안하는 방법은 궤적 복원을 이미지 조건부 생성으로 정식화하고, 잡음 제거 확산 모델을 사용하여 관측된 잉크 흔적과 일치하는 펜 궤적을 샘플링한다. CASIA-OLHWDB (1.0-1.1)에서의 광범위한 정량적 평가를 통해, 제안된 방법이 복잡한 다획 문자에 대해서도 정확한 복원을 가능하게 하며, PEN-Net 및 Cross-VAE와 같은 대표적인 선행 방법들에 비해 시간적 유사도(DTW/LDTW)와 형태 충실도(AIoU) 모두를 크게 향상시킴을 검증한다. 나아가 모델이 일반적인 획 순서 경향을 포착하고 학습 중 보지 못한 클래스에도 일반화됨을 보이며, 이는 문자 체계 간 전이(cross-script transfer)로 예시된다: 한자로 학습된 모델이 라틴 문자의 획 순서를 어느 정도 합리적으로 복원할 수 있다.
LiDAR–4D 레이더 융합 기반 3D 객체 검출이 학습에서 보지 못한 날씨 유형·강도 조합에서 성능이 급격히 저하되는 개방형 날씨 일반화 문제를 다루며, DCDA(Dual-Critic Guided Diffusion Alignment)는 4D 레이더 조건부 확산 정렬로 열화된 LiDAR BEV 특징을 복원하되 검출 유도 비평가와 날씨 적대적 비평가로 의미론적·분포적 일관성을 동시에 강제한다. 명시적 날씨 모델링이나 쌍(paired) 데이터 없이 학습되며, K-Radar 기반 개방형 날씨 벤치마크에서 기존 최고 성능 방법 대비 type-open·severity-open·type+severity-open 프로토콜 전반에 걸쳐 평균 3D AP를 최대 5.2%p 향상시켰다.
JointHOI는 텍스트로부터 3D 손-물체 모션과 거리 기반 동적 접촉 맵을 단일 단계로 공동 생성하는 diffusion 프레임워크로, 접촉을 보조 내부 모달리티로 취급해 학습 시 접촉-모션 결합 관계를 내재화한다. 추론 시 Contact Inner Guidance(CIG)가 생성된 접촉 맵과 모션 기하 구조 간 일관성을 강제하여 부유 및 관통 아티팩트를 줄이며, GRAB 및 ARCTIC 벤치마크에서 텍스트 준수도와 물리적 타당성 모두 기존 방법 대비 향상된 성능을 보였다.
저선량 CT(LDCT) 디노이징에서 해부학적 구조 손실, 주파수 의존적 복원 불확실성, 균일한 역과정 모델링 문제를 해결하기 위해, LDCT 기반 해부학적 사전 정보를 주입하는 APGC 모듈, 주파수 대역별 잔차 강화를 수행하는 RFDDS, 그리고 타임스텝 구간별로 디코더를 분리하는 TD³를 통합한 다단계 확산 모델 ProSAC-CT를 제안한다. 네 가지 LDCT 벤치마크에서 대표적인 CNN·GAN·Transformer·확산 모델 기반 방법들을 상회하는 성능을 기록하였으며, Mayo-2020 다운스트림 해부학적 영역 분류 실험에서도 과제 관련 구조 정보가 더 잘 보존됨을 확인하였다.
실세계 저조도 얼굴 이미지의 조도 저하, 블러, 노이즈 등 복합 열화를 학습 없이(training-free) 동시에 복원하기 위해, Retinex 이론 기반 광도 제약과 스타일 비의존적 구조 주입(SASI)을 결합한 확산 모델(diffusion model) 프레임워크 PASDiff를 제안한다. 700장의 실세계 저조도 얼굴 이미지 벤치마크 WildDark-Face를 새로 구축하였으며, 광범위한 실험에서 기존 방법 대비 자연스러운 조도 복원, 색상 복구, 신원 일관성 모두에서 우수한 성능을 달성하였다.
확산 모델(diffusion model)은 텍스트-이미지 합성과 같은 생성 과제에서 인상적인 성과를 거두었지만, 세밀한 사용자 의도와의 완전한 정렬 및 일관된 미적 품질 유지에 어려움을 겪는 경우가 많다. Diffusion Direct Preference Optimization(직접 선호 최적화)과 같은 기존의 선호도 기반 학습 방법은 이러한 문제를 해결하는 데 도움이 되지만, 최종 샘플에서 도출된 순방향 프로세스 $q(\boldsymbol{x}_{t-1}\!\mid\!\boldsymbol{x}_t,\boldsymbol{x}_0)$로부터 감독 타겟을 얻기 때문에 각 단계에서 모델의 실제 역방향 디노이징 전이와 직접적으로 정렬되지 않는다. 본 연구에서는 Direct Diffusion Score Preference Optimization(DDSPO)을 제안하며, 이는 최종 샘플로부터의 순방향 프로세스 근사에 의존하는 대신 대조적 정책 쌍(contrastive policy pair)을 통해 역방향 디노이징 전이에 직접 단계별 선호도 감독을 정의한다. 우리는 대조적 정책 쌍의 두 가지 실용적인 구현 방식을 제안한다: 선호도 데이터를 기반으로 승리 모델과 패배 모델을 별도로 학습하는 방식과, 원본 프롬프트 및 의미론적으로 저하된 변형에 컨디셔닝된 사전학습된 참조 모델을 사용하여 추가 학습 없이 대조적 정책 쌍을 유도하는 방식으로, 보상 모델링이나 수동 어노테이션이 필요하지 않다. 실험 결과, 대조적 정책 쌍 감독이 텍스트-이미지 정렬 및 미적 품질 과제 전반에 걸쳐 순방향 프로세스 기반 감독보다 더 효과적임을 보인다. 구현 코드는 https://dohyun-as.github.io/DDSPO 에서 확인할 수 있다.
fMRI 신호를 단일 전역 임베딩 대신 초기·중간·후기 시각 피질 관심 영역(ROI) 스트림으로 구조화하여 계층적 확산(diffusion) 조건화를 수행하는 Hi-DREAM 프레임워크를 제안한다. ROI 어댑터와 경량 ROI-ControlNet을 통해 해부학적 사전 정보를 U-Net의 해당 깊이에 주입함으로써, Natural Scenes Dataset(NSD)에서 고수준 의미 재구성과 저수준 구조 복원 모두에서 최고 성능(state-of-the-art)을 달성하였다.
텍스트-이미지 디퓨전 모델의 인구통계학적 편향(demographic bias)을 재학습 없이 완화하기 위해, 조건부 텍스트 임베딩을 디노이징 과정에서 직접 최적화하는 Text Embedding Steering(TES) 프레임워크를 제안한다. 초기 단계의 전역 정렬과 CLIP 기반 중간 복원 이미지 피드백을 활용한 반복적 정제를 결합한 2단계 전략으로, Stable Diffusion에서 기존 학습 불필요(training-free) 기법 대비 공정성과 이미지 품질을 동시에 개선함을 실험적으로 입증한다.
학습-프리 가이던스(TFG)를 확산 모델에 적용할 때 예측 타깃($\epsilon$, $v$, $x$)에 따라 데이터 매니폴드 이탈 정도가 달라지는 문제를 이론적으로 분석하고, $x$-예측이 고노이즈 환경에서도 오차 증폭 없이 가이던스 샘플을 매니폴드 위에 가장 안정적으로 유지함을 증명한다. 이를 검증하기 위해 143종 조류 분류 벤치마크와 매니폴드 손상을 측정하는 새로운 지표인 Child FID를 도입하였으며, 실험 결과 $x$-예측이 $\epsilon$-예측 대비 C-FID에서 5.2포인트 우위를 보이며 학습-프리 가이던스의 가장 강력한 기반임을 확인하였다.
자율주행 테스트를 위한 제어 가능한 교통 시뮬레이션에서 기존 방식의 대규모 재학습 문제를 해결하기 위해, 항등 초기화된 FiLM 레이어를 활용해 사전학습된 diffusion 및 자기회귀 교통 모델에 스케치·잠재 행동 코드·텍스트 등 멀티모달 제어를 경량으로 추가하는 ECoSim 프레임워크를 제안한다. Waymo Open Sim Agents Challenge 평가에서 쌍 제어 데이터의 1% 미만만으로도 제어 오차를 최대 83% 감소시키고 문맥 인식 조건 전이를 통해 반사실적 시나리오 및 롱테일 합성을 달성했다.
CT 조건부 저선량 PET 노이즈 제거를 위해 해부학적 가이던스 부족, 다중 스케일 특징 전파 불안정, 주파수 도메인 섭취량 복원 불확실성 문제를 해결하는 AnF-DiffPET 확산 프레임워크를 제안한다. AFG, MSCTR, FCHM 모듈을 통합한 이 방법은 4개의 PET/CT 데이터셋에서 CNN, GAN, 트랜스포머, 확산 기반 기존 방법들을 능가하는 영상 충실도와 해부학적 일관성을 달성했다.
텍스트-이미지 확산 모델 적응(파인튜닝 및 개념 언러닝) 시 FID·KID 같은 집계 지표로는 포착되지 않는 숨겨진 개념 손상이 체계적으로 발생함을 희소 오토인코더 분석과 제로샷 분류를 통해 입증하며, 이를 해결하기 위해 두 모델 체크포인트 간 크로스-어텐션 맵의 발산을 소프트 프롬프트 최적화로 최대화하여 시각적 개념 드리프트가 가장 큰 토큰을 순위별로 반환하는 진단 도구 DriftScope를 제안한다.
Expert-annotated training data remains the critical bottleneck for AI in histopathology, particularly for rare pathologies where even dozens of cases may be unavailable. While data augmentation offers a solution, existing methods fail to generate sufficiently realistic lesion morphologies that preserve tissue-specific architectures. Here we present PathoGen, a diffusion-based generative model enabling controllable, high-fidelity lesion inpainting into benign histopathology images. We validate PathoGen across four datasets representing kidney, skin, breast, and prostate pathology. Quantitative assessment confirms PathoGen outperforms state-of-the-art baselines in image fidelity and distributional similarity. Evaluation by six expert pathologists revealed that synthetic images by PathoGen were only marginally distinguished from real tissue image slightly above chance (57.75% accuracy), demonstrating strong perceptual realism of PathoGen-generated lesions. PathoGen achieved the highest win rate (35.4%) when pathologists ranked generation quality against all baselines. Crucially, augmenting training sets with PathoGen-synthesized lesions improves segmentation Dice scores by up to 0.18 compared to traditional augmentations, with maximum benefit in data-scarce regimes. By simultaneously generating realistic morphology and pixel-level annotations, PathoGen effectively addresses both data scarcity and annotation cost, two critical bottlenecks in computational pathology development.
UltraImageGen은 FLUX, SD3 같은 최신 텍스트-이미지 확산 모델이 어텐션의 이차 복잡도로 인해 2MP 이하 해상도에 제한되는 문제를 해결하기 위해, 고해상도 잠재 변수를 고정 크기 로컬 윈도우로 분할하는 계층적 로컬 어텐션과 저해상도 전역 가이던스를 결합한 프레임워크다. 고해상도 학습 데이터 없이 256×256~1K×1K 데이터만으로 LoRA를 적응시켜, 8K 이상 해상도에서 밀집 어텐션 대비 10배 이상 추론 속도 향상과 대폭 낮은 메모리 사용량으로 최고 수준의 화질을 달성했다.
연속적 시각 자기회귀(AR) 모델의 순차적 추론 속도 문제를 해결하기 위해, 이 연구는 기존 이산 분포에만 적용 가능했던 투기적 디코딩(speculative decoding)을 연속 분포로 확장한 Continuous Speculative Decoding 프레임워크를 제안한다. 목표 모델과 드래프트 모델 간 출력 분포 불일치로 인한 낮은 수용률 문제를 디노이징 궤적 정렬(denoising trajectory alignment)과 토큰 사전 채움(token pre-filling)으로 해결하고, 해석적 표현이 없는 수정 분포에서의 샘플링은 수용-기각 샘플링으로 처리하여, 256×256 및 512×512 해상도 실험에서 생성 품질 유지와 함께 2배 이상의 추론 속도 향상을 달성했다.