PyTorchKR Papers

최신 논문

총 122편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.24313v1cs.AI

Prob-BBDM: a Probabilistic Brownian Bridge Diffusion Model for MRI sequence image-to-image translation

AI-driven image-to-image synthesis is rapidly advancing, with growing applications in medical imaging. Multi-modal image analysis plays a crucial role in optimizing examination quality, yet acquiring multiple imaging modalities in clinical settings remains resource-intensive and time-consuming, especially for 3D imaging. To address this challenge, we propose a novel image-to-image translation model based on Brownian Bridge Diffusion Models (BBDM), which synthesizes magnetic resonance imaging (MRI) sequences from 2D axial slices. Our approach integrates a variational encoder-guided diffusion mechanism, leveraging probabilistic image distributions to enhance synthesis quality. Evaluated on the BraTS 2021 dataset, our Probabilistic-BBDM (Prob-BBDM) achieves superior performance across multiple translation tasks, reaching up to 88.46% SSIM and 26.09 dB PSNR, with consistent improvements over baselines. Notably, our diffusion process requires only 4 steps, making it computationally efficient while maintaining high-quality synthesis. To further validate generalizability, we test Prob-BBDM on an external third-party dataset, demonstrating consistent performance across domains. Additionally, we assess the clinical utility of the synthesized slices by using them as input to a pre-trained segmentation model. Tumor segmentation yields a Dice score of 88.71% and an HD95 of 3.49 mm, confirming that the synthesized slices preserve critical diagnostic information. These results highlight the potential of Prob-BBDM for high-quality, efficient, and generalizable MRI synthesis, offering a promising step toward improved medical image translation.

arXiv:2606.22521v1stat.ML

발산 유도 가중 디노이징을 통한 강건 확산 모델

Robust Diffusion Models via Divergence-Induced Weighted Denoising

확산 모델의 표준 MSE 디노이징 손실을 f-발산(f-divergence)이 유도한 비선형 변환으로 바꾸는 발산 유도 가중 디노이징 학습 목표를 제안하며, DDPM의 가우시안 역커널에서 단계별 불일치가 로그정규분포로 정리된다는 이론을 통해 오염 데이터에 강건한 학습을 가능하게 한다. CIFAR-10에서 30% 오염 조건에서 NED(negative exponential divergence)는 FID를 KL 기준 93.0에서 77.5로 낮추고 Huber·clipped MSE 같은 기존 강건 손실보다 우수한 결과를 보였다.

arXiv:2605.28427v2cs.LG

결측 데이터를 위한 잠재 확산

Latent Diffusion for Missing Data

결측 데이터 대체에 쓰이는 픽셀 공간 확산 모델은 학습 데이터가 심하게 불완전할수록 성능이 저하되므로, 강건한 VAE 기반 imputer로 의미적 잠재 표현을 학습한 뒤 잠재 공간에서 확산하는 2단계 프레임워크 LDMiss를 제안한다. 무작위 완전 결측(MCAR) 설정에서 LDMiss는 최대 50% 결측률까지 샘플 품질을 유지하고, 결측 대체와 생성 품질 모두 픽셀 공간 확산보다 일관되게 우수함을 보였다.

arXiv:2606.22837v1cs.LG

센서 기반 인간 활동 인식을 위한 CLIP 가이드 확산 모델 백도어 생성

CLIP-guided Diffusion Model for Backdoor Generation in Sensor-based Human Activity Recognition

센서는 현대 지능형 기기의 핵심 구성 요소이다. 사물인ternet(IoT)과 웨어러블 모바일 기기의 확산으로 이러한 센서를 통합하여 환경을 모니터링하고 사용자가 예측적 조치를 취할 수 있게 되었다. 인간 활동 인식(HAR)은 가속도계와 자이로스코프와 같은 관성 측정 장치(IMU) 기반 센서를 사용하여 건강, 운동, 의료 진단에 대한 통찰을 제공하는 널리 쓰이는 응용 분야이다. 그러나 이러한 모델의 정확도는 데이터 부족으로 인해 저해된다. 확산 모델 기반 기법은 HAR 모델 학습을 위한 합성 데이터 생성에 성공적으로 활용되어 왔다. 본 논문에서는 확산 모델을 활용하여 HAR 모델에 대한 트리거 기반 공격을 가능하게 하는 백도어 학습 기법 IMU-DM-CLIP을 제안한다. 실증 분석 결과, 백도어 주입 비율이 10%이고 확산 모델을 위한 가이드 데이터가 10%인 경우에도 공격이 성공함을 보였다.

arXiv:2606.22477v1cs.CV

다중 프로젝션 매핑을 위한 물리 기반 이미지 생성

Physically-guided Image Generation for Multi-Projection Mapping

프로젝션 매핑(Projection Mapping, PM)은 디지털 콘텐츠를 실제 3D 객체 위에 매끄럽게 겹쳐 표시할 수 있게 하며, 몰입형 시각화, 디지털 트윈(digital twin), 인터랙티브 아트의 기본 기법으로 기능한다. 텍스트-이미지 diffusion 모델이 맞춤형 콘텐츠 제작을 크게 용이하게 했지만, 이상화된 2D 생성과 물리적 제약 간의 불일치로 인해 이를 실용적인 PM 파이프라인에 직접 통합하는 것은 여전히 어렵다. 이 간극을 메우기 위해, 본 논문은 두 가지 응용 수준의 생성 패러다임을 형식화한다: 협력적 패러다임(생성된 의미와 물리적 속성을 조화시킴)과 적대적 패러다임(radiometric compensation을 통해 표면 간섭을 제거함). 이를 바탕으로, 창작자가 물리적 제약을 대화형으로 조정하고 생성 패러다임을 유연하게 전환할 수 있는 통합 제어 가능 물리 기반 생성형 다중 프로젝션 매핑 프레임워크 ConPhyG를 제안한다. 협력 모드에서는 픽셀 단위 색영역(gamut), 깊이, 엣지 등 다차원 물리 사전정보(prior)를 diffusion 과정에 주입한다. 적대적 모드에서는 생성 잠재력을 최대한 발휘하고 다중 프로젝터 radiometric compensation을 위해 유계(bounded) 수치 최적화를 적용한다. 이를 통해 사용자는 예술적 자유와 물리적 실현 가능성 사이의 균형을 맞추기 위해 제약을 동적으로 전환할 수 있다. 또한 순차 생성 전략을 사용하여 ConPhyG를 360도 다중 뷰 일관 PM으로 확장한다. 실제 4개 프로젝터 설정에 대한 정량적·정성적 평가 결과, ConPhyG는 기하학적 정렬, 색영역 활용, 의미적 충실도 측면에서 최신(state-of-the-art) 방법들을 크게 능가함을 보여준다.

arXiv:2606.21700v1cs.CV

VT-DUDA: 확산 유도 비지도 도메인 적응을 위한 시각 토큰 조건화

VT-DUDA: Visual Token Conditioning for Diffusion-guided Unsupervised Domain Adaptation

비지도 도메인 적응(UDA)은 분포 이동(distribution shift) 하에서 레이블이 있는 소스 데이터와 레이블이 없는 타깃 데이터로부터 타깃 도메인 분류기를 학습하는 것을 목표로 한다. 최근 확산 모델 기반 UDA 방법들은 타깃 스타일의 레이블이 있는 이미지를 합성하고 그렇게 생성된 합성 데이터로 학습하여 이 문제에 접근한다. 그러나 이들의 성능은 조건화(conditioning) 설계에 크게 좌우된다. 클래스 프롬프트는 거친 수준의 가이드만 제공하고, 도메인 적응 모듈은 주로 외형을 제어하므로 타깃 스타일 합성이 충분히 구체화되지 않을 수 있다. 우리는 확산 유도 UDA를 위한 시각 토큰 조건화 프레임워크인 VT-DUDA를 제안한다. VT-DUDA는 텍스트 프롬프트에만 의존하는 대신, 소스 이미지를 사용하여 타깃 스타일 합성을 위한 추가적인 인스턴스 수준의 시각적 컨텍스트를 제공한다. 구체적으로 VT-DUDA는 각 소스 이미지를 간결한 시각 토큰 시퀀스로 매핑하고, 잠재 확산 모델(latent diffusion model)의 cross-attention 컨텍스트 차원을 따라 해당 텍스트 임베딩과 이 토큰들을 연결하여 하이브리드 조건화 컨텍스트를 구성한다. 이는 텍스트만으로는 불가능한 인스턴스 의존적 조건화를 제공하며, 합성은 타깃 도메인 어댑터 분기를 통해 수행된다. 가이던스가 토큰 시퀀스로 명시적으로 표현되므로, 동일한 인터페이스는 토큰 선택과 토큰 강도 조절을 통해 조건화 신호를 추론 시점에 조작하는 것도 가능하게 한다. 제안 방법은 표준 확산 목적함수(objective)를 유지하며, 백본을 수정하지 않고도 기존 어댑터 기반 확산 프레임워크에 통합할 수 있다. Office-31, Office-Home, VisDA-2017에서 VT-DUDA는 강력한 판별(discriminative) 및 확산 기반 UDA 베이스라인들보다 평균 타깃 도메인 정확도를 향상시킨다. 결과는 생성(generation) 기반 UDA에서 더 강력한 조건화 인터페이스가 합성 타깃 스타일 데이터의 하류(downstream) 유용성을 향상시킬 수 있음을 시사한다.

arXiv:2606.21146v1cs.CV

ChronoLock: 무단 텍스트-투-비디오(T2V) 개인화로부터 동영상 보호

ChronoLock: Protecting Videos from Unauthorized Text-to-Video Personalization

텍스트-투-비디오(T2V) 확산(diffusion) 모델은 사실적이고 시간적으로 일관된 동영상을 합성하는 것을 점점 더 쉽게 만들었으며, 최근 개인화(personalization) 기법은 단 몇 개의 참조 클립만으로 이러한 모델이 특정 피사체, 스타일, 또는 동작 패턴을 모방하도록 할 수 있다. 이러한 기능은 새로운 데이터 오용 위험을 만든다. 온라인에 공유된 동영상이 수집되어 무단 T2V 미세조정에 사용될 수 있기 때문이다. 기존의 보호용 교란(perturbation)은 주로 이미지 인식이나 텍스트-투-이미지 개인화를 위해 설계되어, 따라서 동영상 개인화를 가능하게 하는 시간적 디노이징(denoising) 역학보다는 정적 외형 단서를 손상시키는 데 초점을 맞춘다. 이 격차를 해소하기 위해, 우리는 공개된 동영상이 무단 T2V 개인화에 악용되기 어렵게 만드는 최초의 선제적 보호 프레임워크인 ChronoLock을 제안한다. ChronoLock은 시간적 디노이징 궤적에 대해 경계가 있는 교란을 최적화함으로써 동작 학습 과정을 직접 겨냥한다. 먼저 적합 오류(fitting error), 프레임 상대적 디노이징 관계, 인접 프레임 변화를 결합한 확산 목적 함수로 청크 내(intra-chunk) 시간적 적응을 방해하고, 이어 청크 간(inter-chunk) 경계 불일치를 확대하여 장거리 동작 연속성을 약화시킨다. 변환 샘플링 기반 업데이트(transformation-sampled updates)는 일반적인 전처리 연산에 대한 견고성을 더욱 향상시킨다. UCF Sports와 HMDB51에서 인기 있는 T2V 백본 및 개인화 방식을 사용한 실험은 ChronoLock이 자동 지표와 인간 평가 모두에서 동작 모방을 효과적으로 줄인다는 것을 보여준다.

arXiv:2606.21135v1cs.CV

Odoriko: 인체 동작을 위한 체형 인식 멀티모달 확산(diffusion) 프레임워크

Odoriko: A Shape-Aware Multimodal Diffusion Framework for Human Motion

인간 동작 생성은 텍스트, 음악, 비디오 등 다양한 입력 모달리티에서 폭넓게 연구되어 왔으며, 최근에는 이를 단일 멀티모달 프레임워크로 통합하려는 노력이 이어지고 있다. 그러나 성별과 체형 같은 형태학적(morphological) 요인이 서로 다른 운동학적(kinematic) 특성을 낳는다는 것이 알려져 있음에도, 기존 통합 프레임워크는 이를 생성에 반영하지 않고 모든 피험자를 형태학적으로 동등한 것으로 취급한다. 본 논문은 Odoriko를 제안한다. Odoriko는 피험자의 생체 형태학(bio-morphological) 정보를 합성된 동작 출력에 직접 반영하는 최초의 통합 멀티모달 동작 생성 프레임워크이다. Odoriko는 피험자 간 변이를 평균화하는 대신, 단일 모델 내에서 텍스트, 음악, 비디오 조건 모두에 걸쳐 무엇을 하라는 지시뿐 아니라 누가 움직이는지와 일관된 동작을 생성한다. 명시적인 형태학적 정보를 사용할 수 없을 때 Odoriko는 동작과 함께 피험자 형태학을 추가로 복원하여, 하나의 프레임워크에서 추정과 생성을 통합한다. 텍스트-동작, 음악-댄스, 비디오-동작 벤치마크에 걸친 광범위한 실험은 Odoriko가 표준 지표에서 기존 특화 모델과 동등하거나 이를 능가함을 보여주며, 기존 통합 프레임워크가 지원하지 않는 형태학적 일관성을 갖춘 생성을 가능하게 한다.

arXiv:2606.20924v1cs.CV

ELDiff: 증거 학습이 텍스트-이미지 확산을 만날 때

ELDiff: When Evidential Learning Meets Text-to-Image Diffusion

다중 객체 텍스트-이미지(T2I) 확산에서 텍스트 프롬프트와 생성된 시각적 내용 간의 의미적 일관성을 보장하는 것은 이미지 합성에 매우 중요하다. 하지만 이러한 일관성 제약은 확산 모델의 디노이징(denoising) 과정에서 종종 과소평가된다. 토큰(token) 감독 확산 모델은 이미지 내용과 객체 분할 맵 간의 객체별 일관성을 학습하여 이 문제를 완화할 수 있지만, 특히 여러 객체가 포함될 때 분할 맵 바이어스와 의미적 중첩 충돌 문제에 시달리는 경향이 있다. 본 논문에서는 ELDiff를 제안한다. 이는 새로운 증거 학습(evidential learning) 감독 T2I 확산 모델로, 불확실성 지표와 충돌 탐지의 장점을 활용하여 신뢰할 수 없는 분할 맵에 대한 오류 허용성을 높이고 의미적 충돌을 억제하여 객체별 일관성 학습을 강화한다. 구체적으로, 증거 정규화(evidential regularization)를 통해 신뢰할 수 없는 라벨에서의 과신(overconfidence)을 억제하는 픽셀 증거 손실(pixel evidence loss)을 제안하고, 측정된 충돌 인자(conflict factor)를 최적화하여 의미 간의 모순을 약화시키는 토큰 충돌 손실(token conflict loss)을 설계한다. 광범위한 실험 결과, 우리의 ELDiff는 추가적인 추론 시 조작 없이 SD v1.4, SD v2.1, SDXL, SD v3.5, Qwen-Image에서 기존 학습 기반 및 학습 없는(train-free) T2I 확산 모델을 능가한다. 특히 ELDiff는 기존 T2I 확산 모델의 학습 파이프라인에 원활하게 확장할 수 있다. 코드는 https://github.com/QingtaoPan/ELDiff에서 확인할 수 있다.

arXiv:2606.19718v1cs.CV

3D 사전 정보 기반 확산 모델을 이용한 원샷 새로운 시점 및 자세 인간 이미지 합성

One-Shot Novel View and Pose Human Image Synthesis via 3D Prior Guided Diffusion Model

본 논문은 원샷 새로운 시점 및 자세 인간 이미지 합성의 문제를 다룹니다. 기존 방법들은 2D 자세 키포인트 세트를 사용하여 참조 인간 이미지를 목표 자세로 변환하거나, 인간 모델 사전(prior)을 사용하여 점별(point-wise) 특징을 추출하는 일반화 가능한 인간 NeRF를 기반으로 인간 이미지를 합성합니다. 그러나 자세 변환 기반 방법들은 모호한 2D 자세를 조건으로 사용하여 복잡한 인간 자세를 처리할 수 없는 반면, 일반화 가능한 인간 NeRF는 신뢰할 수 있는 특징이 추출되지 않으면 가려지거나 보이지 않는 인간 부분을 복원하는 데 부정확할 수 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 조건부 디노이징 확산 모델을 통해 단일 인간 이미지에서 새로운 시점과 자세를 합성하는 새로운 접근법을 제안합니다. 제안하는 확산 모델은 새로운 시점 및 자세 합성 문제를 일련의 조건부 디노이징 단계로 나눕니다. 구체적으로, 복잡하고 임의의 자세를 가진 인간을 생성하기 위해 3D 인간 사전, 즉 3D 노말 맵과 컬러 프롬프트를 생성 과정에 기하학 및 색상 조건으로 도입합니다. 일련의 확산 단계를 통해 참조 인간을 목표 인간으로 변환함으로써, 제안하는 확산 모델은 가려지거나 보이지 않는 부분을 포함하여 고품질의 합성을 가능하게 합니다. 또한, 새로운 사람에 대해 테스트할 때 미세한 디테일을 향상시키기 위해 자기 재구성 기반의 맞춤형 정제(refinement) 방법을 제안합니다. 다양한 공개 데이터셋에 대한 실험 결과, 제안하는 방법이 기존 방법들을 상당히 능가하며 데이터셋 간에 더 우수한 일반화 능력을 보임을 입증했습니다. 코드는 https://github.com/Yankeegsj/3DPGDM 에서 공개될 예정입니다.

arXiv:2508.15228v3cs.CV

고품질 3D 생성을 위한 협력적 멀티-모달 코딩

Collaborative Multi-Modal Coding for High-Quality 3D Generation

3D 콘텐츠는 본질적으로 멀티-모달 특성을 포함하며, 서로 다른 모달리티(예: RGB 이미지, RGBD, 포인트 클라우드)로 투영될 수 있습니다. 각 모달리티는 3D 에셋 모델링에서 각기 다른 장점을 보입니다: RGB 이미지는 생생한 3D 텍스처를 포함하는 반면, 포인트 클라우드는 세밀한 3D 기하학적 구조를 정의합니다. 그러나 대부분의 기존 3D 네이티브 생성 아키텍처는 주로 단일 모달리티 패러다임 내에서 작동하여 멀티-모달 데이터의 상호 보완적인 이점을 간과하거나, 3D 구조로만 제한되어 사용 가능한 학습 데이터셋의 범위를 제한합니다. 3D 모델링을 위해 멀티-모달리티를 포괄적으로 활용하기 위해, 우리는 기본적인 멀티-모달리티(예: RGB, RGBD, 포인트 클라우드)로부터 학습하는 최초의 피드포워드(feed-forward) 3D 네이티브 생성 모델인 TriMM을 제안합니다. 구체적으로, 1) TriMM은 먼저 모달리티별 특징을 통합하면서 고유한 표현 강점을 보존하는 협력적 멀티-모달 코딩을 도입합니다. 2) 또한, 멀티-모달 코딩의 견고성과 성능을 높이기 위해 보조적인 2D 및 3D 지도(supervision)가 도입됩니다. 3) 임베드된 멀티-모달 코드를 기반으로, TriMM은 트라이플레인(triplane) 잠재 확산 모델을 사용하여 텍스처와 기하학적 세부 사항을 모두 향상시키는 우수한 품질의 3D 에셋을 생성합니다. 여러 잘 알려진 데이터셋에 대한 광범위한 실험을 통해, TriMM이 멀티-모달리티를 효과적으로 활용하여 소량의 학습 데이터를 사용함에도 불구하고 대규모 데이터셋으로 학습된 모델과 경쟁력 있는 성능을 달성함을 입증합니다. 또한, 최신 RGB-D 데이터셋에 대한 추가 실험을 수행하여, 3D 생성에 다른 멀티-모달 데이터셋을 통합하는 것의 실현 가능성을 검증합니다.

arXiv:2510.21605v3cs.CV

S3OD: 합성 데이터를 통한 일반화 가능한 두드러진 객체 검출

S3OD: Towards Generalizable Salient Object Detection with Synthetic Data

두드러진 객체 검출은 비용이 많이 드는 픽셀 수준의 정밀한 주석으로 인해 DIS 및 HR-SOD와 같은 관련 하위 작업에 대해 별도의 모델 학습을 강요하는 데이터에 의존적인 작업의 대표적인 예입니다. 본 연구에서는 대규모 합성 데이터 생성과 모호성 인식 아키텍처를 통해 일반화 성능을 획기적으로 향상시키는 방법을 제시합니다. 우리는 디퓨전 및 DINO-v3 특징에서 레이블을 추출하는 멀티모달 디퓨전 파이프라인을 통해 생성된 139,000장 이상의 고해상도 이미지를 포함하는 데이터셋인 S3OD를 소개합니다. 반복적 생성 프레임워크는 모델 성능에 기반하여 어려운 카테고리를 우선시합니다. 또한, 여러 유효한 해석을 예측함으로써 두드러진 객체 검출의 내재된 모호성을 처리하는 간소화된 다중 마스크 디코더를 제안합니다. 합성 데이터로만 학습된 모델은 데이터셋 간 일반화 측면에서 20-50%의 오류 감소를 달성했으며, 파인튜닝된 버전은 DIS 및 HR-SOD 벤치마크 전반에서 최첨단 성능에 도달했습니다.

arXiv:2508.11211v3eess.IV

CT 시야 확장을 위한 효율적인 이미지 투 이미지 슈뢰딩거 브리지

Efficient Image-to-Image Schrödinger Bridge for CT Field of View Extension

컴퓨터 단층 촬영(CT)은 내부 해부학적 구조를 비침습적이고 고해상도로 시각화하는 핵심 이미징 방식입니다. 그러나 스캔 대상이 스캐너의 시야(FOV)를 초과할 경우, 투영 데이터가 절단되어 불완전한 재구성과 FOV 경계 근처에서 뚜렷한 아티팩트가 발생합니다. 기존 재구성 알고리즘은 이러한 데이터에서 정확한 해부학적 정보를 복원하는 데 어려움을 겪어 임상적 신뢰도를 제한합니다. FOV 확장을 위해 심층 학습 접근 방식이 탐색되어 왔으며, 확산 생성 모델은 이미지 합성 분야의 최신 발전을 대표합니다. 그러나 기존 확산 모델은 반복적인 샘플링 과정으로 인해 계산 비용이 많이 들고 추론 속도가 느립니다. 이러한 한계를 해결하기 위해, 우리는 이미지 투 이미지 슈뢰딩거 브리지(I$^2$SB) 확산 모델을 기반으로 하는 효율적인 CT FOV 확장 프레임워크를 제안합니다. 순수 가우시안 노이즈에서 이미지를 합성하는 기존 확산 모델과 달리, I$^2$SB는 제한된 FOV와 확장된 FOV 이미지 쌍 사이의 직접적인 확률적 매핑을 학습합니다. 이러한 직접적인 대응 관계는 더 해석 가능하고 추적 가능한 생성 과정을 산출하며, 재구성 시 해부학적 일관성과 구조적 충실도를 향상시킵니다. I$^2$SB는 시뮬레이션된 노이즈 데이터에서 49.8 HU, 실제 데이터에서 152.0 HU의 제곱 평균 제곱근 오차(RMSE)를 기록하여 조건부 노이즈 제거 확산 확률 모델(cDDPM) 및 패치 기반 확산 방법과 같은 최첨단 확산 모델보다 우수한 정량적 성능을 달성했습니다. 더불어, 1단계 추론을 통해 2D 슬라이스당 단 0.19초 만에 재구성이 가능하여, cDDPM(135초) 대비 700배 이상의 속도 향상을 보이며 두 번째로 빠른 DiffusionGAN(0.58초)을 앞섰습니다. 정확성과 효율성의 이러한 결합은 I$^2$SB가 실시간 또는 임상 배치에 잠재력이 있음을 시사합니다.

arXiv:2606.18354v1eess.IV

해부학적 마스크에 대한 조건부 확산을 통한 알츠하이머병 구조적 MRI 합성

Structural MRI Synthesis for Alzheimer's Disease via Conditional Diffusion on Anatomical Masks

생성형 머신러닝 모델의 최근 발전은 의료 영상을 크게 향상시켜, 데이터 증강(data augmentation), 프라이버시 보존, 그리고 개선된 모델 일반화(model generalization)를 위한 유망한 해결책을 제공합니다. 그러나 신경 퇴행과 관련된 미세하고 영역 특정적이며 점진적인 해부학적 변화로 인해, 알츠하이머병(AD)을 위한 고품질 구조적 MRI 데이터를 합성하는 것은 여전히 어려운 과제입니다. 본 논문에서는 원래 뇌 종양 합성을 위해 설계된 Med-DDPM 조건부 확산 모델을 확장하여, AD에 특화된 3D 구조적 MRI를 생성하도록 적용했습니다. 우리는 다른 생성 모델과 비교하여 입증된 안정성과 구조적 충실도(structural fidelity) 때문에 Med-DDPM을 채택했으며, 이는 AD의 특징적인 미세한 해부학적 변화를 포착하는 데 특히 적합합니다. 우리의 접근 방식은 ADNI 데이터셋에서 파생된 해부학적 분할 마스크(anatomical segmentation masks)에 확산 과정을 조건화(conditioning)하여, 생성 과정에 주요 AD 관련 뇌 구조를 통합합니다. 우리는 실제(real), 합성(synthetic), 및 하이브리드(혼합) 데이터셋에서 분할 모델을 학습(training)시킴으로써 합성 이미지의 품질과 유용성을 체계적으로 평가했습니다. 실험 결과, 합성 데이터로만 학습된 분할 모델이 실제 데이터로 학습된 모델(0.6513)과 유사한 Dice 점수(0.6532)를 달성하면서도 현저히 향상된 재현율(recall)을 나타내는 것으로 나타났습니다. 특히 하이브리드 데이터셋(실제 및 합성 이미지 혼합)에서 학습된 모델은 실제 및 합성 전용 기준선(baseline) 모두를 능가하여 0.7244의 Dice 점수를 달성했습니다. 이러한 발견은 해부학적으로 정확하고 AD 특정적인 합성 MRI를 생성하기 위한 조건부 확산 모델의 성공적인 활용을 강조하며, 신경 영상 연구에서 학습 데이터 가용성 향상, 진단 정확도 개선, 연구 재현성 촉진에 대한 잠재력을 부각합니다.

arXiv:2606.17675v1cs.CV

정말 디퓨전이 필요한가? 쌍을 이루는 의료 영상 변환을 위한 빠른 U-Net

Do We Really Need Diffusion? A Fast U-Net for Paired Medical Image Translation

자기공명영상 신호 지방 분율(MRI-SFF)은 조직 내 지방을 정량화하며 대사성 및 근골격계 질환에 대한 확립된 바이오마커 역할을 합니다. 그러나 획득을 위해서는 일상적으로 사용할 수 없는 특수 MRI 시퀀스가 필요합니다. 우리는 널리 사용 가능한 T2 강조(T2w) MRI로부터 영상 간 변환(I2I)을 통해 SFF를 추정할 수 있는지 조사합니다. 또한 독일 국가 코호트(NAKO)의 230,048개 쌍을 이루는 2D 영상(학습 183,517개, 검증 23,621개, 테스트 22,910개) 데이터셋을 사용하여 경량의 4단계 U-Net과 최첨단 노이즈 제거 확률 모델(DDPM)을 비교합니다. 두 모델 모두 기준선(baseline)보다 명확히 우수한 성능을 보여(피어슨 상관계수 r = 0.769, 평균 절대 오차 MAE = 0.070 +/- 0.054), 모델이 사소하지 않은 모달 간 매핑을 학습했음을 확인했습니다. 흥미롭게도 경량 U-Net은 상관계수(r = 0.975 vs. 0.962)와 오차(MAE = 0.014 +/- 0.015 vs. 0.019 +/- 0.019) 모두에서 DDPM을 능가했으며, 추론 시간을 208배 단축했습니다(50단계 노이즈 제거 확률 암묵적 모델(DDIM) 스텝 사용 시 영상당 25.2ms vs. 5,227.2ms). 계산 비용이 크게 절감된 상태에서의 우수한 임상 성능은 실시간 임상 사용을 가능하게 합니다.

arXiv:2606.17606v1cs.CV

Flux-Guard: 확산 모델을 활용한 얼굴 신원 보호

Flux-Guard: Facial Identity Protection using diffusion models

얼굴 인식(FR) 시스템의 광범위한 배포는 소셜 미디어와 공개 플랫폼에 공유된 개인 이미지를 신원 연결 및 프라이버시 위험에 노출시킵니다. 기존의 적대적 프라이버시 보호 방법은 승인되지 않은 FR 성능을 저하시킬 수 있지만 생성적 얼굴 편집과 호환되지 않습니다. 인공지능 기반 얼굴 편집 도구가 인기를 얻고 있어, 개인화된 초상화 생성 및 소셜 공유에 대한 사용자 수요가 크게 증가했습니다. 그러나 현재 편집 방법은 종종 신원 특징을 보존하여, 편집된 이미지가 악의적인 FR 시스템에 의한 추적에 여전히 취약하게 만듭니다. 따라서 본 논문은 Flux-Guard를 제안합니다. 이는 적대적 공격에 기반한 프라이버시 보호 얼굴 편집 프레임워크로, 통합된 생성 과정 내에서 얼굴 편집과 프라이버시 보호를 결합합니다. 구체적으로, 의미적 조작을 생성 과정과 정렬하기 위한 흐름 궤적 제어 방법을 설계하고, 시각적 품질을 유지하면서 공격 효과를 극대화하기 위해 적대적 강도를 동적으로 조정하는 적응형 지각 손실(perceptual loss) 기반 가중치 전략을 활용한 잠재 공간 적대적 최적화를 도입했습니다. 광범위한 실험을 통해 Flux-Guard가 얼굴 편집을 지원하면서 CelebA-HQ 및 LADN 데이터셋에서 교차 도메인 얼굴 인식 모델에 대한 공격 성공률을 크게 향상시킴을 입증했습니다. 또한, 상용 API에 대한 평가 결과는 실제 애플리케이션에서의 효과를 확인했습니다. 코드는 https://github.com/JLMWang/Flux-Guard에서 공개되었습니다.

arXiv:2603.28251v3cs.CV

DiffAttn: LLM 강화 의미적 추론을 통한 확산 기반 운전자 시각 주의 예측

DiffAttn: Diffusion-Based Drivers' Visual Attention Prediction with LLM-Enhanced Semantic Reasoning

운전자의 시각 주의(attention)는 잠재적 위험을 예측하기 위한 중요한 단서를 제공하며, 의사결정 및 제어 조작을 직접적으로 결정짓습니다. 이것이 부재할 경우 교통 안전이 저해될 수 있습니다. 지능형 차량을 위한 운전자의 지각 패턴을 모방하고 시각 주의 예측을 고도화하기 위해, 본 연구에서는 DiffAttn이라는 확산 기반 프레임워크를 제안합니다. DiffAttn은 이 작업을 조건부 확산-노이즈 제거(denoising) 과정으로 공식화하여 운전자의 주의를 더 정확하게 모델링할 수 있게 합니다. 국소 및 전역 장면 특징(feature)을 모두 포착하기 위해 Swin Transformer를 인코더로 채택하고, 층 간 상호작용을 위한 특징 융합 피라미드(Feature Fusion Pyramid)와 밀집된 다중 스케일 조건부 확산을 결합하는 디코더를 설계했습니다. 이를 통해 노이즈 제거 학습과 세밀한 국소 및 전역 장면 맥락 모델링을 공동으로 향상시킵니다. 또한, 대규모 언어 모델(LLM) 층(layer)을 통합하여 하향식 의미적 추론을 강화하고, 안전에 중요한 단서에 대한 민감도를 개선했습니다. 4개의 공개 데이터셋(dataset)에 대한 광범위한 실험을 통해 DiffAttn이 최첨단(SoTA) 성능을 달성함을 입증했으며, 이는 대부분의 비디오 기반, 하향식 특징 기반, 그리고 LLM 강화 기준 모델(baseline)을 능가하는 결과입니다. 본 프레임워크는 해석 가능한 운전자 중심의 장면 이해를 추가로 지원하며, 지능형 차량 내 차량 내 인간-기계 상호작용, 위험 지각, 그리고 운전자 상태 측정을 개선할 잠재력을 가지고 있습니다.

arXiv:2506.10981v2cs.CV

SceneCompleter: 생성적 새로운 시점 합성을 위한 밀집 3D 장면 완성

SceneCompleter: Dense 3D Scene Completion for Generative Novel View Synthesis

생성 모델은 강력한 이미지 생성 사전(priors)을 활용하여 새로운 시점 합성(NVS)에서 큰 가능성을 보여주었습니다. 그러나 기존 접근 방식은 일반적으로 2D 인페인팅(inpainting) 패러다임을 따르며, 먼저 누락된 이미지 영역을 완성한 후 3D 재구성을 수행합니다. 이 전략은 2D 인페인팅 모델이 시점 간 일관성 있는 생성에 필요한 기저 3D 구조를 신뢰할 수 있게 추론할 수 없기 때문에, 종종 기하학적 왜곡과 외관 드리프트(drift)를 유발합니다. 본 논문에서는 생성적 NVS를 밀집 3D 장면 완성으로 재정의하는 기하학 인식 프레임워크인 SceneCompleter를 제안합니다. SceneCompleter는 고립된 2D 뷰를 환각(hallucinating)하는 대신, 공간적으로 정렬된 RGBD 잠재 공간에서 기하학-외관 이중 스트림 확산 모델(diffusion model)을 통해 기하학과 외관을 공동으로 완성합니다. 전체적인 장면 맥락을 제공하기 위해, 참조 이미지의 전역 의미 및 스타일 정보를 바탕으로 생성을 조건화하는 Scene Embedder를 추가로 도입합니다. 완성된 RGBD 예측은 정렬되어 확장 가능한 3D 장면 표현으로 통합되어, 반복적이고 일관된 장면 완성을 가능하게 합니다. 동일 분포(in-domain) 및 이질 분포(out-of-distribution) 데이터셋에 대한 광범위한 실험을 통해, SceneCompleter가 다양한 시나리오에서 시각적으로 타당하고 기하학적으로 일관된 새로운 시점을 생성함을 입증합니다. 프로젝트 페이지: https://chen-wl20.github.io/SceneCompleter

arXiv:2606.12012v1cs.CV

FitVTON: 신체-의류 크기 제어를 통한 핏 인식 가상 착용

FitVTON: Fit-aware Virtual Try-On via Body-Garment Size Control

확산(diffusion) 기반 가상 착용은 인상적인 시각적 사실감을 달성했지만, 대부분의 방법은 이 과제를 2D 인페인팅으로 취급하여 물리적 타당성보다 텍스처 보존을 우선시한다. 그 결과, 다양한 체형에 걸쳐 실제 의류 핏을 반영하지 못하는 그럴듯해 보이는 이미지를 종종 생성한다. 우리는 실제 다양한 체형에 적용할 수 있는 핏 인식 가상 착용 모델 FitVTON을 제안한다. FitVTON은 구조화된 텍스트 프롬프트를 통해 의류-신체 크기를 인코딩하며, 매개변수화된 의류 모델로부터 생성된 시뮬레이션 착용 트리플렛으로부터 학습한다. 의류 실루엣의 핏 효과를 개선하기 위해, 의류와 노출된 신체 모두에 대한 마스크를 예측하는 두 개의 보조 헤드를 도입한다. 또한 시뮬레이션 데이터로부터 실사적인 외관을 개선하기 위한 텍스처 보정 단계를 도입한다. 핏 충실도를 평가하기 위해 VLM 기반 채점 프로토콜을 결합한 실제 데이터셋 FittingEffect3K를 구축한다. 주관적 및 정량적 실험 모두 FitVTON이 진정한 핏 충실도를 보여주며, 경쟁력 있는 이미지 품질을 유지하면서 최신(state-of-the-art) 방법 대비 크기 정확도와 형태 보존에서 유의미한 향상을 달성함을 보인다. 프로젝트 페이지: https://zenoning.github.io/FitVTON/.

arXiv:2606.11289v1cs.CV

i1: 강력한 텍스트-이미지 모델을 위한 단순하고 완전 공개 레시피

i1: A Simple and Fully Open Recipe for Strong Text-to-Image Models

확산 모델은 텍스트-이미지 생성의 발전을 지속적으로 이끌어왔다. 그러나 최근의 진전을 특정 모델링 및 데이터 선택에 귀속시키기는 어렵다. 최첨단 공개 가중치 모델들은 제한적인 ablation만 제공할 뿐, 학습 데이터와 전체 학습 세부사항을 공개하지 않는다. 연구 커뮤니티는 후속 연구의 기반으로 완전 공개(가중치, 데이터, 코드) 모델이 필요하지만, 기존의 완전 공개 모델은 여전히 선도 모델 대비 성능에서 크게 뒤처진다. 본 프로젝트에서 우리는 총 700K+ TPU v6e 시간에 달하는 300개 이상의 통제 실험을 통해 텍스트-이미지 확산 모델의 학습과 추론에서 모델링 및 데이터 설계 선택을 체계적으로 조사했다. 우리의 실험은 강력한 모델을 학습하기 위한 여러 실증적 발견(예: 균등 가중치는 큐레이션된 데이터셋을 혼합할 때 강력한 기본값이다)과 단순한 설계 결정(예: 더 큰 텍스트 인코더 어댑터가 최소한의 추가 매개변수로 성능을 향상시킨다)을 강조한다. 이러한 통찰을 바탕으로, 우리는 공개적으로 이용 가능한 데이터셋만을 사용하여 30억 매개변수 텍스트-이미지 확산 모델 i1을 학습했다. i1은 다섯 가지 대표 벤치마크(GenEval, DPG, PRISM, CVTG-2K, LongText)에서 선도 모델들과 경쟁력을 보이며, 기존 최고의 완전 공개 모델을 평균 29.5 절대 퍼센트 포인트만큼 능가한다. 우리는 i1 체크포인트, 학습 및 추론 코드, 데이터 처리 파이프라인을 제공한다. 종합하면, 우리의 발견과 i1 레시피는 텍스트-이미지 확산 모델의 미래 공개 연구를 위한 실용적 기반을 마련한다. 우리의 코드는 https://github.com/zlab-princeton/i1 에서 이용할 수 있다.