전자현미경은 나노 스케일의 세포 시각화를 가능하게 하지만, 이미징 해상도와 획득 속도 사이의 트레이드오프에 직면한다. 기존 학습 기반 방법은 단일 스트림 아키텍처에 의존하며, 지각적 현실감과 정량적 충실도 사이의 균형을 맞추는 데 어려움을 겪어, 세부를 과도하게 평활화하거나 비현실적인 환각을 생성한다. 본 연구는 이 갈등을 해결하기 위해 주파수 적응형 이중 스트림 아키텍처를 제안한다. 이산 웨이블릿 변환(discrete wavelet transform)을 사용하여 이미지를 저주파 구조와 고주파 세부로 분해한 다음, 현실적인 전역 합성을 위해 조건부 확산 모델(conditional diffusion model)을, 정밀한 세부 복원을 위해 트랜스포머 네트워크를 사용한다. EMDiffuse 데이터셋에서의 실험은 본 방법이 우수한 LPIPS와 resolution ratio를 달성하며, 기존 접근법을 크게 능가함을 보여준다. 본 방법은 또한 다양한 생물학적 샘플에 걸쳐 강한 일반화를 보이며, 구조 생물학 및 나노기술 응용을 위한 빠르고 신뢰할 수 있는 전자현미경 이미징을 지원한다. 소스 코드와 관련 데이터셋은 추가 연구를 촉진하기 위해 공개적으로 제공된다.
데이터센터와 그 컴퓨트 노드는 워크로드, 환경 매개변수, 물리적 지표 간의 복잡한 상호작용을 모델링할 수 있는 정확하고 유연한 디지털 트윈이 필요하다. 현재 HPC 및 그 텔레메트리를 위한 머신러닝 접근법은 일반적으로 단일 작업에 맞춰진 익명의 고정 위치 센서 변수의 정적 부분집합에 의존한다. 결과적으로, 목표 작업이 변경되거나 센서 지표가 달라지면 이러한 모델은 더 이상 유효하지 않게 된다. 우리는 컴퓨트 노드 텔레메트리 및 시계열을 위한 최초의 파운데이션 모델인 SeT-Diff를 제안한다. 경직된 아키텍처와 달리, 우리의 확산(diffusion) 기반 접근법은 각 센서의 의미적 설명에 생성 과정을 조건화하여 시스템 역학을 데이터셋의 구조로부터 분리한다. 실제 슈퍼컴퓨터 데이터셋에 대한 실험은 재구성 작업에서 평균 절대 오차(MAE) 0.0470을 보여준다. SeT-Diff는 제로샷(zero-shot) 순열 안정성을 보이며, 센서 순서가 섞여도 정확도를 미미한 저하만으로 유지한다. 단일 사전학습 모델이 데이터 보간(imputation), 예측(forecasting), 가상 센싱(virtual sensing)을 효과적으로 수행하며 — 열 추론에서 0.033 MAE를 달성 — SeT-Diff를 HPC 시스템을 위한 효과적인 데이터 기반 디지털 트윈으로 만든다.
생존 분석은 전이, 질병 재발, 환자 사망과 같은 시간-사건(time-to-event) 결과를 모델링함으로써 임상 연구의 핵심이다. 표준 표 형식(tabular) 데이터와 달리, 생존 데이터는 중도 이탈이나 추적 손실(loss to follow-up)로 인해 종종 불완전한 사건 정보를 동반한다. 이는 합성 데이터 생성에 독특한 과제를 제기하며, 임상 연구에서는 사건 시간 분포와 검열(censoring) 메커니즘을 모두 충실히 재현하는 것이 중요하다. 본 논문에서는 생존 분석에서 합성 데이터를 생성하기 위해 특별히 설계된 end-to-end 디퓨전 모델인 SurvDiff를 제안한다. SurvDiff는 생존 분석에 맞춘 손실 함수의 안내 하에 혼합형 공변량, 사건 시간, 우측 검열(right-censoring)을 공동 생성함으로써 데이터 생성 메커니즘을 포착하도록 맞춤 설계되었다. 이 손실은 시간-사건 구조를 인코딩하고 하류 생존 과제를 직접 최적화하여, SurvDiff가 (i) 현실적인 사건 시간 분포를 재현하고 (ii) 검열 메커니즘을 보존하도록 보장한다. 여러 데이터셋에서 SurvDiff가 여러 의료 데이터셋에 걸쳐 분포 충실도와 생존 모델 평가 지표 모두에서 최신 생성 기준선들을 일관되게 능가함을 보인다. 우리가 아는 한, SurvDiff는 합성 생존 데이터 생성을 위해 명시적으로 설계된 최초의 end-to-end 디퓨전 모델이다.
고급 운전자 보조 시스템(ADAS) 평가에 사용되는 궤적 데이터셋은 일상적인 주행에 크게 편향되어 있으며, 실제 차량 간 충돌(conflict) 이벤트는 드물고, 이벤트가 드물수록 ADAS 시스템이 이를 처리하지 못했을 때의 비용이 더 높다. 기존 생성 접근법은 공간적 목표, 에이전트 구조, 자연어 적대적 목표 등 장면 수준 속성에 조건화하여 이러한 불균형을 해결하지만, 목표 충돌까지의 시간(Time-to-Collision, TTC) 값을 입력으로 받아 측정 가능한 오차 범위 내에서 이를 생성하도록 요구받을 수 있는 방법은 없다. 본 논문은 요청된 최소 TTC 값을 스칼라 조건 신호로 받아들이고, 실현된 충돌 심각도가 요청과 일치하는 쌍 차량 상호작용 궤적을 생성하는 심각도 조건 디노이징 확산 확률 모델(DDPM), SevDiff를 제안한다. 이는 적중률(hit-rate) 지표로 평가된다. UTE SQM-W-1 고속도로 위빙(weaving) 구간 데이터셋에서 추출한 468개 상호작용 윈도우(스무딩 후 1,041대 차량, 822,691개 관측치)로 학습한 SevDiff는 TTC 목표 0.5–1.5초에서 ±0.5초 이내 100% 적중률, 2.0–2.5초에서 97–99%, TTC = 5.0초에서는 점진적 저하로 39%를 달성한다. 생성된 운동학적 특징은 물리적으로 타당하며, 12개 특징 전체에서 최대 범위 초과율 4.7%, 96.5% 이상의 샘플에서 음수 속도 또는 간격 값이 없다. 적중률 저하 패턴은 학습 사전분포 대비 조건 신호의 강도로 물리적으로 해석 가능하며, 이는 합격/불합격 결과가 아닌 생성기의 정밀도 특성화이다.
생성 모델은 그럴듯한 미래 시스템 궤적의 앙상블을 생성함으로써 불확실성 하에서의 의사결정을 지원할 수 있지만, 통계적 개연성(statistical plausibility)이 구조적 실행 가능성(structural feasibility)을 보장하지는 않는다. 본 연구는 동적 그래프 구조 시스템에서 생성적 궤적 모델링의 신뢰성을 사후 샘플링(post-sampling) 기호적(symbolic) 제약이 개선할 수 있는지 조사한다. 조건부 확산 모델(conditional diffusion model)이 부분 관측으로부터 미래 그래프 상태 궤적을 생성하고, 외부 기호 층(symbolic layer)이 하드 필터링(hard filtering), 소프트 가중(soft weighting), 또는 투영 기반(projection-based) 복구(repair)를 적용한다. 이 프레임워크는 구조적 유효성, 샘플 효율성, 다양성, 견고성(robustness), 교정(calibration) 지표를 사용하여 두 가지 통제된 합성 체제—컴팩트 그래프와 중간 복잡도 의존성 그래프—에서 평가된다. 컴팩트 체제에서 모델은 0.002996의 무효 확률 질량(invalid probability mass)을 생성하며, 이는 거의 완전히 허용 가능한(admissible) 궤적 매니폴드를 나타낸다. 동일한 아키텍처와 학습 프로토콜 하에서, 중간 복잡도 체제에서는 무효 질량이 0.155929로 증가한다. 하드 필터링은 생성된 샘플의 84.4%를 보존하면서 보존된 모든 무효 궤적을 제거하는 반면, 소프트 가중은 유효 표본 크기(effective sample size)를 보존하지만 제한적인 유효성 향상만을 제공한다. 계열(family) 수준 분석은 의존성 제약(dependency constraints)이 관측된 거의 모든 비허용(inadmissibility)을 설명함을 보여준다. 이 결과는 통계적 개연성과 구조적 허용 가능성이 서로 다른 신뢰성 속성임을, 그리고 그래프 구조적 복잡도가 증가할수록 기호적 제약 처리가 더 가치 있어짐을 나타낸다.
장면 이해는 기하학, 외관, 의미론에 대한 동시 예측을 요구한다. 그러나 기존 태스크별 주석은 호환되지 않는 도메인별 데이터셋에 걸쳐 파편화되어 있다. 현재의 통합 시스템은 완전 공동 주석 데이터로만 학습을 제한하거나, 의사 라벨링(pseudo-labeling)의 큰 계산 비용을 감수함으로써 이를 우회한다. 이를 완화하기 위해, 우리는 깊이, 표면 법선, 의미 분할, 경계, 인체 부위, 알베도, 셰이딩, 재질이라는 여덟 가지 밀집 장면 속성을 분리된 도메인별 데이터셋에서 공동으로 예측하는 통합 비디오 모델 UniD를 제안한다. 우리는 태스크별 전문가가 경량 태스크 프로젝터를 통해 통합 백본을 지도하는 간단하면서도 효과적인 지식 증류(distillation) 단계를 제안하며, 이를 통해 주석 중복이나 의사 라벨링이 필요 없게 한다. 우리의 핵심 통찰은 사전학습된 diffusion 모델의 강력한 시각적 사전 지식(prior)이 분리된 학습 소스로 인해 발생하는 도메인 간격을 메우기에 충분하여, 학습 중 한 번도 보지 못한 장면-태스크 조합에 대한 강건한 일반화를 가능하게 한다는 것이다. UniD는 태스크별 전문가 및 멀티태스크 기준선 대비 경쟁력 있는 성능을 달성하며, 분포 외(out-of-distribution) 시나리오에 대한 강한 일반화와 향상된 시간적 및 교차 태스크 일관성을 보인다. 코드와 비디오 결과는 https://unid-video.github.io/ 에서 확인할 수 있다.
약지도 RGB-D 현저 객체 검출(SOD)은 픽셀 수준 주석의 큰 부담을 줄이기 위해 연구되어 왔다. 그러나 스크리블 주석은 객체의 구조와 세부 정보를 갖추지 못해 부정확한 현저성 맵을 초래한다. 본 논문에서는 스크리블 지도 RGB-D SOD 방법을 제안하며, 이는 Segment Anything Model(SAM) 기반 의사 주석 생성 방법(SAM-PAG)과 상태 공간 상호작용 기반 조건부 확산 모델(S²Diff)으로 구성된다. 구체적으로 SAM-PAG는 희소한 지도 정보 문제를 해결하도록 맞춤 설계되었다. SAM-PAG에서는 이중 분기 구조와 분할 마스크의 일관성을 통해 희소한 스크리블을 조밀한 픽셀 수준 의사 주석으로 확장하기 위해 고급 SAM을 채택한다. S²Diff에서는 조건 정보의 안내 하에 노이즈가 있는 현저성 맵을 반복적으로 정제하여 정확한 현저성 맵을 생성하기 위해 확산 모델을 채택한다. 당연히 우리 S²Diff의 핵심은 조건 특징의 획득과 현저성 맵의 노이즈 제거에 있다. 전자에 대해, 주파수 통합과 암시적-명시적 상태 공간 상호작용을 통해 다중 모달 특징을 엮는 크로스 모달 조건부 생성 모듈을 사용하여 효과적으로 전역 조건 특징을 달성한다. 후자에 대해, 조건적 문맥으로 객체 정보를 강화하고 노이즈 간섭을 완화하기 위해 문맥 주입 모듈을 사용한다. SAM-PAG와 S²Diff의 긴밀한 협력을 통해, 우리 방법은 관련 스크리블 지도 방법들을 능가하고 7개 데이터셋에서 완전 지도 방법과 비교해 경쟁력 있는 성능을 달성한다. 우리 방법의 코드와 결과는 https://github.com/Switch457/WeakS2Diff_SOD 에서 확인할 수 있다.
다양한 기상 조건에서의 신뢰 가능한 지각(perception)은 자율주행 시스템의 주요 난제로 남아 있다. 견고성(robustness)을 개선하기 위한 일반적인 전략은 지각 모델 학습을 위해 악천후 조건을 합성하거나, 깨끗한 입력을 복원하기 위해 날씨 제거 기법을 적용하는 것이다. 그러나 기존 접근법은 대개 합성 데이터 증강 또는 짝(pair) 학습 데이터가 필요한 물리 기반·과제 특화 모델에 의존하며, 사실적인 기상 효과를 생성하거나 도메인 외(out-of-domain) 시나리오에 견고하게 일반화하는 데 자주 어려움을 겪는다. 이 문제에 대해, 우리는 잠재 확산(latent diffusion)에 기반한 날씨 편집 통합 프레임워크 Cyclone을 제안하며, 순환 일관성(cycle-consistent) 제약과 이미지-텍스트 모델의 지식을 갖추었다. Cyclone은 짝 데이터가 필요 없이 다양한 장면에서 여러 기상 조건을 생성할 수 있다. 실험 결과, 본 접근법은 기존 베이스라인보다 더 사실적이고 구조를 보존하는 출력을 생성하며, 여러 하류(downstream) 주행 지각 과제에서 일관된 성능 향상을 보인다. 더 나아가, Cyclone을 시간적으로 일관된(temporally consistent) 날씨 편집을 위한 비디오 확산 모델로 지식 증류(distillation)할 수 있음을 보여준다.
우리는 고해상도 3D 데이터를 인코딩하고 생성하는 데 필요한 메모리 요구량을 줄이는 새로운 3D 의료 영상 생성 모델인 TCAM-Diff를 제안한다. 이 모델은 밀집 볼륨(dense volume)으로부터 트라이플레인(triplane) 표현을 학습하기 위해 디코더 전용 오토인코더(decoder-only autoencoder) 방식을 이용하며, 과적합을 방지하기 위해 일반화(generalization) 연산을 활용한다. 이후 트라이플레인 인식 교차 어텐션(cross-attention) 확산 모델을 사용하여 이러한 특징을 효과적으로 학습하고 통합한다. 또한 확산 모델이 생성한 특징은 사전학습(pre-trained) 디코더 모듈을 사용하여 3D 볼륨으로 빠르게 변환할 수 있다. BrainTumour 128 x 128 x 128, Pancreas 256 x 256 x 256, Colon 512 x 512 x 512의 서로 다른 규모를 갖는 세 가지 의료 데이터셋에서의 실험은 뛰어난 결과를 보여준다. 재구성(reconstruction) 품질 평가에는 MSE와 SSIM을 사용하였고, 생성 품질 평가에는 바셔슈타인 생성적 적대 신경망(Wasserstein Generative Adversarial Network, W-GAN) critic을 활용하였다. 기존 접근법과의 비교에서, 우리 방법은 유사한 크기의 잠재 공간(latent space)을 갖는 다른 인코더-디코더 방식보다 더 나은 재구성 및 생성 결과를 제공함을 보여준다.
고품질 삼각형 메시 생성은 영화, 게임, 인터랙티브 3D 애플리케이션에 필수적이다. 주류 방법은 메시 직렬화와 자기회귀(autoregressive) 과정에 의존하며, 이는 효과적인 추론에 어려움을 겪고 오류 누적에 민감하다. 본 논문에서는 정점과 토폴로지(topology) 생성을 분리하여 전체적 메시 생성을 달성하는 확산(diffusion) 방법 Nexus를 제안한다. 먼저, 메시 정점을 octree로 구성된 희소 복셀(sparse voxel)로 간주하고, 확산 모델을 채택하여 coarse-to-fine 방식으로 정점을 생성한다. 둘째, 토폴로지 모델링을 위해 Spacetime Distance의 확장인 Spacetime Interval을 제안하여, 임의의 엣지(edge)와 면(face) 토폴로지를 연속적인 per-vertex 임베딩(embedding)으로 인코딩한다. 이를 통해 복잡한 토폴로지의 전역적이고 효율적인 복원이 가능하다. 그런 다음 생성된 정점 위에서 연속 임베딩을 생성하기 위해 확산 모델을 사용한다. Objaverse 및 Toys4K 데이터셋과 실세계(in-the-wild) 이미지에 대한 광범위한 실험을 통해, 본 방법이 최신(state-of-the-art) 자기회귀 및 2단계(two-stage) 베이스라인을 능가하며 순차적 메시 모델링의 고유 한계를 효과적으로 우회함을 보여준다. 3D 전문가를 대상으로 한 블라인드 사용자 연구는 우리 결과에 대한 강한 지각적 선호를 확인했다.
약물 발견 및 개발은 시간과 자원이 많이 소요되어, 최초 약물 설계(de novo drug design)를 위한 확산 모델(diffusion model)과 같은 계산적 접근법을 촉진한다. 이러한 모델 중 많은 것이 구조 기반 약물 설계(SBDD) 패러다임을 따르며, 표적 결합 포켓에 맞는 분자를 생성한다. 그러나 기존 확산 기반 SBDD 방법은 일반적으로 포켓과 리간드 표현 학습을 결합하고, 상호작용을 원자 수준에서만 모델링하며, 다른 개발 가능성(developability) 속성보다 결합 친화도(binding affinity)를 우선시한다. 여기서 우리는 강한 결합 친화도와 유리한 ADMET 속성을 갖는 리간드를 생성하기 위한 조건부 확산 기반 SBDD 프레임워크인 conDitar-dev를 제안한다. 이는 세 가지 모듈로 구성된다: 사전학습된 다중 스케일 포켓 표현 학습 모듈인 msPRL, msPRL 표현에 의해 안내되는 포켓 조건부 확산 모델인 conDitar, 그리고 리간드 개발 가능성을 최적화하는 생성 시점 방법인 paOPT이다. 새롭게 구축한 인간 질병 표적 벤치마크에서 conDitar는 최신 SBDD 기준선을 능가하며, 평균 결합 점수 -8.85 kcal/mol을 달성한다. 5가지 ADMET 속성에 걸쳐, conDitar-dev는 conDitar 대비 최대 73%까지 성능을 향상시킨다. conDitar-dev가 개발 가능한 분자를 생성하는 능력을 추가로 검증하기 위해, 우리는 이를 두 가지 검증된 약물화 가능(druggable) 표적인 프로그램된 세포 사멸 리간드 1(PD-L1) 및 콜로니 자극 인자 1 수용체(CSF1R) 단백질에 적용하였다. 상위 순위의 생성적으로 설계된 분자와 그 유사체는 실험적으로 합성되고 생물학적으로 검증되었다. PD-L1을 위해 conDitar-dev가 직접 생성한 두 분자는 각각 SPR로부터 도출된 $K_D$ 값이 3.49 및 3.75 $μ$M이었다. conDitar-dev로 설계된 분자를 기반으로 한 히트 확장(hit expansion)은 IC$_{50}$ 값이 최저 200 nM인 선택적 CSF1R 억제제를 확인하였으며, 약물 재창출(drug repositioning)의 기회도 발견하였다.
전산화 단층촬영(CT)은 임상 진단에 핵심적인 영상 방식이지만, 방사선 용량을 줄이면 불가피하게 심한 노이즈와 구조적 아티팩트가 발생하여 영상 품질이 저하된다. 기존의 심층 학습 기반 저선량 CT(LDCT) 재구성 방법들은 일반적으로 고정된 용량 수준이나 특정 해부학적 영역에 맞춰 최적화되어, 실제 임상 환경에서의 견고성과 일반화가 제한된다. 본 연구에서는 연속적인 방사선 용량과 해부학적 정보를 통합 재구성 네트워크 내에서 공동으로 모델링하는, LDCT 재구성을 위한 일반화 가능한 확산 기반 프레임워크 GenDiff를 제안한다. 제안 프레임워크는 촬영 인식 임베딩을 학습하는 용량-해부학 인코더(Dose-Anatomy Encoder), 반복적 정제를 위한 용량·해부학 조건화 cold diffusion 백본, CT 순방향 모델에 대한 충실도를 강제하는 물리 일관성 업데이트, 해부학적 구조를 보존하면서 용량 의존적 아티팩트를 억제하는 구조적 사전 정제 모듈(SPRM)을 통합한다. 미세 용량 조건을 포함한 다중 해부학 임상 데이터셋, 분포 외 팬텀 및 동물 데이터셋에 대한 광범위한 실험 결과, GenDiff가 최신 합성곱 신경망 및 확산 기반 재구성 방법들을 일관되게 능가함을 보여준다. 제안 접근법은 다양한 용량 수준, 해부학적 영역, 촬영 도메인에 걸쳐 강한 견고성을 유지하면서 우수한 재구성 품질을 달성하여, 실용적인 저선량 CT 영상에 유망한 해결책이 될 수 있음을 시사한다.
손의 상당 부분이 자기 자신이나 물체에 의해 심하게 가려졌을 때 3D 손 자세를 어떻게 재구성할 수 있을까? 인간은 종종 어포던스(affordance)와 같은 문맥적 지식을 활용하여 이러한 모호성을 해결한다. 어포던스에서는 물체의 형태와 기능이 해당 물체가 일반적으로 어떻게 잡히는지를 시사한다. 이러한 관찰에서 영감을 받아, 우리는 손-물체 상호작용(hand-object interaction, HOI)에 대한 어포던스 인식 텍스트 설명으로 유도되는 손 자세 정제용 생성 사전분포를 제안한다. 우리의 방법은 어포던스 설명에 조건부로 타당한 손 자세의 분포를 학습하는 확산 기반 생성 모델을 사용하며, 이 설명은 대규모 비전-언어 모델(vision-language model, VLM)로부터 추론된다. 이를 통해 가려진 영역을 더 정확하고 기능적으로 일관된 손 자세로 정제할 수 있다. 심각한 가림이 있는 3D 손-어포던스 데이터셋 HOGraspNet에서의 광범위한 실험은, 우리의 어포던스 유도 정제가 최근 회귀 방법과 문맥적 추론이 없는 확산 기반 정제 모두에 비해 손 자세 추정을 크게 개선함을 보여준다.
분포 외(Out-of-Distribution, OoD) 탐지는 주어진 샘플이 보호 대상 분류기의 학습 분포, 즉 분포 내(In-Distribution, InD)에서 온 것인지, 아니면 알려지지 않은 외부 분포에서 온 것인지 판별하는 것을 목표로 한다. 최근 연구들은 강력한 분포 모델링 능력 때문에 확산 모델(DM)을 OoD 탐지에 활용해 왔다. 입력 이미지가 주어지면 InD로 사전학습된 DM은 이에 대응하는 InD 정렬된 대응물을 생성하며, 이는 비교를 위한 생성적 기준(reference)로 작용한다. 그러나 기존 DM 기반 방법들은 일반적으로 이 근본적인 불일치를 원시 이미지 공간에서의 시각 수준 거리를 통해 평가하며, 이는 OoD 탐지와 관련된 분포적 불일치와 어긋날 수 있다.
본 연구에서는 DM 기반 OoD 탐지에서 불일치 평가의 기초를 조사하며, 입력과 DM이 생성한 대응물 사이의 불일치를 어떻게 정식화해야 하는지, 그리고 어떤 표현 공간에서 어떤 지표로 측정해야 하는지를 탐구한다. 이를 위해 보호 대상 분류기의 표현 공간을 활용하여 불일치를 분류기 상대적(classifier-relative) 방식으로 평가하는 방법을 제안한다. 이 분류기는 InD 데이터에 대한 학습을 통해 풍부한 과업 관련 InD 지식을 인코딩한다. 구체적으로, 심층 특징 표현에서의 특징 수준 공변량 불일치(feature-level covariate discrepancy)와 출력 로짓에서의 로짓 수준 개념 불일치(logit-level concept discrepancy)라는 두 가지 불일치 유형을 정량화하여 InD와 OoD 샘플 간 효과적인 구별을 가능하게 한다. 더불어, 불일치 평가를 촉진하기 위해 DM 생성물의 표현을 정제하는 부분공간(subspace) 기반 전략을 고안한다. 이러한 설계들을 종합하여 DDR이라는 새로운 탐지 프레임워크를 구성한다. 어려운 대규모 ImageNet-1K 데이터셋에 대한 광범위한 실험을 통해 DDR이 DM 기반 및 비-DM 기반 방법 모두 대비 우수한 탐지 성능을 보임을 입증한다.
조건부 확산 모델은 해부학적으로 타당한 의료 초음파(US) 이미지를 생성할 수 있지만, 해부학적 타당성만으로는 현실적인 B-모드 외관을 보장하지 않는다. 대부분의 초음파 파이프라인은 표준 생성 아키텍처를 해부학적 마스크로 조건화하거나, 동일한 해부학적 신호를 강화하는 유도 메커니즘을 사용한다. 그러나 B-모드 초음파 이미지는 스펙클 텍스처(speckle texture), 조직 대비(tissue contrast), 감쇠(attenuation)와 같은 획득 의존적 특성에 의해 결정된다. 동결된 초음파 파운데이션 모델을 사용하여, 우리는 표준 조건부 확산 기준선이 표현 공간(representation space)에서 실제 이미지와 분리된 채로 남아 있음을 보인다. 본 연구에서는 이 간극을 줄이기 위한 학습(training) 불필요 샘플링 전략인 특징(feature) 공간 후보 유도(FSCG, Feature-Space Candidate Guidance)를 제안한다. 샘플링 시, FSCG는 지역적 k-NN 특징 보정을 적용하고 특징 공간 에너지에 따라 여러 확률적 후보 중 최적의 후보를 선택한다. 이를 통해 마스크가 해부학적 구조를 정의하는 반면, FSCG는 샘플을 실제 초음파 도메인으로 유도한다. 세 가지 서로 다른 데이터셋에 걸쳐, FSCG는 표준 조건부 확산 샘플링 대비 평균 FID64를 56%, FID192를 57%, 최근접 이웃 특징 거리를 47% 감소시켜, 대안적인 추론(inference) 시간 유도 기준선을 능가한다. 이 결과는 도메인 인식 특징 표현이 생성기를 재학습하지 않고도 의료 확산 합성에서 현실성 간극을 드러내고 줄일 수 있음을 시사한다. 코드는 https://github.com/marinadominguez/FSCG 에서 확인할 수 있다.
헤어스타일 전환은 참조 이미지의 헤어스타일을 소스 피사체에 이식하면서 소스 아이덴티티를 보존하여 사실적인 초상화를 합성하는 것을 목표로 한다. 최근 기반 모델들은 강력한 생성 능력을 보여주지만, 정밀한 로컬 편집에 필요한 제로샷 분리에 어려움을 겪으며, 참조 헤어스타일이 원래의 아이덴티티 및 포즈와 얽히는 문제가 자주 발생한다. 기존의 확산 기반 파이프라인은 일반적으로 소스에서 "민머리" 이미지를 먼저 생성한 후 참조에서 헤어스타일 특징을 주입하는 방식으로 작업을 분해한다. 그러나 이 패러다임이 근본적인 누출 문제를 겪고 있음을 보인다. 헤어스타일에서의 아이덴티티 누출(Identity Leakage in Hairstyle)은 헤어스타일 특징이 참조 아이덴티티 또는 포즈 정보를 보유할 때 발생하며, 민머리에서의 결함 누출(Flaw Leakage in Bald)은 민머리 이미지의 잔류 아티팩트가 최종 합성에 전파될 때 발생한다. 두 문제를 모두 해결하기 위해, 두 가지 상보적인 학습 시간 정규화기를 도입하는 이중 정제 프레임워크(DPF, Dual-Purification Framework)를 제안한다. 적대적 헤어스타일 정제(AHP, Adversarial Hairstyle Purification)는 상호 정보 기반 적대적 목적 함수 하에서 아이덴티티 예측 가능성을 억제함으로써 헤어스타일 특징을 정제한다. 대조적 기하학적 정제(CGP, Contrastive Geometric Purification)는 대조적 목적 함수로 ControlNet 경로를 정규화하여 민머리 조건의 기하학적 아티팩트에 대한 모델의 의존성을 줄인다. 헤어스타일 표현과 기하학적 경로를 공동으로 정제함으로써, DPF는 고충실도의 아이덴티티 보존 헤어스타일 전환을 달성하고 다양한 벤치마크에서 최첨단 성능을 기록한다.
캐릭터 애니메이션에서 모션 블렌딩(motion blending)은 기존 예시들 사이를 보간하여 새로운 모션을 합성하는 것을 가능하게 한다. 현재 방법들은 일반적으로 고정된 스켈레톤 토폴로지에 제한되어, 캐릭터 간에 동일하거나 거의 동일한 골격 구조를 요구한다. 우리는 이종(heterogeneous) 스켈레톤 간 모션 블렌딩을 위한 새로운 프레임워크를 제시한다. 제안된 아키텍처는 모션 상태의 프레임별 잠재 표현(latent representation)을 추출하는 의미론적 인코더(semantic encoder)와, 이 잠재 코드에 조건화되어 캐릭터별 모션을 재구성하는 확산 기반(diffusion-based) 디코더를 결합한다. 추론 시, 두 입력 모션의 잠재 표현을 보간함으로써 블렌딩된 모션을 얻는다. 우리는 동일한 스켈레톤 토폴로지와 서로 다른 스켈레톤 토폴로지 모두에서 정의된 모션을 사용하여 Truebones Zoo 데이터셋으로 해당 방법을 학습하고 평가하며, 다양한 시나리오에서 자연스럽고 그럴듯한 블렌딩을 달성할 수 있음을 입증한다.
기존 광학 흐름(optical flow) 방법은 크게 두 가지 패러다임을 따른다: 반복적 최적화와 확산 기반 추정. RAFT로 대표되는 반복적 방법은 순환적 정제를 통해 높은 정확도를 달성하지만, 큰 변위와 복잡한 움직임에는 여전히 어려움을 겪는다. 확산 기반 방법은 생성 모델링을 도입하여 이러한 모호한 영역에서 가능성을 보인다. 그러나 기존 확산 모델들은 대개 가벼운 네트워크로 신뢰할 수 있는 움직임을 이미 추정할 수 있는 단순한 영역을 포함하여, 전체 밀집 흐름 필드를 가우시안 노이즈에서부터 디노이징한다. 이는 디노이징 부담을 늘리고 느린 수렴과 불안정한 학습을 초래할 수 있다. 이 문제를 해결하기 위해 우리는 FlowPainter를 제안한다. 이는 밀집 흐름 생성을 신뢰도 기반 소프트 인페인팅(soft inpainting)으로 재정의하는 확산 기반 광학 흐름 프레임워크다. FlowPainter는 경량의 신뢰도 인식 네트워크를 사용하여 대략적인 흐름과 픽셀 단위 신뢰도 마스크를 예측함으로써, 신뢰할 수 있는 단순 영역과 불확실한 어려운 영역을 구분한다. 이렇게 얻은 단순 흐름 사전(simple-flow prior)은 신뢰도 기반 초기화에 활용되며, 신뢰도 게이트 잔차 가이던스(confidence-gated residual guidance)를 통해 반복적 디노이징에 추가로 주입된다. 동적으로 감쇠하는 가이던스 강도를 통해 FlowPainter는 초기 디노이징을 안정화하면서도 후기 단계 세부 정제를 위한 확산 모델의 유연성을 보존한다. Sintel, KITTI, Spring을 포함한 공개 벤치마크에서의 광범위한 실험 결과, FlowPainter는 비교 가능한 학습 환경에서 높은 정확도를 달성하고 기존 확산 기반 광학 흐름 방법보다 더 효율적으로 수렴하며, 어려운 벤치마크 분할에서 눈에 띄는 성능 향상을 보인다. 우리의 접근법은 신뢰할 수 있는 판별적 사전(discriminative prior)과 확산 기반 정제를 광학 흐름 추정에 통합하는 실용적인 방법을 제시한다. 코드는 https://github.com/mya012/FlowPainter 에서 공개적으로 이용 가능하다.
확산 모델(Diffusion model)은 다양한 도메인에서 괄목할 만한 성과를 거두었으며, 그 성능은 점수 함수를 매개변수화하는 노이즈 제거 백본과 밀접하게 연관되어 있다. 본 논문에서는 확산 구성 요소에 대한 체계적이고 단계 인식(phase-aware) 분석을 제시하고, 심층 잠재(latent) 변수에서 발생하는 급격한 초기 단계 변동이 아티팩트(artifact)와 강하게 연관되어 있음을 보인다. 이러한 발견에 기반하여, 공유 EMA 기반 기준을 사용해 심층 저노이즈 내부 잠재 변수의 급격한 편차를 탐지하고 탐지기가 선택한 항목에 백본별 억제를 적용하는 학습 불필요(training-free) 정제 프레임워크인 DUNE(Diffusion Unified Network refiNEr)을 소개한다. U-Net에서 도출되었지만, 동일한 탐지-억제 원리는 심층 셀프-어텐션 블록의 잠재 변수에 작용함으로써 트랜스포머 기반 확산 모델로 자연스럽게 확장된다. 다양한 백본에 걸친 광범위한 실험 결과, DUNE은 환각(hallucination)을 줄이면서 충실도(fidelity)를 향상시키며, 확산 백본을 어디서 어떤 시점에 제어해야 하는지에 대한 새로운 통찰을 제공함을 보여준다.
EEG 기반 발작 감지를 위한 심층 학습은 두 가지 핵심 과제에 직면해 있다: 심각한 어노테이션 부족과 극단적인 클래스 불균형으로, 발작 발현(ictal) 이벤트는 임상 기록의 10% 미만을 차지한다. 우리는 9.6M 매개변수의 자기지도 파운데이션 모델인 DiffEEG를 제안한다. 이 모델은 디노이징 확산 사전학습과 강화학습(RL) 기반 미세조정을 통해 두 가지 한계를 모두 해결한다. Temple University Hospital Seizure Corpus(TUHSZ)의 130만 개 비레이블 세그먼트로 사전학습된 DiffEEG는 멀티헤드 셀프 어텐션을 갖춘 1D U-Net을 통해 일반적인 신경 표현을 학습한다. 다운스트림 적응을 위해, 강화된 결정 층은 정책 그래디언트 최적화를 사용하여 F1-score를 직접 최대화하며, 전체 정확도보다 희귀 발작 이벤트에 대한 민감도를 우선시한다. 엄격한 환자별 평가(279명, Leave-One-Fold-Out)에서 DiffEEG는 4-클래스 발작 하위유형 분류에서 61% 정확도와 59% F1을 달성하고, 이진 감지에서 81% 정확도와 85% 가중 F1을 달성하며, 극단적인 불균형(6.7% 유병률)에도 불구하고 임상적으로 실용 가능한 발작 재현율(59%)을 유지한다. 세그먼트 수준 평가에서는 97.6%의 정확도 상한을 확립하여 강력한 아키텍처 용량을 확인한다. DiffEEG는 확산 기반 사전학습과 메트릭 인식 강화학습의 결합이 최소한의 레이블 데이터 요구사항으로 임상 배포 가능한 발작 모니터링을 가능하게 함을 입증한다.