통합 모델(unified model)은 지시 기반(instruction-based) 이미지 편집과 텍스트-이미지(T2I) 생성을 모두 수행하도록 학습되지만, 표준 편집 파이프라인은 디노이징(denoising) 전 과정에 걸쳐 원본 이미지 조건화(conditioning)를 유지합니다. 본 논문에서는 편집이 T2I로부터 이점을 얻을 수 있는지 질문을 던지고, 조건화의 효과가 다양한 편집 유형 및 디노이징 단계에 따라 어떻게 달라지는지 연구합니다. 순수 편집(pure editing)에서는 샘플링 궤적을 거치는 동안 일부 편집에 대해 원본 어텐션(attention)이 감소합니다. 이러한 관찰을 바탕으로 모델이 자신의 T2I 역량을 활용할 수 있도록 하는 작업 전환(task switching) 방식을 제안합니다. 세 가지 통합 편집 모델과 네 가지 벤치마크에 걸친 실험 결과, 제한된 구간 동안 T2I 작업으로 전환하는 것이 편집 품질을 향상시키는 동시에 세 모델 모두에서 평균 지각적 보존(perceptual preservation) 수준이 순수 편집과 유사하게 유지됨을 확인했습니다. 따라서 통합 편집 모델은 학습된 두 가지 조건화 모드를 모두 활용함으로써 이점을 얻으며, 전환 시점을 통해 품질과 보존 사이의 균형을 조절할 수 있습니다.
디퓨전 모델을 위한 사후 학습 양자화(PTQ)는 타임스텝, 특징(feature) 및 층(layer) 구조를 점점 더 적극적으로 활용하고 있습니다. 최근 연구에서 디퓨전 양자화에 분류기 없는 유도(CFG) 구조를 통합하기 시작했으나, 활성화(activation) 양자화는 여전히 조건부 및 무조건부 좌표에 걸쳐 독립적으로 작동하여 교차 활성화 구조를 활용하지 못하고 있습니다. 본 연구에서는 매칭된 CFG 활성화가 강하게 상관된 2차원 소스를 형성하며, 고정된 비트 예산 하에서 브랜치 부호화 기저의 선택이 양자화 충실도에 실질적인 영향을 미침을 보여줍니다. 이러한 관찰에 착안하여, 오프라인에서 유도된 2x2 직교 행렬을 통해 매칭된 CFG 브랜치를 회전시켜 모델 파라미터나 양자화 파이프라인의 수정을 최소화하는 브랜치 공간 변환 부호화(branch-space transform coding)를 소개합니다. 나아가 CFG 유도 방향과 브랜치 간 2차 모멘트를 결합하여 반영하는 유도-상관 브랜치 변환(GCBT)을 도출합니다. 동일 비율 양자화 노이즈 대리 지표 하에서 GCBT는 그래디언트(gradient) 최적화나 각도 탐색 없이 층별 닫힌 형태 해(closed-form solution)를 제공합니다. 기존 디퓨전 PTQ 방법론 위에 적용했을 때, GCBT는 기반이 되는 호스트 양자화 파이프라인을 변경하지 않으면서도 통계적으로 유의미한 성능 저하 없이 대부분의 평가 비교에서 통계적으로 유의미한 충실도 향상을 달성합니다.
표현 정렬(representation alignment)은 디퓨전(diffusion) 학습을 가속화하는 효과적인 방법으로 자리 잡았지만, 그 이점이 픽셀 공간(pixel-space)의 클린 이미지(clean-image) 예측으로는 안정적으로 전이되지 않는다. JiT에서 우리는 보조 특징 정렬(auxiliary feature alignment)이 의미론적 특징(semantic feature)에 대한 접근성을 향상시키는 동시에 클린 이미지 예측에 필요한 이미지 변동(image variation)에 대한 접근성을 감소시켜, 보조 목표(auxiliary objective)와 디노이징(denoising) 과제 간의 불일치를 초래한다는 것을 발견했다. 이는 다른 원칙을 시사한다: 보조 지도(auxiliary supervision)는 별도의 표현 목표를 부과하기보다 예측 대상 자체를 개선해야 한다는 것이다. 우리는 서로 다른 노이즈 수준(noise level)에 걸쳐 클린 이미지 예측을 정렬하는 예측 지도(prediction-supervision) 방법인 JAx(Just Align x)를 제안한다. JAx는 마르코프 저하(Markov degradation)를 통해 더 노이즈가 많은 학생(student) 관측과 더 깨끗한 관측을 결합하며, 이 과정은 원래의 JiT 입력 분포를 보존한다. 이 결합 하에서, 더 깨끗한 상태로부터의 오라클 예측(oracle prediction)은 최적의 JiT 목표와 동일한 조건부 평균(conditional mean)을 가지면서도, 조건부 목표 공분산(conditional target covariance)은 더 크지 않다. 따라서 오라클 예측 정렬은 상수 항을 제외하면 모집단 JiT 목표를 보존하면서도 더 낮은 분산의 학습 목표를 제공한다. 불완전한 EMA 교사(teacher)를 사용하는 실제 상황에서 이 구성을 실용적으로 만들기 위해, JAx는 실제 정답 지도(ground-truth supervision)와 예측 위험도(prediction risk)에 기반하여 인접한 교사 상태를 선택하는 신뢰도 게이팅 결합 밴드(reliability-gated coupling band)를 결합한다. ImageNet 256x256에서 JAx는 외부 인코더나 아키텍처 또는 샘플링 절차의 변경 없이도 JiT-B/16, L/16, H/16 전반에 걸쳐 FID를 일관되게 향상시키고 수렴을 가속화한다. 그래디언트 진단(gradient diagnostics)은 미니배치 그래디언트 분산의 감소를 추가로 보여주며, 제거 실험(ablation)은 이러한 개선이 시간 재가중치화(time reweighting)만으로는 설명될 수 없음을 보여준다. 이러한 결과는 예측 공간 지도(prediction-space supervision)가 픽셀 공간 생성 모델(pixel-space generative model)에서 표현 정렬에 대한 단순하고 원칙적인 대안을 제공함을 보여준다.
확산 모델은 독립적인 데이터-노이즈 결합을 유발하는 정보성이 낮은 무기억(memoryless) 전방 과정으로 인해, 종종 매우 굽은 궤적과 잡음이 많은 스코어 목표를 산출한다. 우리는 두 단계를 통해 고차원에서 최적 궤적을 복원하는 생성 모델링 프레임워크인 Adjoint Schrödinger Bridge Matching(ASBM)을 제안한다. 첫째, Schrödinger Bridge(SB) 전방 동역학을 결합 구성 문제로 보고, 데이터를 에너지로 정의된 사전분포로 수송하는 data-to-energy 샘플링 관점으로 학습한다. 이어서, 유도된 최적 결합으로 감독되는 간단한 매칭 손실로 후방 생성 동역학을 학습한다. 비-무기억(non-memoryless) 체제에서 동작함으로써, ASBM은 현저히 더 곧고 효율적인 샘플링 경로를 생성한다. 선행 연구와 비교해 ASBM은 현저히 향상된 안정성과 효율로 고차원 데이터에 스케일링된다. 이미지 생성에 대한 광범위한 실험은 ASBM이 더 적은 샘플링 단계로 충실도를 향상시킴을 보인다. 우리는 나아가 1-step 생성기로의 지식 증류를 통해 제안한 최적 궤적의 효과를 보여준다.
스코어 기반 확산 모델(score-based diffusion models)은 기저 데이터 분포가 학습(training) 분포와 다를 수 있는 환경에서 점차 많이 고려되고 있으나, 기존의 이론적 보장은 주로 분포 변화가 없는 환경에 초점을 맞추고 있습니다. 본 연구에서는 기준 분포의 바서슈타인 섭동(Wasserstein perturbations) 하에서 강건한 스코어 추정을 연구합니다. 오룬슈타인-울렌벡(Ornstein-Uhlenbeck) 확산에 대해, 강건한 추정이 두 가지 핵심 요소, 즉 기준 분포를 학습하는 데 따르는 통계적 비용과 분포 변화 자체의 본질적 비용으로 분해됨을 보입니다. 후자는 바서슈타인 반경에 대해 2차(quadratically)로 스케일링되며, 이러한 의존성은 미니맥스 최적(minimax optimal)입니다. 우리는 변화 반경을 알지 못하더라도 도출된 강건한 미니맥스 속도를 달성하는 명시적인 유한 표본 추정기를 구성합니다. 기준 분포가 미지의 저차원 부분공간에 놓여 있을 때, 통계적 항은 본질적 차원에 적응하는 반면 변화 비용은 변하지 않은 채 유지됩니다. 마지막으로, 우리는 동일한 분해가 양의 시간 역방향 샘플링(positive-time reverse sampling)에도 적용됨을 보이고 KL 발산에서 일치하는 미니맥스 보장을 도출합니다. 종합적으로, 이러한 결과들은 유한한 데이터, 본질적 차원, 그리고 분포 변화가 스코어 기반 확산 모델의 강건성에 미치는 영향을 규명합니다.
강력한 이미지 생성 성능으로 널리 알려진 확산(diffusion) 및 관련 생성 모델링 방법은 시각 미디어 응용에서 폭넓게 성공을 거두었다. 특히 확산 방법은 극히 낮은 비트율(bit-rate)에서도 사실적인 복원을 생성할 수 있는 새로운 데이터 압축 접근을 가능하게 했다. 본 글은 이미지 압축에 초점을 맞추어 생성적 손실 압축(generative lossy compression)을 위한 최근 확산 기반 방법들에 대한 통합적 리뷰를 제공한다. 이러한 방법들은 일반적으로 원본을 임베딩으로 인코딩하고, 디코딩 과정에서 확산 모델을 사용해 이를 반복적으로 정제(refine)하여 복원이 실제 데이터 분포를 근사적으로 따르도록 한다. 임베딩은 다양한 형태를 취할 수 있으며, 일반적으로 보조 엔트로피 모델(entropy model)을 통해 전송되고, 최근 연구는 채널 시뮬레이션(channel simulation)을 통한 정보 전송에 확산 모델 자체를 활용하는 방향도 탐구한다. 본 글은 rate-distortion-perception 이론의 관점에서 대표적 접근법을 검토하고, 공통 난수(common randomness)의 역할과 역문제(inverse problem)와의 연관을 강조하며, 남은 과제를 식별한다.
사전학습된 확산(diffusion) 및 플로우(flow) 모델을 이용한 소수 스텝(few-step) 생성은 네트워크가 아니라 샘플링 궤적을 최적화하는 경량 학습으로 가속할 수 있다. 최근의 한 접근법은 확률적 보간(stochastic interpolant, SI) 스케줄러를 부드러운 곡선으로 매개변수화하며, 이 곡선의 제어점은 SI 스케줄러가 만족해야 하는 세 가지 성질, 즉 고정된 경계 조건, 단조 신호 대 잡음비(SNR), 그리고 미분 가능성을 강제한다. 기존 매개변수화는 전역적으로 지지되는(globally supported) 다항식 기저를 사용하는데, 이 경우 모든 제어점이 곡선 전체를 움직이고 표현력을 높이려면 더 높은 차수가 필요하므로, 최적화 과정에서 스케줄의 멀리 떨어진 구간들이 서로 결합된다. 본 논문은 적분 단조 스플라인(integrated monotone splines, I-splines)으로 스케줄러를 매개변수화하는 *I-SplineFlow*를 제안한다. I-spline은 다항식 차수와 혼합 가중치(mixture weight)의 개수를 분리하므로, 가중치 개수를 고정한 채 모델마다 지지 폭(support width)과 매끄러움을 선택할 수 있으며, 컴팩트하게 지지되는 도함수 기저 덕분에 스케줄러 야코비안(Jacobian)의 조건수가 Bézier 기저보다 수 자릿수 더 좋다. 경계 조건과 엄격하게 단조인 SNR은 매개변수에 대한 순서 제약 없이 구성 자체로 보장되며, 속도(velocity)의 도함수는 닫힌 형태(closed-form)로 얻어진다. 확산(EDM) 모델과 플로우(ReFlow, Simple ReFlow) 모델 전반에서 I-SplineFlow는 대부분의 설정에서 Bézier 스케줄링보다 소수 스텝 FID를 개선하며, 특히 가장 낮은 NFE에서 그 개선이 가장 뚜렷하고, 학습에는 수 분밖에 걸리지 않는다. 절제 실험(ablation)은 차수의 자유도와 단조성 제약이 모두 필요함을 보여준다. 코드는 논문 채택 시 공개될 예정이다.
현재의 조건화된 생성 모델은 학습 중 가이던스를 위해 score function에 크게 의존한다. 생성 모델이 특이 확산 계수를 갖는 확산 과정이고, 기저 (조건부) 밀도가 존재하지 않거나 매끄럽지 않을 때, 우리는 인과적 최적 수송(causal optimal transport)을 사용하여 최소한의 가정 하에서 가이던스를 위한 최소 엔트로피 제어를 식별하는 근사 손실 함수를 정의한다. 본 접근은 인과적 최적 수송과, 관련 마팅게일 문제가 well-posed인 (조건화된) 확산 과정의 예측 가능 표현 성질(predictable representation property)을 통한 특성화에 의존하며, 이는 Üstünel의 방식에 따른다.
디퓨전 모델(diffusion model)은 다양한 생성 작업에서 최고 수준의 성능을 보이는 도구입니다. 그러나 이러한 모델의 학습은 고차원 스코어 함수(score function)를 추정하는 과정을 수반하며, 이는 원리상 차원의 저주(curse of dimensionality)를 겪게 됩니다. 따라서 타깃 분포 내의 저차원 구조를 이러한 모델에서 어떻게 활용할 수 있는지 이해하는 것이 중요합니다. 본 연구에서는 타깃 확률 변수들 간의 특정 희소 조건부 종속성을 설명하는 국소성 구조(locality structure)를 고려합니다. 국소성 구조가 주어지면 스코어 함수는 실질적으로 저차원이 되므로, 국소화된 신경망(localized neural network)을 통해 표본 복잡도(sample complexity)를 크게 줄이면서 이를 추정할 수 있습니다. 이러한 관찰을 바탕으로 국소화된 가설 공간 내에서 스코어 함수를 학습하기 위해 국소화된 스코어 매칭 손실(localized score matching loss)을 사용하는 국소화된 디퓨전 모델(localized diffusion model)을 제안합니다. 우리는 이러한 국소화를 통해 추가적인 국소화 오차를 대가로 차원에 독립적인 오차 한계를 확보하여 디퓨전 모델이 차원의 저주를 피할 수 있음을 증명합니다. 나아가 현실적인 표본 크기 스케일링 하에서 적절한 국소화 반경(localization radius)이 통계적 오차와 국소화 오차 간의 균형을 이루어 전반적으로 더 우수한 성능을 낸다는 것을 이론적 및 수치적으로 입증합니다. 또한 국소성 구조는 병렬 학습을 용이하게 하여, 대규모 응용 분야에서 국소화된 디퓨전 모델이 잠재적으로 더욱 효율적이도록 만듭니다.
2D-3D 정합(registration)은 낮은 중첩도, 가림(occlusion), 반복적인 구조, 심각한 크로스 모달 모호성과 같은 까다로운 시나리오에서 여전히 취약합니다. 주요 원인은 기존 방식들이 표현 학습(representation learning), 대응점 추정(correspondence estimation), 자세 계산(pose computation)을 개별적으로 개선하는 반면, 지배적인 실패 모드는 본질적으로 특징(feature), 대응점, 자세 간에 오류가 전파되는 계층 간(cross-level) 문제라는 점입니다. 이러한 한계를 해결하기 위해, 우리는 공유된 미분 가능한 기하학적 상태를 통해 대응점 정밀화, 자세 추정, 표현 학습을 결합하는 폐루프(closed-loop) 프레임워크인 DMM-Align(Diffusion-based Matching Matrix Alignment)을 제안합니다. 본 방법은 두 가지 상호 조율된 역할로 확산(diffusion) 모델을 활용합니다. 즉, 기하학 인지 확산 프로세스는 강건한 대응점 추정을 위해 소프트 매칭 행렬을 정밀화하고, 기하학 조건부 확산 티처(diffusion teacher)는 자세로부터 유도된 감독 신호를 특징 학습에 다시 주입합니다. 이러한 프로세스들은 대응점을 전역 자세로 변환하고 업스트림 모듈에 기하학적 불일치를 노출하는 미분 가능한 기하학적 힌지(geometric hinge)를 통해 연결됩니다. 7-Scenes 및 RGB-D Scenes V2에 대한 광범위한 실험을 통해 DMM-Align이 특히 낮은 중첩도와 심한 가림 조건에서 강력한 베이스라인들을 일관되게 능가함을 보여주며, 강건한 2D-3D 정합을 위한 폐루프 기하학적 피드백의 효과를 강조합니다.
기존 잠재 월드 모델(latent world model)은 일반적으로 미래 예측 가능성에 맞춰 최적화되지만, 그 결과로 얻어지는 표현(representation)이 자율주행의 계획 수립에 반드시 유용한 것은 아닙니다. 예측값은 궤적 생성을 위한 직접적인 조건화 신호로 사용되기보다는 사전학습(pre-training)이나 보조적인 지도 신호로 활용되는 것이 일반적입니다. 본 논문에서는 계획 관련 잠재 표현을 학습하고 이를 확산 트랜스포머(Diffusion Transformer, DiT) 플래너와 비대칭적으로 결합하는 ForeDrive를 제안합니다. 이 플래너는 JEPA 스타일의 월드 모델로 학습된 다중 시계 잠재 미래 표현(multi-horizon latent future representation)을 입력받으며, 계획 수립 그래디언트는 공유 온라인 인코더를 업데이트하는 반면, 그래디언트 중단(stop-gradient) 라우팅을 통해 잠재 예측기(latent predictor)는 예측 손실만으로 학습됩니다. 예측된 미래는 시계(horizon)에 따라 신뢰도가 상이하고 BEV 궤적은 이미지 토큰과 정렬되지 않으므로, 게이트형 시각 융합(gated visual fusion), 미래 상태 주입(future-status injection), 궤적 적응형 바이어스(Trajectory-Adaptive Bias, TAB)를 사용하여 현재 관측값을 덮어쓰지 않고 미래 잠재 변수를 유도 신호로 주입합니다. 순수 모방 학습(imitation learning)으로 학습되고 추론 시 현재 전방 뷰 이미지만을 시각적 입력으로 사용함에도 불구하고, ForeDrive는 강화학습이나 외부 궤적 스코어러 없이도 NAVSIM v1에서 89.9 PDMS, NAVSIM v2에서 단일 단계(one-stage) 90.0 EPDMS를 달성합니다.
대규모 텍스트-이미지 생성 모델이 전례 없는 시각적 성능을 달성했음에도, 다중 단계 반복 솔버에 대한 내재적 의존은 심각한 추론 지연을 초래한다. Classifier-Free Guidance(CFG) 궤적을 대상으로 하는 소수 단계 증류(distillation)는 널리 쓰이는 이중 차원 압축 패러다임으로 부상했다. 그러나 기존 프레임워크는 전역적으로 고정된 가이던스 강도를 끊임없이 강제하면서 감독 타임스텝을 무차별적으로 샘플링하는 거친 블라인드 주입 패러다임에 여전히 매이고 있다. 이러한 상태 비인식(state-agnostic) 설계는 점진적 엔트로피 감소로 특징지어지는 동적 진화 과정이라는 이미지 생성의 본질을 완전히 무시하며, 소수 단계 압축의 성능 한계를 가로막을 뿐 아니라 심각한 CFG 과잉 조건화(over-conditioning) 아티팩트를 촉발한다. 이러한 한계를 넘어서기 위해, 우리는 정보 이론의 관점에서 증류 절차를 재검토하고, 이를 정보 병목(Information Bottleneck, IB) 원리로 제약된 동적 상호정보(mutual information) 게임으로 형식화한다. 구체적으로, 이중 트랙 적응형 프레임워크로 기존의 블라인드 가정을 해체한다. 주입 대상을 정하기 위해, 다루기 어려운 KL 발산 제약을 국소 벡터 필드 노름에 기반한 오버헤드 없는 폐쇄형 해로 바꾸는 인스턴스 인식(instance-aware) 선택 메커니즘을 제안한다. 주입 강도를 조절하기 위해 SNR에 맞춰 동적으로 감쇠하는 엔트로피 인식 스케줄을 도입하여, 초기 구조 앵커링에는 최대 추진력을 가하고 이후 자연 매니폴드(manifold)로 부드럽게 되돌아가 미세 디테일을 정제한다. 광범위한 실증 평가는 본 프레임워크가 과잉 조건화 아티팩트를 근본적으로 제거하고, 극도로 엄격한 2단계 구성에서도 SOTA 생성 충실도(fidelity)를 달성하며 성능 상한을 깨뜨림을 뒷받침한다.
Unsupervised anomaly detection (UAD) aims to localize abnormal regions in medical scans without pixel-level annotations. A typical strategy seeks to reconstruct a pseudo-healthy image that preserves subject-specific anatomy. Recently, diffusion models have been proposed to perform UAD. However, these methods rely on heuristic noise schedules or synthetic corruptions to balance subject-specificity and anomaly removal. In this work, we propose an alternative formulation of UAD as a Bayesian inverse problem under a diffusion prior. First, we introduce a latent spatial anomaly mask that models pixel-wise consistency between a test image and its latent corresponding pseudo-healthy image. Then, we propose an approximation of the unknown generation process that links healthy anatomy, anomalies, and the observed image, enabling a well-defined likelihood within the Bayesian framework. Building on recent advances in diffusion-based inverse problem methods, we jointly infer the pseudo-healthy image and the anomaly mask via annealed posterior sampling. We evaluate our approach on FDG PET (ADNI) and FLAIR MRI (BraTS 2021), demonstrating improved anomaly localization performance compared to other diffusion-based approaches and validating the contribution of our introduced model. Our code is available at https://github.com/HuguesRoy/UAD_DAPS.
인간은 중첩된 추상화 수준과 사람들이 최소한의 인지적 노력으로 사물을 인식하고 이름을 붙이는 \emph{기본 수준}(basic level)을 가진 개념 분류 체계로 지식을 구조화합니다. Cobweb은 범주 효용(category utility)을 극대화하여 확률적 개념 계층을 구축하는 점진적 학습자로서 이러한 능력에 대한 고전적인 인지적 설명을 제공합니다. 본 논문에서는 확산 모델(diffusion model)이 이미지 합성을 위해 설계되었음에도 불구하고 암묵적으로 동일한 계산을 수행한다고 주장합니다. 확산 모델의 노이즈 주변 확률 분포(noisy marginals)는 데이터 분포의 가우시안 평활화(Gaussian smoothing)이며, 이러한 주변 확률 분포의 모드(mode)들은 네 가지 측면에서 확률적 프로토타입의 Cobweb 트리와 일치하는 계층을 형성합니다. 두 모델 모두 계층적 밀도 모델이고, 가우시안 프로토타입을 갖는 계층적 베이지안(hierarchical-Bayesian) 모델이며, 범주화를 불확실성을 줄이는 점수 추적(score-following)으로 취급하고, 두 모델 모두에서 기본 수준이 창발적(emergent)으로 나타납니다. 우리는 확산 모델의 이러한 기본 수준을 중간 노이즈 수준에 위치시키며, 최근 분석에 따르면 역과정(reverse process)이 샘플의 클래스 정체성을 확정하는 지점임을 보여줍니다. 두 모델은 주로 분류 체계를 표현하고 학습(training)하는 방식에서 차이를 보입니다. Cobweb은 이산 트리를 점진적으로 학습하는 반면, 확산 모델은 데이터 분포에 적합화된 단일 학습 스코어 필드(score field) 내에 연속적이고 보간 가능한 계층을 인코딩합니다. 우리는 모드 탐색(mode-finding)을 통해 확산 계층을 복원하고 두 모델의 기본 수준을 비교함으로써 MNIST와 Fashion-MNIST에서 이러한 대응 관계를 검증합니다. 이는 확산 모델을 개념 형성의 인지 모델로 재구성하고 Cobweb에 연속적이고 확장 가능한(scalable) 구현체를 제공합니다.
확산 모델(diffusion model)은 고품질 이미지를 생성하지만, 거울 반사를 지배하는 물리 법칙을 흔히 위반한다. 반사는 위치 오프셋, 방향 불일치, 비율 불균형, 구조적 왜곡 등 기하학적 수차(aberration)를 자주 겪는다. 이러한 실패는 최신 최첨단 생성 시스템에서도 여전히 뚜렷하게 나타난다. 기존 방법들은 합성 데이터 스케일링(scaling)이나 보조적인 깊이(depth) 조건화를 통해 이 문제를 완화하지만, 잠재 공간(latent-space) 노이즈 재구성 손실을 암묵적 지도(supervision)로만 의존함으로써 반사 특유의 기하학적·지각적 제약을 직접적으로 강제하지 못한다. 이러한 격차를 메우기 위해, 우리는 매 학습 단계마다 예측된 클린 잠재(latent)를 픽셀 공간으로 디코딩하고 두 가지 상호 보완적인 미분 가능 목적함수를 통해 어닐링된(annealed) 지도를 적용하는 기하학 및 지각 유도 확산 프레임워크인 PhysReflect를 제안한다. 기하학적 손실(Geometric Loss)은 희소한 에피폴라(epipolar) 대응과 조밀한 경계 투영 정렬을 통해 거울에 의해 유도되는 공간적 일관성을 강제하며, 이때 SAM2 기반의 TwinTrack 메커니즘이 경계 인식 지도를 위한 안정적인 거울 내부 위치 추정을 제공한다. 지각적 손실(Perceptual Loss)은 DINOv2 특징을 통해 반사된 정체성과 외형을 유지하는 의미적 일관성 손실(Semantic Consistency Loss)과, 단안(monocular) 기하학 사전(prior) 하에서 깊이, 표면 법선(surface-normal), 조명 일관성을 정규화하는 조명 일관성 손실(Lighting Consistency Loss)을 결합하여 반사된 외형을 보존한다. 합성 및 실세계 벤치마크(benchmark) 실험 결과, PhysReflect는 기하학적, 지각적, 물리적 타당성 지표뿐만 아니라 정성적 시각 결과에서도 기존 거울 반사 방법들을 능가하는 것으로 나타났다.
고품질 이미지 합성을 넘어 확산 모델은 최근 밀집 시각 인식(dense visual perception) 과제에서 유망한 결과를 보여 왔다. 그러나 기존 연구 대부분은 확산 모델을 인식 과제용 독립 구성 요소로만 다루며, 이를 기성(off-the-shelf) 데이터 증강에만 쓰거나 단순한 특징 추출기로만 활용한다. 이렇게 분리되어 있어 차선에 그치는 시도들과 대조적으로, 우리는 확산-디노이징 과정을 독특하게 활용해 다중 모달 데이터 생성과 밀집 시각 인식을 동시에 처리할 수 있는 통합적·다목적 확산 기반 프레임워크 Diff-2-in-1을 제안한다. 이 프레임워크 안에서 디노이징 네트워크로 원본 학습 세트 분포를 반영하는 다중 모달 데이터를 만들고, 그 다중 모달 생성을 통해 판별적 시각 인식을 더 향상시킨다. 특히 Diff-2-in-1은 새로운 자기 개선(self-improving) 학습 메커니즘을 통해 생성된 다양하고 충실한 데이터의 활용을 최적화한다. 종합 실험 평가는 프레임워크의 효과를 검증하며, 여러 판별적 백본에서 일관된 성능 향상과 현실감과 유용성을 모두 갖춘 고품질 다중 모달 데이터 생성을 보여 준다. 프로젝트 웹사이트는 https://zsh2000.github.io/diff-2-in-1.github.io/ 에서 확인할 수 있다.
문맥이 변화할 때 요약의 구식된 부분만 국소적으로 수정하는 디퓨전 기반 프레임워크인 DETECT-REMASK-REPAIR를 제안한다. 이 방법은 전체 재작성보다 빠르고 효율적으로 충실도(faithfulness)를 개선하며, 자가회귀 시스템의 사후 수정 단계로도 활용될 수 있음을 보여준다.
다중 모드 분포(multimodal distribution)로부터의 샘플링은 고전적인 로컬 마르코프 연쇄 몬테카를로(MCMC) 방법에서 오랜 난제였다. 널리 쓰이는 해결책은 목표 분포와 더 단순한 참조 분포 사이를 보간하는 중간 분포 시퀀스를 도입하는 것이다. 고전적인 방법인 템퍼링(tempering)은 밀도를 거듭제곱으로 올리지만, 비대칭 모드들의 상대적 가중치를 왜곡하고 혼합 성능을 저하시킬 수 있다. 이에 대한 대안으로, 우리는 목표 분포를 가우시안으로 이끄는 노이징 확산 과정의 주변 분포인 확산 경로(diffusion path)를 따라 보간하는 방법을 제안한다. 이 경로는 모드들의 상대적 가중치를 보존하며 유리한 혼합 특성을 지니는데, 이를 대응하는 이상적인 전이 커널의 스펙트럴 갭(spectral-gap) 분석을 통해 엄밀히 밝힌다. 경로를 따른 샘플링에는 중간 스코어(intermediate score)가 필요하며, 이는 비정규화 목표 분포로부터 변분적(variational) 접근법을 통해 추정할 수 있어 근사 샘플러만 얻어진다. 이로 인한 바이어스를 제거하기 위해, 우리는 메트로폴리스-보정 확산 경로(MAD-Path) 샘플러를 도입한다. 이 샘플러는 증강된 경로 공간(augmented path space)에서 확산 경로 제안을 보정하며, 학습된 스코어의 정확도나 이산화 오류와 무관하게 목표 분포를 불변으로 유지한다. 또한 이 두 오류가 수락 확률에 미치는 영향을 정량화하여 실용적인 튜닝을 위한 지침을 제공한다. 다양한 베이지안 사후 분포(Bayesian posterior)에 대한 실험에서 MAD-Path는 템퍼링 기반 MCMC 방법 및 비보정 확산 샘플러에 비해 전역 탐험과 모드 가중치 추정을 개선함을 보여준다.
언러닝(unlearning)은 확산 모델에서 유해 콘텐츠 생성을 완화하기 위한 핵심 기법으로 부상하였다. 그러나 기존 방법들은 목표 개념뿐만 아니라 함께 발생하는 양성 개념까지 제거하는 경우가 많다. Fig.1에 예시된 바와 같이, 누드를 언러닝하면 의도치 않게 사람(person) 개념이 억제되어 모델이 사람이 포함된 이미지를 생성하지 못하게 될 수 있다. 우리는 이처럼 바람직하지 않게 억제되어 반드시 보존되어야 하는 공동 발생 개념을 CARE(Co-occurring Associated REtained concepts)로 정의한다. 이어서 다양한 언러닝 태스크에 걸쳐 CARE의 보존 정도를 직접 정량화하는 범용 지표인 CARE 점수를 제안한다. 이를 토대로, 목표 개념만을 삭제하면서 CARE를 명시적으로 보호하는 프레임워크인 ReCARE(Robust erasure for CARE)를 제안한다. ReCARE는 목표 이미지로부터 추출한 양성 공동 발생 토큰의 정제된 어휘 집합인 CARE-set을 자동으로 구성하고, 안정적인 언러닝을 위해 학습 과정에서 이 어휘를 활용한다. 누드, Van Gogh 화풍, Tench 객체 등 다양한 목표 개념에 대한 광범위한 실험을 통해 ReCARE가 강건한 개념 삭제, 전반적인 유용성, 그리고 CARE 보존 간의 균형에서 전반적으로 최첨단 성능을 달성함을 입증한다.
시네마틱 컴포징은 물리적·광도학적 현실감을 유지하면서 그린 스크린 캐릭터를 새로운 환경에 통합하는 것을 목표로 한다. 기존 방법들은 캐릭터와 주변 환경 사이의 복잡한 양방향 상호작용을 포착하지 못하는 경우가 많으며, 이를 우리는 캐릭터-대-환경(C2E) 물리 상호작용과 환경-대-캐릭터(E2C) 조명 조화로 규정한다. 이를 해결하기 위해 우리는 C2E 및 E2C 상호작용을 공동으로 모델링하는 종단간 비디오 디퓨전 프레임워크를 제안하며, 특히 상호작용 소품(interactive props)의 과제를 다룬다. 우리 접근법은 캐릭터, 소품, 환경 간 물리적으로 일관된 상호작용을 보장하기 위해 RGB-D 공동 디노이징을 갖춘 3중 마스크 유도 아키텍처를 도입한다. 또한 비용이 많이 드는 렌더링 없이 고품질 재조명(relighting) 쌍을 구축하기 위한 효율적인 사전(prior) 기반 데이터 큐레이션 파이프라인을 개발한다. 마지막으로, 참조 조건부(reference-conditioned) 메커니즘이 제어 가능한 환경 합성과 정밀한 소품 교체를 가능하게 한다. 광범위한 실험을 통해 우리 프레임워크가 시네마틱 품질의 동적 비디오 컴포징에서 기존 방법들을 크게 능가함을 보여준다.