그림자 제거를 위한 심층 학습(deep learning)의 최근 발전은 이미지 품질과 사실성을 크게 향상시켰습니다. 그러나 대부분의 접근 방식은 수집 비용이 많이 들고 장면 다양성이 제한적인 경우가 많은 실제 쌍(paired) 데이터셋에 의존하므로 일반화 성능이 제한됩니다. 이러한 한계를 해결하기 위해, 우리는 실제 쌍으로 구성된 지도학습(supervision)에 의존하지 않고도 효율적이고 충실도 높은 그림자 제거를 달성하는 새로운 프레임워크인 보상 가이던스를 통한 단일 단계 그림자 제거 확산 모델(One-step Deshadow Diffusion via Reward guidance, ODDR)을 제안합니다. 본 연구의 방법은 효율적인 단일 단계 무그림자 재구성을 위해 합성 그림자 데이터로 학습된 기준선(baseline) 모델인 One-step Deshadow Diffusion(ODD)에서 시작합니다. 나아가 우리는 ShadowReward를 사용하여 ODD를 ODDR로 발전시킵니다. 주석(annotation) 작업이 많이 필요한 기존 방식과 달리, ShadowReward는 인간의 주석 없이 전적으로 학습된 그림자 제거용 최초의 보상 모델(reward model)입니다. 이는 질감 왜곡 및 경계 아티팩트와 같이 통제된 품질 저하가 적용된 합성 생성 이미지를 순위화하여 인간의 지각적 판단을 모방하도록 학습합니다. 이러한 보상 기반 미세조정(fine-tuning)을 통해 ODDR은 합성-실제 간 도메인 간극을 좁힐 수 있습니다. 광범위한 실험을 통해 ODD는 실제 쌍 지도학습에 의존하지 않고도 강력한 성능을 달성하며, ODDR은 결과를 더욱 향상시켜 단일 단계 모델로서 더 높은 연산 효율성을 유지하면서도 실제 쌍 데이터로 학습된 완전 지도학습 방식과의 격차를 좁힘을 보여줍니다.
단일 이미지로부터 3D 객체를 복원하는 것은 컴퓨터 비전(CV) 분야의 핵심 연구 주제입니다. 주요 과제는 3D 구조를 완성하기 위한 중요한 시점(viewpoint)의 정보가 부족하다는 점입니다. 추가 시점 이미지를 사용하면 이 문제를 해결하는 데 도움이 될 수 있습니다. 그러나 확산(diffusion) 기반 단일 뷰 3D 복원 원리에 추가 시점을 통합할 수 있는 메커니즘은 존재하지 않습니다. 본 연구에서는 하나의 추가 이미지를 지원받아 확산 기반 단일 뷰 3D 객체 복원을 테스트 시점 데이터에 적응시키는 프레임워크인 ASV3D를 제안하여 이 문제를 해결합니다. 우리는 두 가지 적응 전략을 도입합니다: (i) 재학습 없이 보조 이미지를 활용하여 객체의 복원 품질을 향상시키는 제로샷(zero-shot) 적응 기법과, (ii) 대조 학습(contrastive learning)을 통해 시각적 충실도와 시점 간 일관성을 더욱 향상시키는 최적화(optimised) 적응 기법입니다. 벤치마크 및 실제 데이터셋 모두에서 두 가지 최첨단 확산 기반 단일 뷰 3D 복원 파이프라인을 개선하기 위해 ASV3D를 적용했습니다. 실험 결과는 우리의 접근 방식이 제약 없는 다중 뷰 입력 환경에서 복원 정확도와 강건성을 일관되게 향상시키며, 정량적 지표와 사용자 선호도 모두에서 베이스라인을 능가함을 입증합니다. 우리는 코드와 실제 객체 데이터셋을 프로젝트 페이지(https://github.com/YNhuHuynh/ASV3D/tree/main)에 공개합니다.
스코어 증류(Score distillation)는 사전학습된 2D 확산 모델(diffusion model)을 3D 생성기로 변환하지만, 스텝별 그래디언트(gradient)가 단일 무작위 뷰로부터 추정됩니다. 이 단일 샘플 추정치는 높은 분산을 가지며(동일한 부분 장면의 서로 다른 뷰 간에 불일치가 발생함) 전역적인 형상 일관성을 파악하지 못합니다. 기존의 다중 뷰 접근법은 다중 뷰 데이터로 확산 사전을 재학습함으로써 이를 해결합니다. 이는 일관성을 향상시키지만 샘플링 기여도와 재학습된 사전의 품질을 혼동하게 만듭니다. 본 연구에서는 사전을 고정(freeze)한 상태로 유지하여 샘플링 축만을 분리합니다. 고정된 UNet 호출 예산 내에서 단일 뷰 스텝별 그래디언트를 K개 뷰에 대한 평균으로 대체하는 학습(training)이 필요 없는 샘플러인 다중 뷰 집합 스코어 증류(MV-SDI)를 소개합니다. K개의 뷰를 평균화하면 스텝별 그래디언트 분산이 단일 뷰 값의 1/K 수준으로 감소합니다. K개 뷰를 대척점의 대척쌍(antipodal pairs)으로 추출하는 방식은 추가적인 분산 감소를 제공하지는 않지만(측정된 대척 상관계수 rho 약 0), 각도 범위를 층화(stratify)하여(모든 스텝에서 양쪽 반구를 모두 포함) 독립적인 샘플링에서 발생하는 동일 반구 클러스터링을 제거합니다. 43개 프롬프트(prompt) SDI 벤치마크에서 고정된 10,000회 UNet 호출 예산 기준, K=2일 때 최적화 스텝을 절반으로 줄이면서 단일 뷰 SDI 기준선(baseline) 대비 CLIP R-정밀도(precision)를 74.8%에서 83.8%로, CLIP 점수를 0.297에서 0.312로 끌어올렸으며, HPSv2 및 ImageReward에서도 일관된 성능 향상과 0.0%의 발산율(divergence rate)을 달성했습니다. K=4는 4배의 스텝 감소와 함께 86.9%의 R-정밀도 및 0.307의 CLIP 점수를 달성합니다. 이러한 이점은 단일 뷰 증류가 붕괴되는 난이도 높은 프롬프트에 집중되며, 측정된 CLIP-IQA에서 약간의 비용이 발생합니다. MV-SDI는 역변환 기반 스코어 증류(Score Distillation via Inversion) 및 일반 SDS를 포함한 그래디언트 기반 스코어 증류 파이프라인에 즉시 적용(drop-in) 가능하며, 재학습이나 다중 뷰 데이터를 필요로 하지 않습니다. 코드는 https://github.com/marianlupascu/MV-SDI 에서 이용 가능합니다.
디퓨전 모델(diffusion model)은 자유 형식 인페인팅(free-form inpainting)에서 유망한 결과를 보여왔다. 정제된 디퓨전 샘플러(diffusion sampler)나 새로운 아키텍처 설계에 기반한 최근 연구들은 사실적인 결과와 높은 데이터 일관성을 달성했다. 그러나 기본(vanilla) 디퓨전 과정에서 사용되는 무작위 초기화 시드(노이즈)는 마스킹된 영역에 불일치한 의미 정보(semantic information)를 유입시킬 수 있으며, 이는 편향된 인페인팅 결과, 예를 들어 마스킹되지 않은 다른 영역과의 낮은 일관성 및 낮은 조화성(coherence)으로 이어질 수 있다. 이 문제를 해결하기 위해, 우리는 완전히 학습이 필요 없는(training-free) 접근법인 초기 시드 정제 디퓨전 모델(Initial Seed refined Diffusion Model, IS-Diff)을 제안하며, 이는 분포적으로 조화로운 시드를 결합하여 조화로운 결과를 생성한다. 구체적으로, IS-Diff는 마스킹되지 않은 영역에서 샘플링한 초기 시드를 사용하여 마스킹된 데이터 분포를 모방함으로써, 디퓨전 절차에 유망한 방향을 설정한다. 또한, 중간 잠재(intermediate latent)에서 심각하게 부조화한 인페인팅을 탐지하고 초기화 사전(initialization prior)의 강도를 동적으로 조정하는 동적 선택적 정제(dynamic selective refinement) 메커니즘을 제안한다. 우리는 CelebA-HQ, ImageNet, Places2 데이터셋을 사용하여 표준 및 대형 마스크 인페인팅 작업 모두에서 본 방법을 검증하였으며, 최신(state-of-the-art) 인페인팅 방법들과 비교하여 모든 지표에서 효과성을 입증하였다.
위장 객체 검출(camouflaged object detection)을 위한 CamoDiffusion 프레임워크의 발전된 형태인 Bi-CamoDiffusion을 소개한다. 이 모델(model)은 매개변수(parameter)가 필요 없는 주입 과정을 통해 초기 임베딩(embedding)에 에지 사전 정보(edge priors)를 통합하여 경계의 선명도를 높이고 구조적 모호성을 방지한다. 또한 공간적 정확도, 구조적 제약 조건, 불확실성 지도를 통합하는 최적화(optimization) 목적 함수를 제안하여, 모델이 객체의 전역적 문맥과 복잡한 경계 전이 영역을 모두 포착할 수 있도록 한다. CAMO, COD10K, NC4K 데이터셋(dataset)에 걸친 평가(evaluation)에 따르면 Bi-CamoDiffusion은 기준선(baseline)을 능가하여 얇은 구조와 돌출부를 더욱 선명하게 묘사하는 동시에 오탐(false positive)을 최소화한다. 해당 모델은 $S_m$, $F_β^{w}$, $E_m$, $MAE$를 포함한 모든 평가 지표에서 기존 SOTA(state-of-the-art) 방법들을 일관되게 능가하며, 더욱 정밀한 객체-배경 분리와 선명한 경계 복원 성능을 입증한다. 코드는 https://github.com/plsuarez/Bi-CamoDiffusion 에서 확인할 수 있다.
최근 대규모 벤치마크 데이터셋의 가용성에 힘입어 원격 탐사 영상 해석 분야에서 딥러닝(deep learning)이 주목할 만한 성공을 거두고 있습니다. 그러나 이러한 방대한 학습(training) 데이터에 대한 의존성은 상당한 저장 공간 및 연산 비용을 수반합니다. 이러한 문제를 해결하기 위해, 본 연구에서는 원격 탐사 영상 해석 분야 최초로 데이터셋 증류(dataset distillation) 개념을 도입합니다. 구체적으로, 대규모 원격 탐사 데이터셋을 간결하고 대표성 있는 증류 데이터셋으로 압축하는 확산 기반 생성 증류 프레임워크인 판별적 프로토타입 유도 확산(DPD, discriminative prototype-guided diffusion)을 제안합니다. 합성된 샘플의 의미론적 충실도와 다양성을 개선하기 위해, 잠재 공간(latent space)에서 각 범주별 대표 프로토타입을 추출합니다. 그런 다음 프로토타입 주변에 초구형 의미론적 앵커(hyperspherical semantic anchor)를 구축하여 역방향 디노이징 궤적을 유도합니다. 나아가 생성된 샘플의 판별적 품질을 향상시키기 위해, 각 프로토타입마다 여러 후보를 생성한 뒤 로짓(logit)-마진(margin) 기준을 사용하는 잠재 분류기로 순위를 매겨 가장 판별력이 높은 후보를 최종 증류 데이터셋으로 선택합니다. 세 가지 고해상도 원격 탐사 장면 분류(classification) 벤치마크에 대한 실험을 통해, 제안된 방법이 다운스트림 모델 학습을 위한 현실적이고 다양하며 판별력 있는 샘플을 증류할 수 있음을 입증합니다. 코드와 사전학습 모델은 온라인(https://github.com/YonghaoXu/DPD)에서 확인할 수 있습니다.
망막 레이저 스펙클 대비 영상화(LSCI)는 망막 혈류 역학을 모니터링하기 위한 비침습적 광학 방식입니다. 그러나 기존의 시계열 LSCI(tLSCI) 재구성은 안정적인 시간적 통계를 얻기 위해 충분히 긴 스펙클 시퀀스에 의존하므로, 획득 과정의 외란에 취약하고 유효 시간 해상도가 제한됩니다. 본 논문에서는 움직임에 강건하며 소수의 프레임만을 필요로 하는 망막 tLSCI를 위한 물리 기반 재구성 프레임워크인 RetinaDiff(망막 확산 모델)를 제안합니다. RetinaDiff에서는 대비 계산 전에 위상 상관 기반 정합을 먼저 적용하여 원시 스펙클 시퀀스를 안정화하고 프레임 간 불일치를 줄임으로써 각 픽셀의 변동이 주로 실제 혈류 역학을 반영하도록 합니다. 긴 정합 시퀀스로부터 이 단계는 재구성 타깃으로만 사용되는 고품질 다중 프레임 tLSCI 맵을 생성하는 한편, 소수의 입력 프레임으로부터 움직임이 보정된 대비 사전 분포(prior)를 독립적으로 계산합니다. 다음으로 이 사전 분포의 안내를 받아 조건부 확산 모델(diffusion model)이 정합된 소수 프레임 시퀀스와 사전 분포를 공동 조건으로 삼아 역재구성을 수행합니다. 자체 개발한 망막 LSCI 시스템으로 획득한 안정적인 시퀀스에서 RetinaDiff는 직접적인 5프레임 재구성과 비교하여 SSIM을 0.159에서 0.533으로, PSNR을 14.83에서 18.06 dB로, FID를 211.50에서 111.55로 향상시켰으며, 대표적인 베이스라인 대비 향상된 구조적 연속성과 통계적 안정성을 보여주었습니다. 또한 이 프레임워크는 직접적인 5프레임 입력과 기존 다중 프레임 재구성이 모두 심각하게 저하되는 소수의 극도로 까다로운 사례에서도 유효성을 유지합니다. 전반적으로 본 연구는 극히 제한된 프레임으로부터 신뢰할 수 있는 망막 tLSCI 재구성을 위한 실용적이고 물리적 기반을 갖춘 경로를 제공합니다. 소스 코드와 모델 가중치는 논문 채택 시 공개될 예정입니다.
확산 모델(Diffusion Models, DM)의 급격한 발전은 이미지 및 비디오 응용 분야를 크게 발전시켜 "원하는 것을 그대로 보는 것(what you want is what you see)"을 현실로 만들었습니다. 이 중 비디오 편집은 상당한 주목을 받으며 연구 활동이 급증하고 있어, 기존 문헌에 대한 포괄적이고 체계적인 검토가 필요한 시점입니다. 본 논문은 이론적 토대와 실질적인 응용을 포함한 확산 모델 기반 비디오 편집 기법을 검토합니다. 먼저 수학적 정식화와 이미지 도메인의 주요 방법들을 개괄합니다. 이어서 핵심 기술 간의 고유한 연결성을 바탕으로 비디오 편집 접근법을 분류하여 발전 궤적을 묘사합니다. 또한 본 논문은 포인트 기반 편집과 포즈 유도 인간 비디오 편집을 비롯한 새로운 응용 분야도 다룹니다. 아울러 새로 소개하는 V2VBench를 사용한 종합적인 비교를 제시합니다. 본 논문은 지금까지 달성된 진전을 기반으로, 현재 직면한 과제와 향후 연구를 위한 잠재적 방향을 제시하며 마무리합니다.
인간 행동 인식(HAR)은 헬스케어, 웰빙 및 일상 모니터링 응용 분야에서 중요성이 점점 더 커지고 있으며, 이 중 식사 및 음용과 같은 섭취 행동을 감지하는 것은 식습관과 만성 질환 관리에 대한 실행 가능한 통찰을 제공할 수 있습니다. 그러나 HAR 시스템은 미세하거나 데이터가 부족한 소수 클래스에서 성능이 저하되는 경우가 많아 실제 식단 모니터링에서의 활용성이 제한됩니다. 본 연구는 스마트워치의 가속도계, 자이로스코프, 지자기 센서 데이터로부터 변별력 있는 시간적 패턴을 포착하도록 설계된 양방향 GRU 레이어, 멀티헤드 어텐션, 잔차 연결을 포함하는 합성곱 아키텍처인 CABiGRU를 기반으로 합니다. CABiGRU의 일반화 성능을 향상시키고 소수 클래스의 과소적합을 줄이기 위해, 확산 모델을 사용하여 합성 센서 데이터 윈도우를 활용하고 2단계 학습 전략을 채택합니다. 즉, 합성 데이터로 CABiGRU를 사전학습한 후 실제 데이터로 미세조정을 수행합니다. DEO(음용/식사/기타) 데이터셋에서 제안된 파이프라인은 90.6%의 균형 정확도(balanced accuracy)를 달성하여 강력한 지도학습 기준선 대비 성능을 향상시켰으며, 섭취 행동 인식에 대한 확산 기반 합성 사전학습의 이점을 보여주고 불균형 클래스를 다루는 데 있어 진전을 나타냅니다. 이러한 결과는 확산 모델로 생성된 데이터와 표적화된 미세조정을 결합하는 것이 식습관 행동의 강건한 인식을 향상시켜, 헬스케어 및 영양 모니터링 환경에서 보다 신뢰성 있는 배포를 지원함을 시사합니다.
다음 토큰 예측(next-token prediction)은 매우 유창한 자기회귀적(autoregressive) 언어 모델을 가능하게 했지만, 순차적 분해(sequential factorization)를 통해 전역 구조를 간접적으로만 표현한다. 반면, 고충실도 오토인코더는 이미지 생성 분야에서 표준적인 요소로 자리 잡아 생성 모델이 연속적인 잠재 공간(latent space)에서 동작할 수 있게 해주었지만, 텍스트에는 이에 상응하는 충실한 연속 표현이 존재하지 않는다. 우리는 사전학습된 디코더 전용(decoder-only) 언어 모델의 중간 층(layer) 활성화를 고정 길이 잠재 병목(latent bottleneck)으로 노출시켜 연속 텍스트 오토인코더로 재활용하는 방법인 LLMAE를 제안한다. LLMAE는 구조화된 어텐션 마스크(attention mask)와 LoRA 적응(adaptation)을 통해 이러한 인터페이스를 구현하며, 원본 LLM의 생성적 사전 지식(generative prior)을 활용한다. 두 가지 백본(2억 7천만 파라미터의 Gemma 3와 5억 파라미터의 Qwen2.5)에서 LLMAE는 최대 1024개 토큰 길이의 시퀀스를 높은 정확도로 복원하며, 최대 97%의 문서를 원문 그대로 재현한다. 우리는 고정된(frozen) LLMAE 잠재 공간 내에서 직접 상세한 이미지 캡션을 생성하는 경량 디퓨전 모델(diffusion model)을 학습시켜 다운스트림(downstream) 활용성을 입증한다. 텍스트를 고정 길이의 연속 잠재 공간으로 매핑함으로써, 본 접근법은 원본 LLM의 유창성을 유지하면서도 다운스트림 적응을 위한 효과적인 기반을 제공한다. 코드와 모델은 https://github.com/arkanath/LLMAE 에서 확인할 수 있다.
본 논문에서는 미래 모션 필드(motion field)를 명시적으로 모델링하면서 기존 방식처럼 긴 이력이나 제어 사전 정보(prior)를 요구하지 않고, 단일 이벤트-RGB 쌍으로부터 미래 4D 동적 장면(RGB, 깊이, 광학 흐름)을 생성하는 디퓨전(diffusion) 기반 프레임워크인 UniDynamics를 제안합니다. 핵심 아이디어는 이벤트 스트림을 활용하여 단일 RGB 외삽(extrapolation)을 위한 대안적 모션 사전 정보를 제공하고, 멀티모달 모델링을 통해 생성 전반에 걸쳐 기하학적 및 모션 제약 조건을 강제하는 것입니다. 구체적으로, 이벤트 잠재 표현을 정렬하고 강화하여 디퓨전에 주입 가능한 조건화 피처로 변환하는 이벤트 잠재 강화(ELE, Event Latent Enhancement) 모듈을 설계하여 강건한 초기 모션 사전 정보와 신뢰할 수 있는 텍스처/구조 단서를 제공합니다. 나아가 멀티스케일 U-Net에 임베딩된 지각 동역학 공간(PDS, Perceptual Dynamics Space)을 도입하여 깊이와 흐름을 분리하고 적응적으로 상호작용하도록 하는 동시에 외형 피처에 제약 조건을 지속적으로 피드백함으로써 기하학적-모션 일관성을 향상시켜 물리적으로 타당하고 시공간적으로 일관된 예측을 가능하게 합니다. VKitti2 및 DSEC 데이터셋에 대한 실험은 최첨단(state-of-the-art) 성능을 입증하며, 특히 까다로운 고속 모션 블러 환경에서도 고품질의 시간적으로 일관되고 4D 일관성을 갖춘 미래 예측을 생성함을 보여줍니다.
확산 모델(Diffusion model)은 조영 증강 CT(CECT)를 비조영 CT(NCCT)로부터 합성할 수 있어 조영제 투여와 그에 따른 환경적 비용 및 환자 접근성 비용을 줄일 수 있다. 그러나 시각적으로 사실적인 이미지가 반드시 해부학적으로 정확한 것은 아니며, 생성 품질을 평가하는 데 사용되는 픽셀 강도 및 특징 공간 유사도 지표는 해부학적 정확성을 직접 측정하지 못한다. 본 연구에서는 확산 기반 의료 영상 합성에서 불확실성(uncertainty)이 의미론적 정확성(semantic correctness)의 대리 지표로 기능할 수 있는지 조사한다. 우리는 CECT 영상과 내강 분할(lumen segmentation)을 공동으로 생성하는 멀티태스크 확산 프레임워크인 AortaDiff를 활용하여 NCCT-to-CECT 합성을 연구한다. 분할 출력은 생성된 혈관 해부학에 대한 명시적 표현을 제공하여 분할 기반 오차를 생성 정확성의 정량적 척도로 사용할 수 있게 한다. 가중치(Ensemble, HyperDiff, BayesDiff), 아키텍처 섭동(MCDropout), 생성 확률성(RDS), 입력 섭동(TTA) 불확실성을 아우르는 6가지 방법을 픽셀, 영역, 이미지 수준에서 비교하고, 임상적으로 유의미한 분포 외(OOD) 케이스 탐지에 대해 평가한다. 불확실성은 세 가지 공간적 척도 모두에서 유의미한 정보를 제공하며, 분포 이동(distribution shift)이 존재하는 외부 다기관 데이터셋에서도 유효성을 유지하고 OOD 탐지를 지원함을 확인했다. 특히 6가지 방법 중 MCDropout이 두드러졌다. 모든 척도에서 선도적인 방법 중 하나로 평가받았으며, 외부 데이터셋에서도 우수한 일반화 성능을 보였고, 이미 드롭아웃으로 학습된 모든 모델에서 추론 시 바로 활성화할 수 있어 추가적인 학습 비용 없이 신뢰할 수 있는 불확실성을 제공한다. 불확실성은 심각한 실패 사례를 신뢰성 있게 감지하지만, 이미 고품질인 이미지들 사이에서는 구별력이 떨어진다. 이러한 발견은 불확실성이 NCCT-to-CECT 합성에서 품질 필터링, 신뢰성 평가 및 OOD 탐지를 위한 실용적이고 계산 효율적인 신호로 활용될 수 있음을 뒷받침한다.
확산 모델(Diffusion models)은 이미지 및 비디오 생성 분야에서 상당한 성공을 거두었습니다. 이는 제공된 텍스트 설명에 따라 비디오를 편집하는 비디오 편집 태스크에 대한 관심 증대로 이어지고 있습니다. 그러나 기존 접근 방식 대부분은 짧은 클립의 비디오 편집에만 초점을 맞추고 있으며, 시간이 많이 소요되는 튜닝이나 추론(inference)에 의존합니다. 본 논문에서는 광범위한 비디오 태스크를 위해 설계된 통합 파운데이션 모델(foundation model)인 Video Instruction Diffusion(VIDiff)을 최초로 제안합니다. 이러한 태스크에는 언어 유도 비디오 객체 분할(language-guided video object segmentation)과 같은 이해 태스크와 비디오 편집 및 향상과 같은 생성 태스크가 모두 포함됩니다. 본 모델(model)은 사용자 지시어에 기반하여 원하는 결과를 수 초 내에 편집하고 변환할 수 있습니다. 또한, 긴 비디오의 편집 및 향상 과정에서 일관성을 보장하기 위해 반복적인 자기회귀(auto-regressive) 방식을 설계했습니다. 정성적 및 정량적 평가를 통해 다양한 입력 비디오와 작성된 지시어에 대한 신뢰할 만한 생성 결과를 제시합니다. 더 많은 예시는 웹사이트 https://ChenHsing.github.io/VIDiff 에서 확인할 수 있습니다.
사전학습된 생성 모델을 효용 함수로 표현되는 임의의 선호도에 적응시키는 것은 보상 정렬(reward alignment), 유도 설계(guided design), 제약 조건 충족의 기초가 되며 다양한 응용을 가능하게 합니다. 기존의 미세조정(fine-tuning) 방법들은 범용성과 계산 비용 간의 트레이드오프를 겪습니다. 즉, 최적화를 단순하게 유지하기 위해 지원되는 선호도 군을 제한하거나, 효율성을 희생하면서 범용성을 유지합니다. 본 논문에서는 효용 최적화와 생성 모델 피팅을 분리하는 펜첼 틸트 흐름 제어(Fenchel Tilt Flow Control, FTFC)를 제안합니다. FTFC는 먼저 사전학습된 샘플에 대해 유효 보상과 밀도비 가중치를 공동으로 피팅하여 목표 분포에 대해 최적화합니다. 이 방법은 효용의 변분 구조와 펜첼 쌍대성(Fenchel duality)을 결합하여, 보상이 분포 보정 가중치로 변환되는 방식을 결정하는 일반적인 $f$-다이버전스 페널티를 지원합니다. 그런 다음 이러한 가중치를 고정하고, 샘플링 궤적을 통한 미분 없이 단일 단계의 중요도 가중치 디노이징 또는 플로우 매칭에서 확산 또는 플로우 모델을 수정하는 데 사용합니다. 우리는 적절한 조건에서 오목 효용에 대한 정확한 쌍대성을 규명하고, 가중 피팅이 주어진 효용에 대한 최적의 목표 분포를 재현함을 보입니다. 이미지 및 분자 생성 벤치마크 전반에 걸쳐 FTFC는 다양한 선호도 함수에서 베이스라인 대비 성능을 향상시키는 동시에 최대 20배 더 효율적입니다. 제안된 방법은 복잡한 최적화 없이 기대 보상 극대화를 넘어선 적응을 가능하게 하며, 베이스라인과 비교하여 더 일반적인 효용 함수 군에 대한 견고성을 유지합니다.
표현 정렬(REPA, Representation alignment)은 디퓨전 트랜스포머 학습을 가속화하지만, 그 정렬 대상은 거의 전적으로 DINOv2나 CLIP과 같은 시맨틱 인코더에 한정되어 있다. 최근 분석에 따르면 정렬 효과를 매개하는 것은 전역적 시맨틱이 아니라 공간 구조(spatial structure)이지만, 그러한 구조를 예측하도록 학습된 밀집 예측(dense-prediction) 파운데이션 모델은 REPA 대상으로서 여전히 간과되고 있다. 픽셀 공간 디퓨전에서 SAM2, Depth Anything v2, Metric3D v2는 각각 DINOv2만을 사용한 GenEval 기준선을 능가하며, 두 기하학적(geometric) 교사 모델이 분할(segmentation) 교사 모델을 앞선다. 그러나 네 교사 모델을 단순히 합산하면 시맨틱 그래디언트와 기하학적 그래디언트가 하나의 디노이저 프로젝션을 두고 경쟁하게 되어, 최고의 단일 기하학적 교사 모델보다 낮은 성능을 보인다. 우리는 DINOv2와 SAM2를 시맨틱 프로젝션 스트림으로, Depth Anything v2와 Metric3D v2를 기하학적 프로젝션 스트림으로 각각 라우팅하고, 두 스트림을 서로 겹치지 않는(disjoint) 부분공간에 유지하는 가중치 공간 직교성(orthogonality) 페널티를 추가한 PixelDense를 제안한다. 네 교사 모델은 모두 학습 중에는 고정(frozen)되고 추론 시에는 제거된다. 단일 레시피로 PixelGen과 DeCo에 적용한 결과, PixelDense는 GenEval, DPG-Bench, HPS v2.1을 향상시키고, PixelGen-XXL의 GenEval Overall을 0.7927에서 0.8093으로 끌어올리며, 모든 단일 교사 모델 변형과 비분리형(unfactored) 다중 교사 모델 변형을 능가한다. 부분 노이즈(partial-noise) 복원 실험에서, 독립적인 panoptic, depth, surface-normal 프로브는 COCO와 Flickr30K 전반에 걸쳐 τ=0.5에서 최대 53.1%의 PQ 향상과 36.0%의 depth AbsRel 감소를 보인다. 무작위 초기화(random initialization)에서 시작했을 때도 PixelDense는 기준선의 최고 GenEval 성능에 1.23배 더 빠르게 도달한다. PIE-Bench에서의 SDEdit 편집 실험에서, PixelDense는 모든 편집 강도에서 원본의 배경과 레이아웃을 더 많이 유지하며, 배경 PSNR을 최대 2.2 dB까지 향상시킨다.
자기회귀 비디오 확산 모델에서 생성된 잠재 벡터를 인과적 컨텍스트로 반복 재사용할 때 발생하는 깜박임·모션 지터·구조적 드리프트 문제를 스펙트럴 기구학 관점에서 분석하고, 이산 잠재 가속도(discrete latent acceleration)가 불안정한 고주파 시간적 섭동을 드러내는 핵심 신호임을 규명한다. 이를 바탕으로 유한 윈도우 Slepian 투영 기반 가속도 도메인 스펙트럴 가이던스와 구조적 노이즈 초기화를 결합한 학습 불필요(training-free) 방법인 SAGA를 제안하며, Self-Forcing에서 Temporal Quality 97.30→97.91, Image Quality 69.60→70.51로 개선함을 실험적으로 입증한다.
이벤트 기반 장면 합성(event-based scene synthesis)은 희소한 이미지 관측값과 비동기 이벤트 스트림으로부터 목표 RGB 프레임을 복원하는 것으로, 비디오 프레임 예측과 보간을 모두 포괄한다. 기존의 이벤트 기반 합성 방법들은 일반적으로 광학 흐름(optical flow)을 추정하여 관측된 프레임을 목표 시점으로 워핑(warp)하지만, 큰 움직임과 가림(occlusion)이 있을 때 부정확한 흐름에 취약하며 흐름 지도 학습(flow supervision)이나 사전학습된 추정기에 의존하는 경우가 많다. 본 연구에서는 프레임 간 잔차 정렬(inter-frame residual alignment)에 기반한 이벤트 기반 장면 합성 프레임워크인 EvFRA를 제안한다. 우리는 이벤트 측정값과 프레임 간 장면 변화 사이의 구조적 대응 관계를 발견하고, 이를 목표 프레임 합성에 활용한다. 우리의 학습 파이프라인은 두 단계로 구성된다: 1) 이벤트-잔차 정렬 변분 오토인코더(Event-to-Residual Alignment Variational Autoencoder, ER-VAE)는 앵커 프레임과 목표 프레임 사이에 포착된 이벤트 프레임을 해당하는 프레임 간 잔차와 정렬시키고, 2) ControlNet 조건부 디퓨전 모델을 파인튜닝하여 이벤트 데이터를 사용해 잔차 잠재 표현(residual latent)을 디노이징한다. 우리의 방법은 프레임 예측과 보간에서 각각 최대 2.61 dB와 1.85 dB의 PSNR로 최신 기법들을 능가하며, SSIM에서도 일관된 향상을 보인다. 코드는 https://github.com/jiyun-kong/EvFRA 에서 확인할 수 있다.
일반화된 랑주뱅 방정식(Generalized Langevin equation)은 분해된 변수(resolved variable)의 진화가 과거에 의존하는 비마르코프 역학(non-Markovian dynamics)을 설명합니다. 본 연구에서는 메모리 커널(memory kernel)을 식별하거나 미분해 변수(unresolved variable)를 재구성하지 않고도, 관측된 궤적으로부터 이러한 역학의 확률적 흐름 맵(stochastic flow map)을 학습하기 위한 메모리 조건부 확산 기법을 제안합니다. 컴팩트하고 재귀적으로 업데이트되는 지수 필터 뱅크(bank of exponential filters)를 통해 흐름 맵은 긴 관측 윈도우에 조건을 부여하지 않고도 여러 시간 척도에 걸쳐 예측 이력을 유지할 수 있습니다. 다음 단계 분포는 현재 관측값과 이 메모리 상태를 조건으로 하며, 고정된 뱅크 크기에서 메모리 상태의 저장 및 업데이트 비용은 이력 길이와 무관합니다. 예측 기준을 통해 메모리 예산을 결정하고 벡터 벤치마크에서는 참조 지원 선택을 활용하며, 선택적 선형 투영을 통해 조건부 차원을 더욱 축소합니다. 커널 기반 스코어 추정기는 스코어 네트워크를 학습(training)시키지 않고도 조건부 샘플을 생성하며, 이 샘플들은 자기회귀 시뮬레이션을 위한 신경 흐름 맵을 학습하는 데 사용됩니다. 세 가지 수치 예제를 통해 작은 조건부 차원에서의 긴 메모리 유지력, 결합된 벡터 역학에서의 예측 압축, 비가우스 조건부 분포 및 간헐적 이벤트를 평가(evaluation)합니다. 비가우스 예제는 플라스마 스크레이프-오프 층(plasma scrape-off layer)의 확률적 모델에서 조건부 비대칭성과 버스트 통계를 재현합니다.
듀얼 카메라 간의 디지털 줌 전환은 기하학적 구조와 색상 일관성에서 눈에 띄는 불연속성을 자주 드러내어 사용자 경험을 저하시킵니다. 최근의 듀얼 카메라 부드러운 줌(dual-camera smooth zoom, DCSZ) 방법들은 DCSZ 데이터에 프레임 보간(frame interpolation, FI) 모델을 미세조정(fine-tuning)하여 이를 완화하고자 하지만, 큰 시점 간 시차(cross-view disparities)와 복잡한 기하학적 변환으로 인해 어려움을 겪습니다. 확산 모델(diffusion model)의 생성적 사전확률(generative prior)이 이 문제를 해결하는 데 적합하다는 점을 고려하여, 본 연구에서는 이를 DCSZ에 적용하는 방안을 탐색합니다. 그러나 기존의 확산 기반 FI 모델을 단순 적용하는 것은 불충분한 조건부 안내(conditional guidance), VAE 인코딩 중의 고주파 정보 손실(loss), 부적절한 시간적 일관성으로 인해 여전히 낮은 충실도의 전환을 생성합니다. 이를 해결하기 위해, 잠재 공간과 픽셀 공간 모두에서 듀얼 카메라 입력을 활용하여 사실적인 전환을 제공하는 고충실도 확산 모델인 ZoomDiff를 제안합니다. 구체적으로, 먼저 기하학적 일관성을 개선하기 위해 다단계 디노이징(denoising) 과정에서 듀얼 이미지 조건부 안내를 강화합니다. 그런 다음 고주파 세부 정보를 복원하기 위해 VAE 인코더의 플로우 정렬(flow-aligned) 다중 스케일 특징을 VAE 디코더에 주입하며, 이때 더욱 매끄러운 전환을 생성하기 위한 플로우 유도 시간적 일관성 감독(supervision)을 도입합니다. 합성 데이터셋과 실제 데이터셋 모두에 대한 광범위한 실험을 통해 ZoomDiff가 정량적 및 정성적 측면에서 최첨단(state-of-the-art) 방법들을 능가함을 입증합니다. 프로젝트 페이지: https://jiayi-hit.github.io/ZoomDiff.github.io/.
전자현미경은 나노 스케일의 세포 시각화를 가능하게 하지만, 이미징 해상도와 획득 속도 사이의 트레이드오프에 직면한다. 기존 학습 기반 방법은 단일 스트림 아키텍처에 의존하며, 지각적 현실감과 정량적 충실도 사이의 균형을 맞추는 데 어려움을 겪어, 세부를 과도하게 평활화하거나 비현실적인 환각을 생성한다. 본 연구는 이 갈등을 해결하기 위해 주파수 적응형 이중 스트림 아키텍처를 제안한다. 이산 웨이블릿 변환(discrete wavelet transform)을 사용하여 이미지를 저주파 구조와 고주파 세부로 분해한 다음, 현실적인 전역 합성을 위해 조건부 확산 모델(conditional diffusion model)을, 정밀한 세부 복원을 위해 트랜스포머 네트워크를 사용한다. EMDiffuse 데이터셋에서의 실험은 본 방법이 우수한 LPIPS와 resolution ratio를 달성하며, 기존 접근법을 크게 능가함을 보여준다. 본 방법은 또한 다양한 생물학적 샘플에 걸쳐 강한 일반화를 보이며, 구조 생물학 및 나노기술 응용을 위한 빠르고 신뢰할 수 있는 전자현미경 이미징을 지원한다. 소스 코드와 관련 데이터셋은 추가 연구를 촉진하기 위해 공개적으로 제공된다.