본 논문에서는 토큰 시간 연속 확산(token time continuous diffusion, TTCD)을 소개한다. TTCD는 (a) 연속 공간에서 동작하며, 가우시안 노이즈를 최종 토큰 캔버스(token canvas)로 결정론적으로 매핑하고 추가 샘플링 없이 완료하는 새로운 확산 언어 모델이며, 중요하게도 (b) 토큰별 시간(per-token times)이라는 새로운 개념을 도입하여, 일부 토큰은 다른 토큰보다 더 빠른 속도로 노이즈에서 토큰으로 진행한다. 연속 공간 모델링은 TTCD가 여러 토큰의 병렬 샘플링을 피하도록 돕는다. 이는 순수하게 이산 공간에서만 반복하는 모델들이 높은 가속(speedup)에서 겪는 부정확성의 주요 원인이다. 토큰별 시간 개념은 TTCD가 조건부 생성(conditional generation)을 더 잘 모델링하도록 돕고, 더 확실한 토큰이 더 빠른 속도로 진행할 수 있게 하며, 정제(refinement) 과정에서 토큰 간 영향을 차별화할 수 있게 한다. TTCD는 높은 가속에서 이산 모델보다 우수한 성능을 보인다. OpenWebText에서 160M 매개변수 TTCD 모델을 학습한 뒤 자기 지식 증류(self-distill)를 수행했으며, 높은 가속에서 무조건부 생성 품질은 동일 데이터에서 학습하고 자기 지식 증류를 적용한 유사 크기의 기존 모델들과 비슷한 수준이고, 조건부 생성에서는 이들을 능가함을 확인했다. 수도쿠(Sudoku) 풀이에서도 유사한 성능 향상을 달성했다.
인과 추론은 운영 및 관리 의사결정을 이끌지만, 고차원 패널 또는 텐서 설정에서는 여전히 어렵고, 이때 의사결정은 누락된 통제(control) 결과의 결합 조건부 분포에 의존할 수 있다. 본 연구는 처리(treatment) 마스크와 잠재 Tucker 구조를 조건부 확산에 통합하여, 관측된 통제 결과가 주어졌을 때 저차원 코어에서의 효율적인 비선형 score 학습을 통해 이 분포를 복구하는 Counterfactual Tucker Diffusion(CFTDiff)를 제안한다. 마스킹된 Tucker score는 텐서 모드 간 의존성을 유지하면서, 비선형 score 학습의 차원을 모드 차원의 곱에서 Tucker rank의 곱이라는 훨씬 작은 규모로 줄인다. Tucker rank, 최대 모드 차원, 요인 강도(factor-strength)로 조정된 누락 결과 수에 의존하는 조건부 score 추정의 고확률(high-probability) 오차 상계를 확립하고, 이 상계가 누락된 통제 결과의 조건부 분포 복구 보장으로 어떻게 이어지는지 보인다. 다양한 누락률에서의 시뮬레이션은 일반적인 인과 패널 및 행렬/텐서 completion 방법보다 더 정확한 점(point) 복구를 보여 주며, 중첩 확산 명세와의 비교는 마스킹 조건화와 Tucker 차원 축소의 이득을 추가로 뒷받침한다. 노르웨이 iFlex 실험에서 CFTDiff는 경쟁 방법보다 누락 결과를 더 정확하게 복구한다. 인과 분석에 적용하면 추정된 조건부 분포로부터 반사실(counterfactual) 예측 구간과 목표 달성 확률을 얻을 수 있어, 가격 개입을 수요 감소 규모와 신뢰성(reliability) 측면에서 평가할 수 있다.
피드포워드 3D Gaussian Splatting(3DGS)은 장면별 최적화 없이 확장 가능한 장면 재구성을 가능하게 하지만, 저장 및 전송 비용이 큰 밀집된 가우시안을 생성한다. 기존 피드포워드 가우시안 압축 방법들은 디코딩을 결정론적 표현 복원으로 공식화하는데, 이는 낮은 비트레이트에서 고주파 텍스처와 시점 의존적 외관이 버려질 때 부적절해진다. 생성 모델이 유망한 대안을 제공하지만, 이를 독립적인 후처리로 사용하면 생성이 전송된 장면 구조와 분리되어 시점 간 일관성을 훼손한다. 이러한 한계를 해결하기 위해, 우리는 저비트레이트 가우시안 압축을 기하학 유도 생성 디코딩으로 재공식화하는 통합 피드포워드 가우시안 코덱인 GenSplatCodec을 제안한다. 우리는 이중 스트림 공식화 내에서 세부 인식 피드포워드 가우시안 코딩 방식을 제시하며, 여기서 결과로 얻어진 컴팩트한 가우시안 구조 스트림은 경량 참조 외관 스트림으로 보완된다. 또한 계층적 기하학 제어를 통해 디코딩된 구조 및 외관 단서를 공동으로 활용하여 고충실도이면서 시점 일관적인 novel view를 재구성하는 기하학 유도 원스텝 생성 디코딩 접근법을 도입한다. 마지막으로, 통합 코덱의 학습을 안정화하고 생성 디코더가 코덱에서 파생된 구조 및 외관 단서에 적응하도록 하는 3단계 최적화 전략을 개발한다. 다수의 데이터셋에 걸친 광범위한 실험을 통해 GenSplatCodec이 기존 방법들보다 일관되게 우수한 rate-distortion(RD) 성능을 달성함을 보여준다.
도전적인 환경에서 촬영된 이미지는 노이즈, 색상 왜곡, 흐림, 빛 산란 등 다양한 유형의 열화를 겪는 경우가 많다. 이러한 문제는 이미지 품질을 크게 저하시켜 객체 검출, 매핑, 분류와 같은 다운스트림 작업에서의 유용성을 줄인다. 본 연구에서는 이미지 복원 과제를 해결하고 열화된 이미지의 품질을 향상시키기 위해 트랜스포머 기반 확산 모델을 개발하였다. 제안 방법론은 수중 향상, 디노이징, 디레이닝을 포함한 세 가지 주요 이미지 복원 작업에 대해 다섯 개의 표준 벤치마크를 활용하여 평가되었으며, 네 가지 평가 지표를 사용하여 18개의 최신 기법과 비교하였다. 결과는 확산 모델이 트랜스포머와 결합되었을 때 기존 방법들을 능가함을 보여준다. 이러한 결과는 확산 모델과 트랜스포머가 열화된 이미지 품질을 개선하는 데 효과적임을 강조하며, 고충실도 시각 데이터를 요구하는 다운스트림 작업에서의 적용 범위를 넓혀준다.
AudioLDM과 같은 확산 기반 텍스트-투-오디오 생성 모델은 높은 지각 품질과 강한 의미적 일관성을 달성하지만, U-Net 디노이징(denoising) 백본의 상당한 계산 비용으로 인해 실용적 배포가 어렵다. 본 연구에서는 U-Net 기반 텍스트 조건부 오디오 잠재 확산 모델인 AudioLDM의 계산 효율성을 높이기 위해 모델 가지치기(model pruning)를 적용한다. U-Net 합성곱 블록 전반의 매개변수(parameter) 중복을 분석하고 필터 가지치기(filter-pruning) 전략을 평가한다. 가지치기는 노름 기반 기준에 따라 수행되며, 성능 저하를 회복하기 위해 경량 파인튜닝(fine-tuning)이 이어진다. 실험 결과, U-Net의 매개변수를 최대 83%, 곱-누산 연산(multiply-accumulate operations)을 39%까지 줄였음에도 가지치기하지 않은 기준선(baseline) 네트워크와 비교해 생성 품질을 유지했으며 일부 경우에는 개선되었다. 가지치기는 총성, 사이렌, 폭발과 같은 안전에 중요한(safety-critical) 소리를 비롯해 드릴, 재봉틀과 같은 기계음, 분사음, 똑딱거리는 소리 등 특정 사운드 이벤트 생성 능력에 영향을 미치는 것으로 나타났으며, 이러한 영향은 대부분 가지치기된 모델의 경량 파인튜닝으로 회복되었다.
본 논문은 비동기 시계열 예측을 위한 확산 기반 모델을 제시하며, 목표는 다음 사건 간 시간(inter-event time)과 사건 유형을 예측하는 것이다. 미래 사건의 고유한 불확실성을 다루기 위해, 잠재 공간(latent space)에서 동작하는 검색-증강 조건부 확산 트랜스포머인 ReDiTT를 제안한다. ReDiTT는 학습과 추론 모두에서 메모리 뱅크로부터 구조적으로 유사한 잠재 시퀀스를 검색하고, 크로스 어텐션(cross attention)을 통해 이를 참조 조건으로 통합한다. 이러한 검색 기반 조건화는 모델이 관련 시간적 역학에 어텐션할 수 있게 하며, 생성에 대한 전역적 구조적 안내를 제공한다. 그 결과 ReDiTT는 장기 예측(long horizon forecasting)을 안정화하고 샘플 다양성을 향상시킨다. 7개의 실제 데이터셋에 대한 실험은 다음 사건 예측 및 장기 예측에서 최첨단(state-of-the-art) 성능을 보여준다. 코드는 https://github.com/BorealisAI/ReDiTT 에서 이용할 수 있다.
PACR-Video는 텍스트-투-비디오 확산 트랜스포머를 동결한 채 저순위 시간적 어댑터와 재귀적 프롬프트 뱅크를 활용해 개체·장면·스타일의 일관성을 유지하며 다중 샷 장편 비디오를 외삽하는 파라미터 효율적 프레임워크다. 6개 벤치마크에서 튜닝 기반·메모리 증강·재귀적 컨텍스트 기반 베이스라인 대비 분포적 품질, 동일성 일관성, 시간적 매끄러움 등 전 지표에서 우수한 성능을 달성했다.
NAMD(Nodule-Aligned Multimodal Diffusion)는 기준선 LDCT 스캔과 정량적 결절 바이오마커, 전자건강기록(EHR)을 조건으로 1년 후 추적 CT 영상을 생성하는 잠재 확산 모델로, 실제 추적 촬영 없이 폐 결절의 악성 진행을 예측한다. NLST 데이터셋 평가에서 AUROC 0.805, AUPRC 0.346을 달성하며 기존 조건부 생성 방법보다 우수한 악성도 예측 성능을 보였다.
이산 확산 언어 모델(discrete diffusion language models, dLLM)은 마스킹된 토큰을 병렬로 복원하여 자기회귀(autoregressive, AR) 생성 대비 상당한 속도 향상을 제공한다. 그러나 이러한 유망한 프레임워크는 근본적인 아키텍처 설계 딜레마에 직면한다: ① 양방향 어텐션을 채택하면 각 위치가 전체 문맥에 접근할 수 있어 생성 품질이 우수해지지만, 본질적으로 KV 캐싱과 호환되지 않아 배치 서빙 시나리오에서 추론 처리량을 제한한다; ② 반면 인과(causal) 어텐션은 효율적인 캐시 기반 추론을 가능하게 하지만 우측 문맥을 모두 잃어 생성 품질이 크게 저하된다. 본 논문은 비대칭 양방향 문맥(asymmetric bidirectional context)을 통해 이 딜레마를 해소하는 새로운 패러다임인 Bifocal dLLM을 제안한다. 양초점 렌즈에 비유하듯, 우리는 이 패러다임을 R2LM(Right-to-Left Mamba)으로 구현하며, 두 가지 상보적 메커니즘을 결합한다: a) 전체 KV 캐시 호환성을 갖춘 정밀한 좌측 문맥을 제공하는 표준 인과 어텐션, b) 캐시 가능성을 깨뜨리지 않고 압축된 우측 문맥을 공급하는 경량 역방향 Mamba SSM 사이드카. Qwen3-1.7B에 600억 토큰으로 지속 사전학습(continued pretraining)을 수행한 포괄적 실험에서, R2LM은 KV 캐싱을 활용한 병렬 디코딩을 통해 배치 서빙에서 양방향 dLLM 대비 2.4~12.9배, AR 기준선 대비 1.9~2.9배의 처리량을 달성하며, 대부분의 벤치마크에서 인과 기준선을 능가하고 평균적으로 양방향 dLLM을 상회함을 보여준다.
실제 환경에서의 객체 제거는 두 가지 핵심 어려움으로 인해 도전적이다. 하나는 그림자와 반사와 같이 모델링하기 어려운 대상 객체의 비국소적(non-local) 효과이고, 다른 하나는 사용자가 제공한 마스크가 종종 부정확하거나 불완전하다는 점이다. 수십억 개의 파라미터와 수십 번의 디노이징(denoising) 단계를 거치는 확산 기반 모델은 상당한 계산 비용을 대가로 강력한 제거 성능을 달성하지만, 이는 상호작용 애플리케이션과 엣지 디바이스에서의 사용을 제한한다. 이러한 과제를 해결하기 위해, 우리는 효율적이고 효과 인식적이며 마스크에 강건한(mask-robust) 객체 제거를 동시에 달성하는 OSOR(One-Step Object Removal)를 제안한다. 구체적으로 OSOR는 다음을 도입한다: (1) 정밀한 경계 감독을 위한 점유율 유도(occupancy-guided) 판별기로, 안정적인 원스텝 확산 학습을 가능하게 한다; (2) 사전학습(pre-training)된 확산 모델의 지식을 활용하여 최소한의 오버헤드로 적절한 제거 영역을 예측하고, 이를 통해 불완전한 마스크를 처리하는 알파 헤드(alpha head); (3) 노이즈가 많은 instruction 기반 트리플릿을 필터링하여 대규모로 효과 인식 감독을 생성하는 의미 기반 검증 파이프라인(SAVP, semantic-anchored verification pipeline). SAVP를 사용하여 280K개의 검증된 제거 쌍을 포함하는 CORNE를 구축하고, 더 복잡한 제거 과제에서의 성능을 평가하기 위해 AnimeEraseBench와 TextEraseBench를 추가로 주석 처리한다. 실험 결과 OSOR는 지각 품질(perceptual quality)에서 강력한 다단계 확산 기준선(baseline)을 능가하면서, $4\times$에서 $30\times$ 더 빠른 추론을 달성한다.
통합 패션 생성은 가상 착용(virtual try-on) 및 의류 재구성(garment reconstruction)과 같은 과제를 단일 모델로 통합하여 과제별 적응 비용을 줄인다. 그러나 의미적으로 구별되는 과제 간 단순한 매개변수 공유는 심각한 과제 간 그래디언트 충돌을 통해 부정적 전이를 유발한다. 우리는 공유 Low-Rank Adaptation(LoRA) 모듈 내에서 이러한 간섭을 완화하는 통합 프레임워크 OrthoTryOn을 제안한다. Orthogonal Subspace Projection(OSP)은 과제별 직교 회전을 병목 특징에 적용하여, 이를 상관이 제거된 좌표계로 매핑한다. 추론 시점에 남아 있는 잔여 의미적 결합을 해결하기 위해, 대각 Fisher 정보를 활용해 과제 간 민감도 중첩을 정량화하고 Classifier-Free Guidance를 통해 생성 궤적을 가장 혼동되기 쉬운 과제로부터 명시적으로 밀어내는 매개변수 없는 전략인 Fisher-guided Negative Guidance(FNG)를 추가로 제안한다. 광범위한 실험 결과, OrthoTryOn은 단순 통합 학습에서 흔히 나타나는 심각한 성능 저하를 피할 뿐 아니라 독립적으로 학습된 과제별 모델을 능가하여, 다양한 diffusion 백본에 걸쳐 강건하게 일반화하면서 여러 벤치마크에서 최첨단 결과를 달성한다. 코드는 https://github.com/NJU-PCALab/OrthoTryOn 에서 확인할 수 있다.
레이저 유도 파괴 분광법(LIBS)은 스펙트럼 노이즈와 데이터 부족으로 인해 퓨샷(few-shot) 시나리오에서 고정밀 정량 측정에 어려움을 겪는다. 전통적인 전처리 방법은 미묘한 스펙트럼 특징을 보존하거나 비선형 상관관계를 포착하는 데 종종 실패한다. 본 연구는 확산 기반 노이즈 제거, 차원 축소를 위한 어텐션 기반 오토인코더, 그룹 셔플링 데이터 증강, 및 최소자승 회귀를 통합한 표준화 처리 파이프라인을 제안한다. 확산 모듈은 3D UNet 아키텍처를 활용하여 필수 방출 특징을 보존하면서 스펙트럼 노이즈를 제거한다. 어텐션-오토인코더는 비선형 스펙트럼 상관관계를 포착하여 고차원 스펙트럼 데이터를 압축된 잠재 표현으로 효과적으로 축소한다. 그룹 셔플링 데이터 증강은 특징 그룹 순열을 통해 합성 샘플을 생성함으로써 모델 견고성을 향상시킨다. 여러 원소 농도에 대한 실험 결과, 제안된 Diffusion-DA-AE 파이프라인은 평균 RMAE 0.2847을 달성하여 기준선 오토인코더 및 전통적인 PCA-PLS 회귀 대비 각각 37.7%와 37.6%의 성능 향상을 나타냈다. 프레임워크의 효과성은 범용성을 입증하며 퓨샷 LIBS 회귀에 대한 새로운 벤치마크를 확립한다.
임의 스케일 이미지 초해상도(ASISR)는 연속적인 업스케일링 배율 범위에서 저해상도 입력으로부터 고해상도 이미지를 재구성하는 것을 목표로 한다. 전통적인 픽셀 회귀 방식은 종종 과도하게 매끄러운 결과를 생성하여 사실적인 디테일이 부족하지만, 최근 확산 방법은 더 선명하고 사실적인 텍스처를 생성할 수 있다. 그러나 이러한 확산 기법은 구조적 환각 위험을 자주 유발한다. 이 문제를 해결하기 위해 우리는 충실도 및 지각 인식 지역 암시적 어텐션(FPLIA)을 제안한다. FPLIA는 확산 파이프라인에 충실도 지향 특징을 효과적으로 통합하여 ASISR에 대해 사실적이면서 충실한 재구성을 생성하는 프레임워크이다. 우리는 표현력을 향상시키기 위해 충실도 지향 및 지각 특징에 self-attention과 cross-attention을 모두 적용하는 충실도 및 지각 어텐션 모듈(FPAM)을 도입한다. 이들의 상호 보완성을 더욱 활용하기 위해 RGB 값 예측을 위해 가장 대표적인 특징을 적응적으로 선택하는 충실도 및 지각 선택 모듈(FPSM)을 설계한다. 우리는 이러한 구성 요소의 효과를 검증하기 위해 광범위한 실험을 수행한다. 정성적 및 정량적 결과 모두 FPLIA가 표준 ASISR 벤치마크에서 재구성 정확도를 유지하면서 우수한 지각적 사실성을 제공함을 보여준다. 소스 코드는 다음 저장소에서 이용할 수 있다: https://github.com/XUSean0118/FPLIA.
오프라인 다중 에이전트 강화학습(Offline MARL)을 위해 확산 모델(diffusion model)을 정책 네트워크에 통합하고 궤적 기반 데이터 재가중치 기법을 적용한 DOM2를 소개한다. 해당 방법은 기존 최첨단 방법론 대비 환경 변화에 대한 강건성, 일반화 성능, 그리고 데이터 효율성을 획기적으로 개선했다.