arXiv:2503.20825

Debiasing Kernel-Based Generative Models

Tian Qin, Wei-Min Huang

제출 2025-03-26

원문 초록

We propose a novel two-stage framework of generative models named Debiasing Kernel-Based Generative Models (DKGM) with the insights from kernel density estimation (KDE) and stochastic approximation. In the first stage of DKGM, we employ KDE to bypass the obstacles in estimating the density of data without losing too much image quality. One characteristic of KDE is oversmoothing, which makes the generated image blurry. Therefore, in the second stage, we formulate the process of reducing the blurriness of images as a statistical debiasing problem and develop a novel iterative algorithm to improve image quality, which is inspired by the stochastic approximation. Extensive experiments illustrate that the image quality of DKGM on CIFAR10 is comparable to state-of-the-art models such as diffusion models and GAN models. The performance of DKGM on CelebA 128x128 and LSUN (Church) 128x128 is also competitive. We conduct extra experiments to exploit how the bandwidth in KDE affects the sample diversity and debiasing effect of DKGM. The connections between DKGM and score-based models are also discussed.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2505.23527v4cs.LG공통 태그 Density Estimation공식 코드 · Papers with Code

정규화 흐름은 연속 제어에 유능한 모델이다

Normalizing Flows are Capable Models for Continuous Control

현대 강화학습(RL) 알고리즘은 트랜스포머, 에너지 기반 모델, diffusion/flow 기반 모델과 같은 강력한 확률 모델을 활용함으로써 성공을 거두었다. 이를 위해 RL 연구자들은 이러한 모델을 알고리즘에 맞추는 대가를 자주 감수한다. diffusion 모델은 표현력이 뛰어나지만 미분 방정식을 풀어야 한다는 점 때문에 계산 비용이 크고, autoregressive 트랜스포머 모델은 확장성은 있지만 일반적으로 이산 표현을 학습해야 한다. 반면 정규화 흐름(NF)은 미분 방정식을 풀거나 autoregressive 아키텍처 없이도 우도와 샘플링을 가능하게 하므로 매력적인 대안으로 보인다. 그러나 RL에서의 잠재력은 정규화 흐름이 충분한 표현력을 갖추지 못한다는 지배적인 믿음 때문인지 제한적인 주목만 받아왔다. 우리는 그렇지 않음을 보인다. NF의 최근 연구를 기반으로, 우리는 RL 알고리즘에 원활하게 통합되어 정책(policy), Q-함수(Q-function), 점유도(occupancy measure) 역할을 하는 단일 NF 아키텍처를 제안한다. 우리의 접근은 훨씬 더 단순한 알고리즘으로 이어지며, 모방 학습(imitation learning), 오프라인 RL, 목표 조건 RL(goal-conditioned RL), 비지도 RL에서 더 높은 성능을 달성한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.