arXiv:2611.18394v1 stat.ML

생성 모델링에서의 립시츠 제약 판별기: 점근적 거동과 지지집합 불일치

Lipschitz-Constrained Discriminators in Generative Modeling: Asymptotic Behavior and Support Mismatch

Eduardo Pinto, Panagiota Birmpa

제출 2026-11-13

한국어 초록

본 연구는 두 확률분포 $Q$와 $P$의 $L-$립시츠 정규화 KL 발산에 연계된 최적 판별기의 점근적 거동을 연구한다. 이 발산은 매개변수 $L>0$에 의해 재조정된 Wasserstein$-1$ 거리와 KL 발산 사이를 보간한다. 매개변수 $L$은 립시츠 제약의 역할을 하며 정규화 매개변수로 간주된다. $L$ 값이 작으면 기하를 더 잘 반영하는 판별기가 강제되고, $L$이 증가하면 기하적 정규화가 점진적으로 완화된다. 이러한 발산이 $L\to\infty$일 때 KL 발산으로 수렴한다는 것은 알려진 결과이다 [3]. 본 논문에서는 $L\to\infty$일 때 최적 판별기의 점근적 거동을 서로 다른 경우로 나누어 규명한다. 첫째, $Q\ll P$이고 라돈-니코딤 도함수 $\frac{dQ}{dP}$가 위로 유계이며 0으로부터 떨어져 있는 경우이다. 둘째, $Q$와 $P$가 $Q\ll P$를 만족하는 이산분포인 경우이다. 마지막으로, $Q$와 $P$가 절대연속이 아닌 이산분포인 경우이다. 이 결과는 적대적 생성 모델과 같이 판별기를 포함하는 학습 전략의 동기를 제공한다. 실제로 데이터 분포는 흔히 이산 경험 측도로 표현되며, 특히 학습 초기 단계에서 모델 분포는 경험적 데이터 분포와 거의 또는 전혀 겹치지 않을 수 있다.

원문 초록

We study the asymptotic behavior of optimal discriminators associated to $L-$Lipschitz regularized KL-divergences of two probability distributions $Q$ and $P$ that interpolate between the rescaled Wasserstein$-1$ metric by some parameter $L>0$ and the KL divergence. The parameter $L$ plays the role of a Lipschitz constraint and is viewed as a regularization parameter: small values of $L$ enforce a more geometry-aware discriminator, while as $L$ increases the geometric regularization is progressively relaxed. It is a known result [3] that such divergences converge to the KL divergence as $L\to\infty$. In this paper, we characterize the asymptotic behavior of the optimal discriminators as $L\to\infty$ in different regimes: Firstly, under $Q\ll P$ and the Radon-Nikodym derivative $\frac{dQ}{dP}$ is bounded from above and bounded away from zero. Secondly, when $Q$ and $P$ are discrete distributions satisfying $Q\ll P$, and finally when $Q$ and $P$ are non absolutely continuous discrete distributions. This result motivates training strategies which involve discriminators, such as adversarial generative models. In practice, the data distribution is often represented by a discrete empirical measure, while, especially at the early stages of the training, the model distribution may have little or no overlap with the empirical data distribution.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.18394v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.