확률 측도 공간 위의 함수형(functional) 최적화는 이제 기계학습에서 매우 흔하다. 널리 쓰이는 접근은 Wasserstein 공간에서 직접 최적화를 수행하는 것이지만, 실용적으로 중요한 많은 목적 함수형은 Wasserstein 측지선(geodesic)을 따라 비볼록(non-convex)하여 표준 1차(first-order) 방법의 분석을 어렵게 만든다. 본 연구에서는 Wasserstein 공간 위의 목적 함수 중 차분 볼록(DC) 분해를 허용하는 한 클래스를 연구하고, 고전적인 볼록-오목 절차(CCCP)를 이 설정으로 끌어올린다. 분해의 볼록 성분에 대한 매끄러움(smoothness)과 강볼록성(strong convexity) 가정 하에서, 결과 알고리즘의 반복점(iterate)을 따라 거의 정상성(almost stationarity)을 증명한다. 주요 초점은 최대 평균 불일치(MMD)와 에너지 거리(ED) 함수형에 두며, 이에 대해 명시적인 Wasserstein DC 분해를 개발하고, 완화된 가정 하에서 해당 절차의 국소 수렴을 확립한다. 실험적으로, 잘 선택된 DC 분해가 이러한 MMD 목적에 대해 Wasserstein 경사하강법보다 더 빠르고 안정적인 수렴을 달성함을 보인다.
최소 MMD(Maximum Mean Discrepancy) 추정의 최적화 문제에서 비볼록성으로 인해 기존 경사하강법이 정류점 수렴에 그치는 한계를 해소하기 위해, MMD 그래디언트 플로우에서 영감을 받은 사전조건 경사하강법(PGD) 방식을 제안하고 그래디언트 지배 조건 하에서 점근적 전역 수렴을 이론적으로 증명하였다. 다양한 매개변수 추정 및 복합 가설 검정 벤치마크 실험에서 제안된 PGD가 표준 경사하강법보다 우수한 수렴 성능을 보임을 실증적으로 확인하였다.
생성 모델은 개별적으로 타당한 샘플을 생성할 수 있지만, 주요 특징(feature)의 분포 측면에서는 목표 집합과 크게 다를 수 있습니다. 예를 들어, 광범위한 약물 유사 화학 공간에서 사전학습(pre-training)된 모델은 알려진 항생제와 같은 관심 치료 클래스의 분자 특징과 다른 분자를 생성할 수 있습니다. 이러한 분포적 오차를 수정하는 것은 어렵습니다. 목표 집합에 대한 직접 파인튜닝(fine-tuning)은 과적합(overfitting)을 유발할 수 있으며, 어떤 특징이 일치하는지 제어하지 못합니다. 이러한 격차를 해소하기 위해 우리는 커널(kernel) 보정 생성 모델(kCGM)을 소개합니다. kCGM은 사전학습된 모델에 가깝게 유지하기 위한 KL 정규화(regularization)와 함께 편향되지 않은 점수 함수 추정기를 사용하여 생성된 특징 분포와 목표 특징 분포 간의 최대 평균 차이(MMD)를 최소화합니다. 174개의 항생제로 구성된 목표 집합에서 직접 파인튜닝은 특징 분포 일치를 위해 화학적 타당성을 희생하는 반면, kCGM은 타당성을 높이면서 목표 특징 일치를 개선합니다. 우리는 단백질 및 DNA 생성 작업에서 kCGM을 추가로 시연하여, 특징 수준의 감독(supervision)만을 사용하여 자기회귀(autoregressive), 연속 공간 확산(continuous-space diffusion), 이산 확산(discrete diffusion) 모델을 적응시킬 수 있음을 보여줍니다. 코드는 https://github.com/smithhenryd/cgm 에서 확인할 수 있습니다.
자기지도학습(SSL)에서 단위 초구에 균일 분포를 명시적으로 부과하여 표현 붕괴를 방지하는 것이 효과적인 것으로 입증되었습니다. 그러나 현재 프레임워크는 일반적으로 무작위 1차원 방향으로의 몬테카를로 샘플링을 통해 이 연속적인 목적 함수를 근사하는 슬라이스 기반 통계적 정규화기(예: LeJEPA에 사용된 SIGReg 및 SPHERE-JEPA에 사용된 SUSReg)에 의존합니다. 이러한 확률성은 학습 그라디언트에 투영 분산을 주입하여 최적화를 불안정하게 만들고 수렴을 저해합니다. 본 연구에서 우리는 먼저 이러한 무작위 투영을 해석적으로 적분하여 제거하면 슬라이스 방식의 분산을 우회하여 결정론적인 최대 평균 불일치(MMD)가 본질적으로 도출됨을 보여줍니다. 이러한 동등성에 동기를 얻어, 우리는 균일 분포를 부과하기 위해 초구에서 직접 MMD, 커널 스타인 불일치(KSD), 쿨백-라이블러(KL) 발산에 대한 전체 차원 목적 함수를 공식화합니다. 공간적 바이어스를 방지하기 위해, 우리는 스펙트럼 이론을 통해 구성된 회전 불변 커널을 이러한 검정에 적용하고, 부드러운 지수 감소(Heat) 및 엄격한 주파수 차단(Bandlimited) 필터라는 두 가지 대표적인 계열을 체계적으로 평가합니다. 실험적으로, 투영 유도 노이즈를 제거하면 더 안정적인 최적화와 더 빠른 수렴을 가져오며, ImageNet 및 Galaxy10에서 확률적 슬라이스 정규화기 대비 일관된 성능 향상을 보여줍니다. 더 나아가, 우리는 통계적 검정의 선택이 학습된 잠재 공간의 기하학적 구조를 형성함을 밝혀냅니다: MMD와 KSD는 객체 중심 도메인에 적합한 국소적으로 클러스터링된 구조를 선호하는 반면, 연속적인 KDE 기반 KL 발산은 세밀한 인스턴스 분리를 촉진하여 클러스터링되지 않은 절차적 텍스처 검색에서 가장 강력한 결과를 산출합니다.
실수선상의 주어진 목표 측도 $ν$를 향한 최대 평균 차이(MMD) 범함수 $\mathcal F_ν:= \text{MMD}_K^2(\cdot, ν)$의 바서슈타인 그래디언트 플로우에 대해 포괄적으로 설명하며, 여기서는 음의 거리 커널 $K(x,y) := -|x-y|$에 초점을 맞춥니다. 1차원에서 바서슈타인-2 공간은 분위수 함수의 원뿔 $\mathcal C(0,1) \subset L_2(0,1)$로 등거리 매립될 수 있으며, 이는 $L_2(0,1)$에서 연관된 코시 문제의 해를 통한 바서슈타인 그래디언트 플로우의 특성화로 이어집니다. $L_2(0,1)$에서 $\mathcal F_ν$의 적절한 대응물 및 그 아미분계(subdifferential)의 구성을 기반으로, 우리는 코시 문제의 해를 제공합니다. 이산 목표 측도 $ν$의 경우, 이는 조각별 선형(piecewise linear) 해 공식으로 귀결됩니다. 우리는 $\mathcal C(0,1)$의 부분 집합에 대한 플로우의 불변성 및 평활화(smoothing) 성질을 증명합니다. 특정 $\mathcal F_ν$-플로우의 경우, 이는 초기 점 측도가 즉시 절대 연속(absolute continuous)이 되고 시간이 지남에 따라 그 상태를 유지함을 의미합니다. 마지막으로, 이분법(bisection) 알고리즘으로 쉽게 계산할 수 있는 암시적 오일러(Euler) 방식을 사용하여 다양한 수치 예제를 통해 플로우의 거동을 설명합니다. 연속 목표 $ν$의 경우, 제한된 수렴(convergence) 보장이 있지만, 명시적 오일러 방식도 사용할 수 있습니다.