arXiv:2611.23497v1 math.NA

분류 및 생성 모델링을 위한 RKHS 미분동형 흐름의 최적 제어

Optimal Control of RKHS Diffeomorphic Flows for Classification and Generative Modeling

Christopher Chukwuemeka, Andreas Mang

제출 2026-11-19

한국어 초록

우리는 속도가 재생 커널 힐베르트 공간(RKHS)에 속하는 단일 미분동형 흐름으로 지도 분류와 우도 기반 밀도 추정을 해결하는 통합 최적 제어 프레임워크를 개발한다. 두 과제는 목적함수를 제외한 모든 구조를 공유한다. 변수 사영은 종단 모델(분류기 또는 가우시안 혼합(GMM) 기준 분포)을 소거하여, 해석적 이산 수반(adjoint)으로부터 기울기가 얻어지는 축소된 제어 문제를 남긴다. RKHS 매개변수화는 커널 행렬-벡터 곱 한 번의 비용으로 흐름의 발산을 정확하고 결정론적으로 만들어, 기존 연속 정규화 흐름의 확률적 대각합 추정기와 포텐셜 흐름 제약을 피한다. 목적함수와 기울기가 결정론적이므로, 행렬 비의존 축소 가우스-뉴턴(GN) 및 관련 2차 해법이 두 과제 모두에서 실용적이며, 이를 다양한 1차 및 2차 최적화기와 비교 평가한다. 학습된 사상은 정칙성이 명시적으로 제어되는 미분동형사상이다. 2차원에서 256차원까지의 실험에서, 축소 GN 해법은 시험한 모든 최적화기 중 가장 적은 반복 횟수를 사용하고, 결합 L-BFGS와 함께 가장 적은 연산량을 사용한다. 다중 스케일 커널은 밀도 적합을 개선하며, 학습 가능한 GMM 기준 분포는 비슷한 우도에서 다봉 수송에 필요한 변형을 줄이지만 실제 데이터에서는 우도를 낮춘다. 전체 모델 풀이는 입자 수에 대해 이차이고 차원에 대해 준선형이며, 제어점 축소는 거의 무손실 정확도에서 입자 수에 대한 스케일링을 선형으로 만든다.

원문 초록

We develop a unified optimal-control framework that solves supervised classification and likelihood-based density estimation with a single diffeomorphic flow whose velocity lives in a reproducing kernel Hilbert space (RKHS); the two tasks share all structure except the objective. Variable projection eliminates the terminal model (a classifier, or a Gaussian-mixture (GMM) reference), leaving a reduced control problem whose gradient comes from an analytic discrete adjoint. The RKHS parameterization makes the flow's divergence exact and deterministic at the cost of one kernel matrix-vector product, avoiding the stochastic trace estimators and potential-flow restrictions of existing continuous normalizing flows. Because the objective and gradient are deterministic, matrix-free reduced Gauss-Newton (GN) and related second-order solvers are practical for both tasks, which we benchmark against a range of first- and second-order optimizers; the learned map is a diffeomorphism with explicitly controlled regularity. In experiments from dimension 2 to 256, the reduced GN solvers use the fewest iterations of any optimizer tested and, together with joint L-BFGS, the least work; a multiscale kernel improves the density fit, and a trainable GMM reference reduces the deformation needed for multimodal transport at comparable likelihood while lowering the likelihood on real data. The full-model solve is quadratic in the particle count and sub-linear in dimension; a control-point reduction makes the particle-count scaling linear at near-lossless accuracy.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23497v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.