arXiv:2512.03579v2 cs.LG

가우시안 측도 간의 최적 수송 및 정렬

Optimal Transportation and Alignment Between Gaussian Measures

Sanjit Dandapanthula, Aleksandr Podkopaev, Shiva Prasad Kasiviswanathan, Aaditya Ramdas, Ziv Goldfeld

제출 2025-12-03

한국어 초록

최적 수송(OT) 및 그로모프-바세르슈타인(GW) 정렬은 이종 데이터셋을 비교, 변환, 집계하기 위한 해석 가능한 기하학적 프레임워크를 제공하며, 이러한 작업은 데이터 과학 및 머신러닝 전반에 걸쳐 흔히 사용됩니다. 이 프레임워크들은 연산 비용이 높기 때문에, 대규모 응용 분야에서는 2차 비용(quadratic cost) 하에서 가우시안 분포의 닫힌 형식 해(closed-form solution)에 의존하는 경우가 많습니다. 본 연구는 가우시안 및 2차 비용 기반 OT와 내적 GW(IGW) 정렬을 포괄적으로 다루며, 문헌에 존재하는 몇 가지 공백을 해소하여 적용 범위를 확장합니다. 먼저, 가분 힐베르트 공간 상의 중심화되지 않은(uncentered) 가우시안 간의 IGW 정렬이라는 미해결 문제를 다루며, 등장 사상 및 공등장 사상(유한 차원에서는 직교 행렬)에 대한 2차 최적화를 통해 엄밀한 변분 특성화를 제시하고 이에 대한 긴밀한 해석적 상한 및 하한을 도출합니다. 적어도 하나의 가우시안 측도가 중심화되어 있는 경우, 해는 완전한 닫힌 형식의 표현식으로 단순화되며, 이를 중심화된 가우시안 간의 IGW 무게중심(barycenter)에 대한 해석적 해로 확장합니다. 또한 쌍별(pairwise) 2차 비용을 갖는 가우시안 다중 주변(multimarginal) OT를 다루기 쉬운(tractable) 최적화 문제로 환원하고, 이 문제의 모든 2차 정류점(second-order stationary point)이 전역 최적임을 증명합니다. 본 접근법의 유용성을 입증하기 위해, 이미 학습된 언어 모델 증류의 임베딩 분포를 비교하고 텍스트 임베딩의 공분산 스펙트럼을 사용하여 합성 사용자를 클러스터링합니다.

원문 초록

Optimal transport (OT) and Gromov-Wasserstein (GW) alignment provide interpretable geometric frameworks for comparing, transforming, and aggregating heterogeneous datasets---tasks ubiquitous in data science and machine learning. Because these frameworks are computationally expensive, large-scale applications often rely on closed-form solutions for Gaussian distributions under quadratic cost. This work provides a comprehensive treatment of Gaussian, quadratic cost OT and inner product GW (IGW) alignment, closing several gaps in the literature to broaden applicability. First, we treat the open problem of IGW alignment between uncentered Gaussians on separable Hilbert spaces by giving an exact variational characterization through a quadratic optimization over isometries and co-isometries (orthogonal matrices in finite dimensions), for which we derive tight analytic upper and lower bounds. If at least one Gaussian measure is centered, the solution reduces to a fully closed-form expression, which we further extend to an analytic solution for the IGW barycenter between centered Gaussians. We also present a reduction of Gaussian multimarginal OT with pairwise quadratic costs to a tractable optimization problem and prove that every second-order stationary point of this problem is globally optimal. To demonstrate utility, we compare embedding distributions of already-trained language-model distillations and cluster synthetic users using covariance spectra of their text embeddings.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2512.03579v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03221v1cs.CV공통 태그 Knowledge Distillation, optimal transport

VDOT++: 불균형 최적 수송 증류를 통한 통합 소수 단계 비디오 생성

VDOT++: Unified Few-Step Video Generation via Unbalanced Optimal Transport Distillation

비디오 생성은 텍스트-비디오(T2V), 이미지-비디오(I2V), 조건 기반 생성을 아우르지만, 비디오 확산 모델은 샘플링 과정에서 대규모 백본을 반복적으로 평가해야 하므로 여전히 많은 비용이 듭니다. 분포 매칭 증류(DMD)는 이러한 비용을 줄여주지만, 학생(student)과 교사(teacher) 분포 간의 중첩이 제한적일 때 역 쿨백-라이블러(KL) 발산 목표가 불안정하거나 불완전한 유도를 제공할 수 있습니다. VDOT은 명시적 결합을 통해 조건 기반 생성에 기하학적 방향을 제공하는 최적 수송 증류(OTD)를 추가하여 이 문제를 해결했습니다. 그러나 균형 OTD는 상응하는 각 학생-교사 프레임 쌍의 공간 토큰 간에 전체 질량 매칭을 수행합니다. 하나의 조건이 여러 유효한 출력을 허용하고 서로 다른 구현 간에 공간적 내용이 일치할 필요가 없는 T2V 및 I2V에서는 이러한 가정이 약화됩니다. 본 논문에서는 세 가지 태스크 군의 생성기에 동일한 학습 레시피를 개별적으로 적용하는 통합 증류 프레임워크인 VDOT++를 제시합니다. VDOT++는 교사 토큰의 커버리지를 유지하면서 신뢰할 수 없는 학생 토큰이 더 적은 질량을 갖도록 허용하는 비대칭 불균형 정식을 통해 출력 다양성에 견고하도록 OTD를 개선합니다. 또한 $\ell_1$ 지상 비용(ground cost)은 평균 기반 집계를 보다 모드를 잘 보존하는 가중치 중앙값으로 대체하여 먼 수송 대상의 영향을 제한합니다. 이 두 가지 변화는 각각 누구와 매칭할지, 그리고 선택된 대상을 어떻게 집계할지를 결정합니다. 아울러 순차적 역전파를 통해 분포 매칭과 적대적 개선을 결합하고, 더 큰 스코어 네트워크가 소형 생성기를 개선하는 교차 스케일 증류를 위해 분리된 스코어 네트워크를 활용합니다. UVCBench, VBench, VBench-I2V 및 VACE 벤치마크에 대한 실험 결과, 이를 통해 도출된 4단계 생성기가 세 가지 태스크 군 모두에서 다단계 교사 모델 및 강력한 소수 단계 베이스라인과 견줄 만한 성능을 보임을 입증합니다.

arXiv:2609.23673v1cs.CV공통 태그 Clustering, Knowledge Distillation

어떤 지형이 더 나은가? 비포장도로 주행 가능성 순위 지정을 위한 VLM 프로토타입 기반 선호도 학습

Which Terrain Is Better? Preference Learning with VLM Prototypes for Off-Road Traversability Ranking

비전 기반 비포장도로 내비게이션에서 로봇은 회피해야 할 장애물뿐만 아니라 어떤 지형이 더 나은지도 파악해야 합니다. 첫 번째 문제는 여유 공간(freespace) 감지나 시맨틱 분할(semantic segmentation)로 처리됩니다. 두 번째 문제는 대개 주행 가능성 점수(traversability score)로 해결되지만, 이러한 점수에는 보편적인 정답(ground truth)이 존재하지 않아 인식이 시맨틱 클래스별로 미리 정의된 값이나 여유 공간 신뢰도에 의존하게 됩니다. 이러한 점수들은 특정 영역이 무엇인지를 나타낼 뿐, 로봇이 어떤 영역을 선호해야 하는지는 알려주지 못합니다. 이에 따라 본 연구에서는 이러한 선호도를 두 영역 간의 비교를 통해 지도(supervision)될 수 있는 가시적 지형 순서 지정인 시각적 주행 가능성 순위 지정(visual traversability ranking)으로 정식화합니다. 표준 어노테이션에는 선호도가 직접 라벨링되어 있지 않지만, 그 방향성이 내포되어 있습니다. 본 논문에서는 이러한 어노테이션을 정렬된 영역 쌍으로 변환하고, 동결된(frozen) 비전-언어 모델(VLM) 패치 토큰(token)에 작은 판독부(readout)를 이 쌍에 맞춰 적합시키는 TravPro를 제안합니다. 토큰은 고정된 프로토타입 뱅크로 한 번 클러스터링되며, 판독부는 프로토타입별 선호도 점수를 학습합니다. 그런 다음 판독부는 모든 패치에 적용되어 픽셀 단위 어노테이션 없이도 희소한 비교를 조밀한 선호도 유사 라벨(pseudo-label)로 변환하는 교사(teacher) 역할을 수행합니다. RGB 학생(student) 모델은 장애물과 배경을 순위 지정에서 제외하는 비지면(non-ground) 마스크와 함께 이 지도들을 조밀한 지형 선호도 맵으로 증류(distill)합니다. 5개의 미확인(unseen) 도메인에서 TravPro는 가장 강력한 기준선(baseline)의 0.783 대비 0.915의 평균 쌍별 정확도(mean pairwise accuracy)를 달성하여, 클래스별 수치로는 표현할 수 없는 노면 상태에 민감한 순서 지정을 생성합니다. 동일한 VLM과 동일한 지도 방식을 사용하더라도 VLM에 프롬프트(prompt)를 주고 지도를 조밀한 타깃으로 사용할 경우에는 이러한 순서가 도출되지 않으며, 중요한 것은 이들을 활용하는 방식입니다.

arXiv:2607.21847v1stat.ME공통 태그 Clustering, optimal transport

분포의 상호배제적 클러스터링을 위한 분포 결정적 점 과정

Distributional Determinantal Point Process for Repulsive Clustering of Distributions

우리는 분포 결정적 점 과정(distributional determinantal point process, dDPP)을 새로운 상호배제적 점 과정으로 소개한다. 이 과정의 원자(atom)는 실수 공간의 점이 아니라 확률분포이다. dDPP는 분포 간 슬라이스드 Wasserstein(sliced Wasserstein, SW) 커널을 갖는 L-앙상블을 통해 구성된다. 우리는 이것이 잘 정의된 점 과정으로서의 타당성을 보인다. 이산 설정에서, 분포 원자로부터의 i.i.d. 표본이 주어졌을 때 L-앙상블, 상관 커널, 및 그 행렬식에 대한 플러그인 추정량의 집중(concentration) 결과를 유도한다. 이 프레임워크를 활용하여, 상호배제적 일반화 베이지안 혼합 모델을 통해 분포값 무작위 분할 모델을 제안한다. 이 모델은 혼합 측도(mixing measure)의 원자에 dDPP 사전분포를 두고 SW 거리에 기반한 일반화 가능도를 정의한다. 사후 추론을 요약하기 위해, 계층적 최적 수송(optimal transport) 효용 함수 하에서 베이즈 규칙에 따른 혼합 측도의 점 추정치를 보고하는 의사결정 이론적 접근법을 개발한다. 혼합 측도 자체가 분포들 위의 분포이므로, 후자는 자연스러운 선택이다. 우리는 제안한 프레임워크를 단일세포 유전자 발현 데이터와 인간 간질 데이터에 대한 추론에 사용하여, 데이터의 의미 있는 구조를 반영하는 해석 가능하고 잘 분리된 클러스터를 생성한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.