PyTorchKR Papers

최신 논문

총 90편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.07239v2cs.LG

불균형 최적 전송을 통한 가변 크기 설계를 위한 생성적 분자 모핑

Generative Molecular Morphing for Flexible-Size Design via Unbalanced Optimal Transport

The success of generative molecular design depends on a model's steerability toward high-reward samples. Because many molecular properties are intrinsically linked to molecular size, accurately capturing the joint distribution of properties and the number of atoms is essential. However, current diffusion and flow-based models fix the number of atoms, which ultimately limits their ability to navigate this complex relationship. To address this, we introduce Morph, a flexible-size generative model for conditional and unconditional 3D molecular design based on geometric graphs. By dynamically adapting size, Morph can seamlessly integrate existing structural priors, like scaffolds, and significantly enhances property steering. We show that Morph matches current fixed-size state-of-the-art models while significantly increasing sampling flexibility. We demonstrate out-of-distribution generation in regimes where previous models fail, paving the way for enhanced generative modeling for molecular design.

arXiv:2606.27767v2cs.LG

Wasserstein 공간에서의 차분 볼록(DC) 프로그래밍과 MMD 최적화에의 적용

Difference of Convex Programming in the Wasserstein Space with Applications to MMD Optimization

확률 측도 공간 위의 함수형(functional) 최적화는 이제 기계학습에서 매우 흔하다. 널리 쓰이는 접근은 Wasserstein 공간에서 직접 최적화를 수행하는 것이지만, 실용적으로 중요한 많은 목적 함수형은 Wasserstein 측지선(geodesic)을 따라 비볼록(non-convex)하여 표준 1차(first-order) 방법의 분석을 어렵게 만든다. 본 연구에서는 Wasserstein 공간 위의 목적 함수 중 차분 볼록(DC) 분해를 허용하는 한 클래스를 연구하고, 고전적인 볼록-오목 절차(CCCP)를 이 설정으로 끌어올린다. 분해의 볼록 성분에 대한 매끄러움(smoothness)과 강볼록성(strong convexity) 가정 하에서, 결과 알고리즘의 반복점(iterate)을 따라 거의 정상성(almost stationarity)을 증명한다. 주요 초점은 최대 평균 불일치(MMD)와 에너지 거리(ED) 함수형에 두며, 이에 대해 명시적인 Wasserstein DC 분해를 개발하고, 완화된 가정 하에서 해당 절차의 국소 수렴을 확립한다. 실험적으로, 잘 선택된 DC 분해가 이러한 MMD 목적에 대해 Wasserstein 경사하강법보다 더 빠르고 안정적인 수렴을 달성함을 보인다.

arXiv:2610.13614v1stat.ML

생성형 확산과 최적 수송 간의 연결성에 관한 고찰

Some remarks on the connection between generative diffusion and optimal transport

본 논문에서는 생성형 확산(generative diffusion)과 최적 수송(optimal transport) 사이의 세 가지 단순한 연결성에 대해 논의한다. 첫째, 데이터와 데이터의 오른슈타인-울렌벡(Ornstein-Uhlenbeck) 노이즈화 간의 결합 법칙은 모든 시점에서 노이즈 수준에 의해 설정된 온도에서의 엔트로피 최적 수송 문제의 해가 된다. 결과적으로 역방향 확산은 엔트로피 정규화(regularization)를 점진적으로 감소시키는 어닐링(annealing) 과정으로 해석될 수 있다. 둘째, 생성 과정에서 데이터 분포의 모드(mode)가 어떻게 출현하는지를 나타내는 분화 전이(speciation transition)를 연구하고, 확산 및 플로우 매칭(flow matching)에서 이러한 현상이 최적 수송과 비교하여 어떻게 일어나는지 비교한다. 고차원 예시로 가우시안 혼합(Gaussian mixture)을 활용하여, 확산과 플로우 매칭이 모드를 분리하는 동적 불안정성이 최적 수송에서는 생성 시작 시점의 지수적으로 얇은 경계층(boundary layer)이 되며, 이는 엔트로피 정규화에 의해 완화됨을 보인다. 셋째, 일반적인 구속 포텐셜(confining potential)을 갖는 일반 순방향 동역학을 고려할 때, 스코어(score)에 의해 구동되는 역방향 프로세스 또한 최소 비용이 초기 및 최종 분포 간의 엔트로피 차이가 되는 드리프트 기반 변분 원리를 만족함을 보인다.

arXiv:2610.10875v1cs.LG

Barron 최적 수송 I: 생성 모델링

Barron Optimal Transport I: Generative Modeling

생성 모델링과 샘플링 분야의 최근 응용에 동기를 받아, 비용이 신경망(neural network) 복잡도의 개념을 반영하는 최적 측도 운송(optimal measure transport) 프레임워크를 소개한다. 운송 기반 생성 모델에서는 기준 분포(예: 가우시안)의 샘플이 상미분방정식 또는 확률미분방정식을 따라 목표 분포의 샘플로 매핑된다. 이는 시간에 대해 이산화되면 심층 잔차 신경망(deep residual network)으로 구현되며, 각 은닉층(hidden layer)은 그에 대응하는 순시 속도(instantaneous velocity)를 근사한다. 따라서 목표 측도와 기준 측도의 쌍이 주어졌을 때, 자연스러운 질문은 이 운송을 구현하는 가장 효율적인 신경망 표현을 찾는 것이다. 우리의 출발점은 Benamou와 Brenier에 의한 OT(최적 수송)의 운동론적 공식화(kinetic formulation)이다. 우리는 평균 운동 $L^2$ 에너지를 \emph{Barron} 에너지 \cite{bach2017breaking, ma2022barron}로 대체하는데, 이는 주어진 벡터장을 신경망 은닉층(hidden layer)으로 표현하는 복잡도를 측정하는 자연스러운 노름(norm)으로, 특징(feature) 학습의 적응적 특성을 포착한다. 이는 확률 측도 공간 위에 하나의 거리(metric)를 정의하며, 기존의 Wasserstein 및 Stein 기하학을 보완한다. 본 연구에서는 생성 모델링의 맥락에서 이 거리의 성질을 살펴본다. 첫 번째 응용으로서, 우리는 가우시안의 신경망 푸시포워드(pushforward)로 생성된 데이터에 대해 초다항식적(super-polynomial) 점수(score) 근사 하한을 수립함으로써 Barron 기하학에서 디퓨전(diffusion) 생성 모델링의 준최적성(suboptimality)을 정량화한다. 이어서 우리는 대안적인 생성 모델을 연구하는 방법으로서 적응성(adaptivity)의 이점을 조사한다. 동반 논문 \cite{companionpaper}에서는 특징(feature) 적응을 통해 Stein 변분 그래디언트(gradient) 방법의 적용 범위를 확장함으로써, 샘플링 응용을 위해 Barron 운송 기하학을 활용한다.

arXiv:2610.10793v1stat.ML

분포 로버스트 최적화를 위해 진단적 이동을 통해 모호성 집합을 보정하는 기법

Calibrating Ambiguity Set via Diagnostic Transport for Distributionally Robust Optimization

분포 로버스트 최적화(DRO)는 모호성 집합(ambiguity set)에 대해 최적화를 수행함으로써 분포 불확실성으로부터 의사결정을 보호하지만, 집합의 기하학적 구조가 잘 맞지 않으면 반경을 크게 설정해야 하므로 지나치게 보수적인 의사결정을 초래할 수 있습니다. 본 연구에서는 홀드아웃(held-out) 보정 데이터를 활용하여 관측된 예측 오차에 맞춰 모호성 집합의 기하학적 구조를 적응시키는 진단적 이동 DRO(DT-DRO)를 소개합니다. DT-DRO는 조건부 확률 적분 변환(PIT) 누적 분포 함수를 사용해 체계적인 확률 오할당을 진단하고, 이 정보를 결과 수준의 이동으로 변환하여 모호성 집합의 중심과 기본 비용(ground cost)을 함께 조정합니다. 이를 통해 도출된 정식화는 계산적으로 다루기 쉬운 쌍대 재정식화(dual reformulation)를 지원합니다. 이론적으로는 추정 및 근사 오차가 사라질수록 더욱 긴밀해지는 유효 모호성 반경과 의사결정 위험 보장을 유도하며, DT-DRO가 모델 오지정(misspecification)으로 인해 발생하는 지속적인 강건성 바닥효과(nonvanishing robustness floor)를 제거할 수 있음을 보입니다. 합성 데이터 실험과 정전 사례 연구를 통해 특히 구조적 오지정 및 꼬리 오지정 상황에서 의사결정 품질이 향상됨을 입증합니다.

arXiv:2610.10653v1cs.LG

PXtal: 모달리티 간 정보 비대칭 환경에서 분말 X선 회절과 결정 구조의 정렬 학습

PXtal: Learning to Align Powder X-Ray Diffraction and Crystal Structures under Information Asymmetry across Modalities

과학 분야의 멀티모달 학습(multimodal learning)은 일반적으로 쌍을 이루는 뷰들이 비슷한 수준의 정보를 담고 있다고 가정합니다. 분말 X선 회절(PXRD)은 이러한 불일치를 명확히 드러냅니다. 즉, 3차원 결정 구조를 1차원 회절 패턴으로 압축하면서 정보가 손실되어, 해당 패턴을 생성한 결정 구조와 연결하기가 더 어려워집니다. 본 연구에서는 이러한 물리적으로 부과된 정보 비대칭 환경에서 정렬된 PXRD 및 결정 표현을 학습하기 위한 프레임워크인 PXtal을 소개합니다. PXtal은 불균형 최적 수송(UOT)을 사용하여 모달리티 간 결합(coupling)을 조정하고, 결합 수준의 일반화된 쿨백-라이블러(GKL) 발산을 활용하여 전체 수송 계획을 지도합니다. 4개의 제로샷(zero-shot) 전이 세트를 포함한 6개의 테스트 세트 전반에서, PXtal은 PXRD-결정 후보 검색 작업 시 기준선(baseline) 모델들의 성능을 일관되게 능가하며, 특히 PXRD 패턴이 결정학적으로는 구별되지만 서로 매우 유사한 비쌍(nonpaired) 이웃을 가질 때, 즉 서로 다른 결정과 연관된 유사한 입력 패턴이 존재할 때 가장 큰 성능 향상을 보였습니다. 그 결과 도출된 결정 및 PXRD 인코더는 다운스트림 재료 및 결정학 작업으로 더욱 효과적으로 전이됩니다. 이러한 결과는 정보 비대칭이 과학 분야 멀티모달 학습에서의 일반적인 설계 문제임을 확인해 주며, 정렬 목표는 각 모달리티가 보존하는 정보를 반영해야 함을 시사합니다.

arXiv:2610.06513v2cs.CL

SOL: 이중 슬라이스드 바서슈타인 거리를 이용한 텍스트 분포 간 격차 측정

SOL: Measuring Gaps between Text Distributions by Double Sliced Wasserstein Metrics

텍스트 생성을 평가하려면 생성된 분포가 데이터 분포와 얼마나 잘 일치하는지 측정해야 합니다. 자기회귀 모델의 경우 이는 퍼플렉서티(perplexity)를 통해 이루어집니다. 확산(diffusion) 및 플로우 기반 언어 모델은 가능도(likelihood)의 한계만을 제공할 수 있으며, 이 한계의 엄밀함은 모델 군(model family)마다 다릅니다. 엔트로피를 활용한 생성적 퍼플렉서티와 같은 샘플 기반 대체 지표는 분포의 적합도를 고려하지 않습니다. 본 논문에서는 텍스트 분포 간의 거리 척도인 SOL을 제안합니다. 각 시퀀스는 고정된 트랜스포머(transformer) 아래에서 은닉 상태들의 경험적 측도로 표현되며, 이러한 측도들의 분포는 이중 슬라이스드 바서슈타인 거리(double sliced Wasserstein distance)를 통해 비교됩니다. 저자들은 트랜스포머가 단사(injective) 함수일 경우 SOL이 거리 함수(metric)임을 증명합니다. 실험을 통해 SOL이 분포적 실패를 감지하고, 예상되는 모델 경향성을 복원하며, 안정적인 샘플 기반 추정치를 제공함을 보여줍니다. 저자들은 비자기회귀 모델에 사용되는 현재 평가 프로토콜의 공백을 메우기 위해 SOL을 제시합니다. 첫 번째 단계로, 저자들은 SOL을 사용하여 OpenWebText에서 학습된 다양한 모델들을 재평가합니다.

arXiv:2605.12174v2cs.LG

기댓값 배치 최적 수송 플랜과 플로우 매칭에 미치는 영향

Expected Batch Optimal Transport Plans and Consequences for Flow Matching

무작위 미니배치(minibatch)에서 최적 수송(OT)을 푸는 것은 대규모 학습에서 정확한 OT를 대체하는 일반적인 대용물(surrogate)입니다. 플로우 매칭(Flow Matching, FM)에서는 이 대용물을 사용하여 확률 경로를 직선화하고 수치 적분 비용을 줄일 수 있는 OT 유사 결합(coupling)을 얻습니다. 그러나 반복된 미니배치 OT에 의해 유도되는 모집단 수준(population-level)의 결합은 여전히 부분적으로만 이해되고 있습니다. 본 연구에서는 이를 크기 $k$의 독립적인 미니배치들에 대한 경험적 OT 플랜을 평균하여 얻어지는 기댓값 배치 OT 플랜 $\overlineπ_{k}$로 공식화합니다. 그런 다음 이 플랜의 대규모 배치 일관성을 확립하고, 생성 모델링과 관련된 준이산(semidiscrete) 환경에서 수송 비용 바이어스 및 $\overlineπ_{k}$가 OT 플랜으로 수렴하는 속도를 모두 도출합니다. FM의 경우, 이는 유도된 속도장(velocity field)이 소스에서 이산적인 타깃으로 향하는 고유한 플로우를 정의할 만큼 충분히 정규적(regular)인 모집단 결합을 제공합니다. 마지막으로 다루기 쉬운 2-원자 모델(two-atom model)과 합성 데이터 및 이미지 실험에서 OT 배치 크기가 수치 적분과 어떻게 상호작용하는지 정량화합니다.

arXiv:2604.21097v3stat.ML

카오스 에뮬레이션 학습: 적대적 최적 전송 정규화

Learning to Emulate Chaos: Adversarial Optimal Transport Regularization

날씨부터 전력망까지 다양한 복잡한 동역학계(dynamical systems)에서 카오스가 발생하지만, 머신러닝 에뮬레이터(emulator)와 같은 데이터 기반 방법으로 이를 정확하게 모델링하기는 어렵습니다. 에뮬레이터는 시뮬레이션 가속화 및 역문제(inverse problem) 해결을 위한 유망한 도구이지만, 특히 노이즈가 있는 데이터가 주어졌을 때 초기 조건에 대한 민감도로 인해 정확한 장기 예측이 불가능해지는 카오스 동역학을 학습하는 데 여전히 어려움을 겪고 있습니다. 최근 연구에서는 대신 카오스 어트랙터(attractor)의 통계적 특성을 일치시키도록 에뮬레이터를 학습시키지만, 이러한 접근법은 종종 수작업으로 설계된 요약 통계량이나 대규모의 다양한 다중 환경(multi-environment) 데이터셋에 의존합니다. 본 연구에서는 단일 노이즈 궤적만으로 고품질의 요약 통계량과 물리적으로 일관된 에뮬레이터를 공동 학습할 수 있는 적대적 최적 수송(adversarial optimal transport) 목적 함수군을 제안합니다. 제안하는 접근법의 싱크혼 발산(Sinkhorn divergence) 정식화(2-Wasserstein)와 WGAN 스타일의 쌍대 정식화(dual formulation)(1-Wasserstein)를 이론적으로 분석하고 실험적으로 검증합니다. 고차원 시공간 카오스를 포함한 다양한 카오스 시스템에 대한 수치 실험을 통해, 제안된 목적 함수를 사용하여 학습(training)된 에뮬레이터의 장기 통계적 충실도(statistical fidelity)가 크게 향상됨을 보여줍니다.

arXiv:2508.08011v2cs.CL

최적 수송 기반 깊이 업스케일링

Optimal Transport Depth Up-Scaling

대규모 언어 모델(LLM)을 더 큰 규모로 바닥부터 사전학습(pre-training)하면 놀라운 성능을 얻을 수 있지만 상당히 높은 학습 비용이 발생합니다. 깊이 업스케일링(depth up-scaling)은 사전학습된 LLM에 새로운 층(layer)을 삽입하여 바닥부터 학습하는 것을 피하는 효율적인 대안을 제공합니다. 그러나 대부분의 기존 방식은 새로운 층을 만들기 위해 베이스 층을 복사하거나 평균화하는데, 이는 기능적으로 대응하는 뉴런들의 정렬을 어긋나게 하여 뉴런 순열 불일치(neuron permutation mismatch)를 유발하고 성능을 저하시킵니다. 이러한 문제를 해결하기 위해, 우리는 최적 수송(Optimal Transport, OT) 이론을 활용하여 새로운 층 구축 시 인접한 베이스 층의 기능적으로 대응하는 뉴런들을 모듈 단위로 정렬하고 융합하는 최적 수송 깊이 업스케일링(OT-DUS)을 제안합니다. OT-DUS는 다양한 모델 크기와 모델 계열에 걸친 지속적 사전학습 및 지도 미세조정(supervised fine-tuning)에서 일반 및 특화 도메인 모두 기존 방식보다 더 우수한 전반적 성능을 달성합니다. 또한 삽입 전략에 대한 분석을 통해 새로운 층을 더 높은 위치에 삽입할수록 더 강력한 성능뿐만 아니라 향상된 학습 효율성까지 얻을 수 있음을 발견했습니다.

arXiv:2609.18964v3cs.LG

FedGuide: 이종 연합 강화학습을 위한 확산 사전확률 정렬 및 가치 기준선 유도

FedGuide: Diffusion Prior Alignment and Value Baseline Guidance for Heterogeneous Federated Reinforcement Learning

연합 강화학습(Federated Reinforcement Learning, FRL)은 이종의 환경을 가진 분산 에이전트 간의 협력적 정책 학습(policy learning)을 가능하게 합니다. 분산 감소, 다이버전스 페널티 부여, 모멘텀(momentum) 최적화에 기반한 최근 방법들이 이종 환경 설정에서 FRL을 개선하고 있지만, 여전히 주로 정책 또는 가치 네트워크 파라미터를 동기화하는 데 그치며 이종 클라이언트 간의 분포 불일치 문제를 명시적으로 해결하지 못합니다. 이에 따라 본 논문에서는 이종 로컬 정책 학습을 위해 개인화된 데이터 지지 분포(data supported distribution)를 제공하는 행동 모델로 확산 사전확률(diffusion prior)을 사용하는 FRL 프레임워크인 FedGuide를 제안합니다. FedGuide는 로컬 정책을 직접 평균화하는 대신, 최적 수송 전문가 혼합(Optimal-Transport Mixture-of-Experts, OT-MoE)을 통해 이러한 확산 사전확률들을 집계하여 분포 공간에서 이종 행동 모드를 보존합니다. 나아가 로컬 정책 개선을 위한 저분산 및 수익 인식 유도를 제공하고자 분포 교정 추정(Distribution Correction Estimation, DICE) 가치 기준선(value baseline)을 개발합니다. 이종 환경 전반에 걸친 실험 결과, FedGuide는 더 강한 이종성 하에서도 안정적인 학습을 유지하면서 클라이언트 평균 수익, 최종 라운드 성능, 최악 라운드 견고성 측면에서 대표적인 FRL 방법들을 능가함을 보여줍니다.

arXiv:2607.14081v2cs.LG

최적 수송을 통한 선형 독립 성분 분석

Linear Independent Component Analysis via Optimal Transport

선형 독립 성분 분석(ICA)은 선형 혼합 신호로부터 결합 독립적인 소스 신호들을 복원합니다. 이를 달성하기 위해 고전적인 ICA 알고리즘은 정보 이론을 통해 독립성과 연결되는 네겐트로피(negentropy)로 측정된 비가우스성(non-Gaussianity)을 최대화하고자 시도합니다. 정확한 네겐트로피 최적화는 다루기 힘들기 때문에(intractable), 4차 큐뮬런트나 모수적 로그 우도와 같은 대리 대조 함수(proxy contrast function)에 의존합니다. 우리는 그 대신 표준 가우스 분포까지의 제곱 $L_2$-바서슈타인 거리(squared $L_2$-Wasserstein distance)를 ICA 대조 함수로 사용할 것을 제안합니다. 우리는 표준 정규 분포와 데이터의 선형 투영 사이의 바서슈타인 거리가 투영이 독립 성분을 복원할 때 최대화되며, 소스에 대한 정규성 조건 하에서 이 최댓값이 명시적인 마진을 통해 모든 실제 혼합 신호와 분리됨을 보입니다. 또한 결과로 도출되는 추정량의 유리한 특성들을 밝혀냅니다. 매끄러운 밀도를 갖는 소스의 경우 닫힌 형태의 분산을 가지며 $\sqrt{N}$-일치성(consistent) 및 점근적 정규성을 보이는 반면, 원자(atom)를 갖는 소스의 경우 대조 함수가 참 방향에서 꺾임(kink)을 형성하여 1로 수렴하는 확률로 추정량이 정확해집니다. 제안하는 OT-ICA 알고리즘은 그래디언트 기반 최적화를 통해 이러한 투영을 찾습니다. 시뮬레이션 데이터에 대한 실증적 평가는 OT-ICA가 대리 기반 방법들보다 우수한 성능을 보이며, 잠재 변수의 다양한 분포 혼합에 대해 비가우스성을 측정할 때 $W_2^2$ 대조 함수가 대리 대조 함수보다 더 강건한 신호를 제공함을 보여줍니다. 선형 인과 얽힘 풀기(linear causal disentanglement)와 EEG 인공물 제거에 대한 적용 및 부록에 상세히 기술된 추가 적용 사례들은 OT-ICA가 분포 가정 없이도 응용 ICA 작업에 사용될 수 있음을 입증합니다.

arXiv:2512.03579v2cs.LG

가우시안 측도 간의 최적 수송 및 정렬

Optimal Transportation and Alignment Between Gaussian Measures

최적 수송(OT) 및 그로모프-바세르슈타인(GW) 정렬은 이종 데이터셋을 비교, 변환, 집계하기 위한 해석 가능한 기하학적 프레임워크를 제공하며, 이러한 작업은 데이터 과학 및 머신러닝 전반에 걸쳐 흔히 사용됩니다. 이 프레임워크들은 연산 비용이 높기 때문에, 대규모 응용 분야에서는 2차 비용(quadratic cost) 하에서 가우시안 분포의 닫힌 형식 해(closed-form solution)에 의존하는 경우가 많습니다. 본 연구는 가우시안 및 2차 비용 기반 OT와 내적 GW(IGW) 정렬을 포괄적으로 다루며, 문헌에 존재하는 몇 가지 공백을 해소하여 적용 범위를 확장합니다. 먼저, 가분 힐베르트 공간 상의 중심화되지 않은(uncentered) 가우시안 간의 IGW 정렬이라는 미해결 문제를 다루며, 등장 사상 및 공등장 사상(유한 차원에서는 직교 행렬)에 대한 2차 최적화를 통해 엄밀한 변분 특성화를 제시하고 이에 대한 긴밀한 해석적 상한 및 하한을 도출합니다. 적어도 하나의 가우시안 측도가 중심화되어 있는 경우, 해는 완전한 닫힌 형식의 표현식으로 단순화되며, 이를 중심화된 가우시안 간의 IGW 무게중심(barycenter)에 대한 해석적 해로 확장합니다. 또한 쌍별(pairwise) 2차 비용을 갖는 가우시안 다중 주변(multimarginal) OT를 다루기 쉬운(tractable) 최적화 문제로 환원하고, 이 문제의 모든 2차 정류점(second-order stationary point)이 전역 최적임을 증명합니다. 본 접근법의 유용성을 입증하기 위해, 이미 학습된 언어 모델 증류의 임베딩 분포를 비교하고 텍스트 임베딩의 공분산 스펙트럼을 사용하여 합성 사용자를 클러스터링합니다.

arXiv:2609.40075v2cs.LG

희소 정규화 부분 최적 운송을 위한 가속 알고리즘

Accelerated Algorithm for Sparse Regularized Partial Optimal Transport

부분 최적 운송(Partial Optimal Transport, POT)은 엄격한 질량 보존 제약을 완화하여 고전적인 최적 운송 문제를 확장하며, 이를 통해 광범위한 실세계 응용에 활용될 수 있다. 이러한 환경의 다수에서는 해석 가능성과 계산상의 이점 때문에 희소한 운송 계획(sparse transport plan)이 선호된다. 이차(quadratic) 또는 엘라스틱넷(elastic net)과 같은 매끄럽고 강하게 볼록한(strongly convex) 정규화 항(regularizer)은 다양한 머신러닝 응용에서 희소성을 유도하고 계산을 가속하기 위해 광범위하게 사용되어 왔지만, 계산적 POT에 대한 엔트로피 기반 접근법에 비해 알고리즘적으로 상대적으로 적은 주목을 받아왔다. 본 논문에서는 패널티 기반 재구성(penalty-based reformulation)을 통해 이러한 정규화 항을 활용하는 새로운 최적화 프레임워크를 제안하며, 원래 문제의 구조를 보존하면서도 효율적인 그래디언트 기반 업데이트를 가능하게 한다. 본 방법은 구조화되고 희소한 운송 계획을 촉진하는 광범위한 정규화 항 계열을 수용한다. 이 공식화를 기반으로, 매끄러운 업데이트와 단순한 투영(projection) 단계를 번갈아 수행하는 가속 1차 알고리즘(accelerated first-order algorithm)을 설계한다. 색상 전이(color transfer), 도메인 적응(domain adaptation), 포인트 클라우드 정합(point cloud registration)에 대한 실증적 벤치마크 결과, 본 접근법은 더 낮은 운송 비용, 더 높은 희소성, 더 빠른 수렴을 달성하며 기존 베이스라인을 꾸준히 능가하여, 현대적인 운송 문제에 대한 실용적이고 확장 가능한 해법임을 보여준다.

arXiv:2610.02395v1cs.AI

FlashSinkhorn 2: 블록 희소 엔트로피 최적 수송

FlashSinkhorn 2: Block-Sparse Entropic Optimal Transport

FlashSinkhorn과 같은 엔트로피 최적 수송(EOT)을 위한 스트리밍 GPU 솔버는 밀집 커널 저장을 방지하지만, 여전히 모든 Sinkhorn 반복(iteration)마다 $n\times m$개의 모든 점 쌍을 평가합니다. 본 논문에서는 두 단계를 결합하여 단일 GPU에서 대규모 이산 EOT 문제를 규정된 한계 잔차까지 해결하는 저차원 포인트 클라우드 상의 제곱 유클리드 비용 솔버인 FlashSinkhorn 2(FS2)를 제시합니다. 대략적인 단계(coarse stage)에서는 셀 중심점에서 문제를 풀고 포텐셜을 모든 점으로 끌어올린(lift) 후, 샘플링된 한계 검사에서 리프트가 거부되면 중심점에서 계속 진행하여 대부분의 점 수준 업데이트를 대체합니다. 그런 다음 블록 희소 미세 단계(block-sparse fine stage)를 통해 대략적인 업데이트로 해결할 수 없는 중심점 오차를 제거합니다. 이 단계의 Morton 순서 블록은 스크리닝과 융합된 텐서 코어 실행을 지원하며, 블록 질량에 의해 설정된 임계값은 생략된 각 타일(tile)이 모든 행과 열에 미치는 기여도를 제한합니다. 합성 벤치마크에서 FS2는 32개 문제 전체에서 목표 잔차에 도달한 반면, GeomLoss 다중 스케일은 10개에서만 도달했습니다. 단일 A100에서 FS2는 우주론적 $N$-바디 시뮬레이션의 두 $1.34\times10^8$ 입자 측도 간 이산 EOT를 평균 입자 간 거리와 동일한 엔트로피 블러에서 2.5시간 이내에 0.01 미만의 전체 입자 한계 잔차로 해결합니다. 우리가 아는 한, 이는 몇 시간 내에 이 정도의 정확도로 해결된 가장 큰 이산 EOT 문제입니다. 재현성을 위해 오픈소스 구현체를 https://github.com/ot-triton-lab/flash-sinkhorn 에 공개합니다.

arXiv:2610.03221v1cs.CV

VDOT++: 불균형 최적 수송 증류를 통한 통합 소수 단계 비디오 생성

VDOT++: Unified Few-Step Video Generation via Unbalanced Optimal Transport Distillation

비디오 생성은 텍스트-비디오(T2V), 이미지-비디오(I2V), 조건 기반 생성을 아우르지만, 비디오 확산 모델은 샘플링 과정에서 대규모 백본을 반복적으로 평가해야 하므로 여전히 많은 비용이 듭니다. 분포 매칭 증류(DMD)는 이러한 비용을 줄여주지만, 학생(student)과 교사(teacher) 분포 간의 중첩이 제한적일 때 역 쿨백-라이블러(KL) 발산 목표가 불안정하거나 불완전한 유도를 제공할 수 있습니다. VDOT은 명시적 결합을 통해 조건 기반 생성에 기하학적 방향을 제공하는 최적 수송 증류(OTD)를 추가하여 이 문제를 해결했습니다. 그러나 균형 OTD는 상응하는 각 학생-교사 프레임 쌍의 공간 토큰 간에 전체 질량 매칭을 수행합니다. 하나의 조건이 여러 유효한 출력을 허용하고 서로 다른 구현 간에 공간적 내용이 일치할 필요가 없는 T2V 및 I2V에서는 이러한 가정이 약화됩니다. 본 논문에서는 세 가지 태스크 군의 생성기에 동일한 학습 레시피를 개별적으로 적용하는 통합 증류 프레임워크인 VDOT++를 제시합니다. VDOT++는 교사 토큰의 커버리지를 유지하면서 신뢰할 수 없는 학생 토큰이 더 적은 질량을 갖도록 허용하는 비대칭 불균형 정식을 통해 출력 다양성에 견고하도록 OTD를 개선합니다. 또한 $\ell_1$ 지상 비용(ground cost)은 평균 기반 집계를 보다 모드를 잘 보존하는 가중치 중앙값으로 대체하여 먼 수송 대상의 영향을 제한합니다. 이 두 가지 변화는 각각 누구와 매칭할지, 그리고 선택된 대상을 어떻게 집계할지를 결정합니다. 아울러 순차적 역전파를 통해 분포 매칭과 적대적 개선을 결합하고, 더 큰 스코어 네트워크가 소형 생성기를 개선하는 교차 스케일 증류를 위해 분리된 스코어 네트워크를 활용합니다. UVCBench, VBench, VBench-I2V 및 VACE 벤치마크에 대한 실험 결과, 이를 통해 도출된 4단계 생성기가 세 가지 태스크 군 모두에서 다단계 교사 모델 및 강력한 소수 단계 베이스라인과 견줄 만한 성능을 보임을 입증합니다.

arXiv:2609.32824v2cs.CV

3D 모델링을 위한 측지선 그로모프-바서슈타인 거리의 활용

Unlocking Geodesic Gromov-Wasserstein Distances for 3D Modeling

그로모프-바서슈타인 거리(Gromov-Wasserstein Distances, GWD)는 최적 수송(optimal transport) 이론의 기법을 적용하여 서로 다른 거리 공간(metric space)에 정의된 확률 분포를 비교하는 정량적 방법을 제공합니다. 이에 따라 GWD는 그래프 매칭 문제부터 3D 객체 검출(object detection)에 이르기까지 매우 다양한 응용 분야에서 잠재적으로 유용할 수 있습니다. 그러나 대규모 환경에서의 실제 사용은 조밀한 공간 내 거리 행렬을 포함하는 삼차 시간 복잡도(cubic time complexity) 연산으로 인해 크게 제한됩니다. 유클리드 거리 공간에서는 이를 해결하기 위해 확장 가능한 커널(kernel) 방법 등을 포함한 여러 기법이 제안되었으나, 우리가 아는 한 다양체(manifold) 상의 일반적인 측지선 거리(geodesic distance)나 이산화된 형태의 그래프 상 최단 경로 거리에 대한 유사한 기법은 개발되지 않았습니다. 본 논문에서는 최근 도입된 GenusSink 기법과 랜덤 피처(random feature) 이론을 활용하여 엔트로피 싱크혼(Sinkhorn) 유사 접근법으로 측지선 그로모프-바서슈타인 거리를 계산하도록 설계된 새로운 효율적 알고리즘 군인 EGGroW(Efficient Geodesic Gromov-Wasserstein methods)를 제시합니다. 우리는 중요한 다운스트림 응용 분야로서 3D 자세 추정(pose estimation)과 3D 템플릿 검출을 제시합니다. 후자의 설정에서는 부분적인 3D 템플릿 복원을 단계별 문제로 정식화하여, 용량 제한적 장면 선택 후 템플릿 가시성 및 대응 관계의 준이완(semi-relaxed) 복원이 이어지도록 합니다. 실증적 결과는 표준 유클리드 기반 기법이 실패하는 경우에도 EGGroW가 정확한 해를 제공하며, 이론적 분석이 예측하듯이 가벼운 계산량 발자국(computational footprint)을 특징으로 함을 보여줍니다.

arXiv:2609.27633v2cs.LG

Pheno-GS: Phenoscape 규모의 지오데식 싱크혼

Pheno-GS: Phenoscape-scale Geodesic Sinkhorn

고처리량 단일 세포 데이터는 이제 대규모 환자 코호트 전반에 걸쳐 수집되고 있다. 세포 수준 데이터로부터 환자 수준의 이질성을 이해하려는 동기에서 phenoscaping이 등장했는데, 이는 각 단일 세포 분포를 하나의 "데이터 포인트"로 임베딩(embedding)하고 그 사이의 거리를 최적 수송(optimal transport, OT)으로 정의하는 방식이다. 모든 환자 데이터셋 쌍 사이에서 이러한 규모로 기하 구조를 반영하는 OT를 계산하는 것은 여전히 해결되지 않은 과제로 남아 있다. 기존 방법은 매니폴드 구조를 왜곡하는 유클리드 그라운드 메트릭에 의존하거나, 희소하거나 불균등하게 샘플링된 데이터 또는 대규모 데이터에서 제대로 작동하지 않기 때문이다. 본 논문에서는 노이즈가 있고 불균형(unbalanced)하며 대규모인 환경에서도 정확하고 확장 가능한 지오데식 수송 거리를 계산하는 \textbf{Pheno-GS}(Phenoscape-scale Geodesic Sinkhorn)를 제안한다. Pheno-GS는 세 가지 구성 요소로 이루어진다. ($1$) 희소하거나 연결이 끊어진 매니폴드에서도 지오데식이 잘 정의되도록 하는 그래프 연결성 정규화(regularization), ($2$) KL 주변 분포(marginal) 페널티를 통한 불균형 OT 정식화, ($3$) 한 번의 열 확산(heat diffusion)으로 모든 쌍별 거리를 계산하는 배치 행렬 알고리즘(분포 $500$개 기준 Geodesic Sinkhorn보다 $200 \times$ 이상 빠름). 우리는 합성 벤치마크와 CyTOF 섭동(perturbation) 데이터셋(dataset)에서 Pheno-GS를 검증한다.

arXiv:2610.00785v1cs.CV

VTV-FM: 변분 종단 속도 종결을 통한 플로우 매칭

VTV-FM: Flow Matching through Variational Terminal-Velocity Closure

플로우 매칭(Flow Matching, FM)은 단순한 소스 분포에서 데이터 분포로 향하는 연속 시간 움직임을 피팅하여 생성적 수송을 학습합니다. 기존 방식의 대부분은 1차 브릿지(first-order bridge)를 사용합니다. 즉, 소스와 타깃 샘플이 쌍을 이루면 경로는 일정한 속도를 갖는 직선 운동이 됩니다. 최적 수송(Optimal Transport, OT) 기반의 플로우 매칭은 페어링을 개선하지만 브릿지 자체는 선형으로 유지되므로 곡선 운동, 가속도 및 방향 변화를 모델링하는 데 한계가 있습니다. 자연스러운 해결책은 2차 위상 공간 역학(second-order phase-space dynamics)을 사용하는 것이지만, 브릿지를 학습하려면 정적 데이터셋에서는 제공되지 않는 타깃 측 종단 속도(terminal-velocity) 정보가 필요합니다. 본 논문에서는 가속도 에너지를 최소화하여 누락된 속도를 도출하고 정적 데이터에 대한 닫힌 형태의 종결(closed-form closure)을 제공하는 2차 FM 프레임워크인 변분 종단 속도 플로우 매칭(Variational Terminal-Velocity Flow Matching, VTV-FM)을 제안합니다. 동일한 최소 가속도 변분 구성은 학습에 사용되는 가속도 타깃과 OT 페어링 비용도 정의합니다. 저차원 데이터셋, 편미분 방정식(PDE) 지배 물리장, CIFAR-10에 대한 실험 결과, VTV-FM이 기존 1차 및 고차 FM 베이스라인 대비 수송 기하학(transport geometry)과 생성 품질을 개선함을 보여줍니다.

arXiv:2609.27785v1q-fin.RM

준이산 최적 수송(Semi-Discrete Optimal Transport)을 통한 립시츠 연속성을 넘어선 금융 꼬리 위험 분석

Financial Tail Risk Beyond Lipschitz Continuity via Semi-Discrete Optimal Transport

금융 수익률은 두꺼운 꼬리(heavy-tailed) 분포를 따르며, 정확한 꼬리 위험 추정은 포트폴리오 리스크 관리의 핵심이다. 최신 신경망 생성 모델은 단순한 기저 분포를 학습된 사상(map)에 통과시켜 표본을 생성하며, 학습 안정성을 위해 이 사상은 립시츠(Lipschitz) 구성 요소로 만들어진다. 바로 이것이 결정적인 제약이다. 가우시안의 립시츠 사상은 서브가우시안(sub-Gaussian)이므로, 꼬리가 더 두꺼운 목표 분포는 어떠한 유한한 립시츠 상수에서도 정확 일치(exact match)를 이룰 수 없다. Monge–Ampère 방정식은 Brenier 사상의 국소적 왜곡을 밀도비 $f/(g\circ T)$와 연결하므로, 목표 밀도의 골이 깊을수록 더 높은 이득(gain)을 가진 사상이 필요하고 추정량의 분산도 더 커진다. 이 논증은 유계 왜곡(bounded distortion)만을 요구하므로, 정규화 플로(normalizing flow), 플로 매칭(flow matching), GAN, 확산(diffusion) 샘플러를 모두 포괄한다. 준이산 최적 수송(Semi-Discrete Optimal Transport, SDOT)은 소스의 꼬리 부류가 아니라 사상의 정則성(regularity)을 완화한다. SDOT의 파워 다이어그램(power diagram)은 학습 관측치마다 소스 측도의 정확히 $1/N$을 담는 셀을 부여하며, 꼬리 관측치는 사상을 늘려서가 아니라 셀 경계를 넘어 도달한다. 주요 실험에서는 첨도(kurtosis) 94에서 1,679에 이르도록 보정된 Merton 점프-확산(jump-diffusion) 모형의 심각도를 변화시키며 평가한다. SDOT는 꼬리 비율을 $0.85$--$0.94$로 유지하고 시드 간 표준편차도 $0.025$ 미만인 반면, 학습 기반 생성 모델은 모두 꼬리를 압축하거나, 그렇지 않으면 함께 커지는 분산과 함께 꼬리를 부풀린다. 추가 실험에서는 이 결과를 실제 S&P~500 수익률과 21년간의 백테스트로 확장하며, 여기서 SDOT는 CVaR 최적화 하에서 위험 조정 성과가 가장 우수한 시장중립 전략을 제공한다(샤프 비율 $0.70$, 최대 낙폭 $-2.60\%$이며, 차순위 생성 모델은 샤프 비율 $0.40$).