arXiv:2609.40075v2 cs.LG

희소 정규화 부분 최적 운송을 위한 가속 알고리즘

Accelerated Algorithm for Sparse Regularized Partial Optimal Transport

Khoa Nguyen, Dung T. Nguyen, Thong Huynh, Hoang-Hiep Nguyen-Mau, Anh Nguyen, Minh Ngoc Dinh, Juho Kannala

제출 2026-09-30

저자 비고

arXiv Comments

Withdraw for revision

한국어 초록

부분 최적 운송(Partial Optimal Transport, POT)은 엄격한 질량 보존 제약을 완화하여 고전적인 최적 운송 문제를 확장하며, 이를 통해 광범위한 실세계 응용에 활용될 수 있다. 이러한 환경의 다수에서는 해석 가능성과 계산상의 이점 때문에 희소한 운송 계획(sparse transport plan)이 선호된다. 이차(quadratic) 또는 엘라스틱넷(elastic net)과 같은 매끄럽고 강하게 볼록한(strongly convex) 정규화 항(regularizer)은 다양한 머신러닝 응용에서 희소성을 유도하고 계산을 가속하기 위해 광범위하게 사용되어 왔지만, 계산적 POT에 대한 엔트로피 기반 접근법에 비해 알고리즘적으로 상대적으로 적은 주목을 받아왔다. 본 논문에서는 패널티 기반 재구성(penalty-based reformulation)을 통해 이러한 정규화 항을 활용하는 새로운 최적화 프레임워크를 제안하며, 원래 문제의 구조를 보존하면서도 효율적인 그래디언트 기반 업데이트를 가능하게 한다. 본 방법은 구조화되고 희소한 운송 계획을 촉진하는 광범위한 정규화 항 계열을 수용한다. 이 공식화를 기반으로, 매끄러운 업데이트와 단순한 투영(projection) 단계를 번갈아 수행하는 가속 1차 알고리즘(accelerated first-order algorithm)을 설계한다. 색상 전이(color transfer), 도메인 적응(domain adaptation), 포인트 클라우드 정합(point cloud registration)에 대한 실증적 벤치마크 결과, 본 접근법은 더 낮은 운송 비용, 더 높은 희소성, 더 빠른 수렴을 달성하며 기존 베이스라인을 꾸준히 능가하여, 현대적인 운송 문제에 대한 실용적이고 확장 가능한 해법임을 보여준다.

원문 초록

Partial Optimal Transport (POT) extends the classical optimal transport problem by relaxing the strict mass conservation constraint, enabling its use in a wide range of real-world applications. In many of these settings, sparse transport plans are preferred for their interpretability and computational benefits. While smooth and strongly convex regularizers - such as quadratic or elastic net - have been vastly used in various machine learning applications to induce sparsity and accelerate computation, they have received less algorithmic attention compared to entropic approaches for computational POT. In this paper, we propose a new optimization framework that leverages these regularizers through a penalty-based reformulation, enabling efficient gradient-based updates while preserving the structure of the original problem. Our method accommodates a broad class of regularizers that promote structured and sparse transport plans. Building on this formulation, we design an accelerated first-order algorithm that alternates between smooth updates and simple projection steps. Through empirical benchmarks on color transfer, domain adaptation, and point cloud registration, our approach consistently outperforms established baselines - achieving lower transport cost, higher sparsity, and faster convergence - making it a practical and scalable solution for modern transport problems.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.40075v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22486v1cs.CV공통 태그 Domain Adaptation, optimal transport

제어 밸브 스틱션 탐지를 위한 최적 수송(Optimal Transport) 이미지 표현 및 심층 공분산 정렬(CORAL)

Optimal Transport Image Representation and Deep Covariance Alignment (CORAL) for Control Valve Stiction Detection

제어 밸브 스틱션은 산업 공정에서 원치 않는 진동과 제어 루프 성능 저하의 흔한 원인이다. 데이터 기반 방법은 스틱션을 자동으로 탐지할 수 있지만, 순수하게 시뮬레이션 데이터로 학습된 모델은 도메인 이동(domain shift)으로 인해 실제 산업 제어 루프에 일반화하기 어렵다. 이 격차를 해소하기 위해, 본 연구는 최적 수송(OT) 영상 기법과 심층 상관 정렬(Deep CORAL) 알고리즘을 결합한 새로운 스틱션 탐지 방법론을 제안한다. 폐루프 신호인 제어기 출력과 공정 변수(process variable)를 2차원 OT 이미지로 변환한다. 이 이미지들은 제어 루프의 동적 거동을 포착한다. 제안된 방법론은 라벨이 있는 시뮬레이션 데이터에 대한 교차 엔트로피 손실과, 시뮬레이션 데이터와 라벨 없는 대상 도메인 산업 데이터 간의 Deep CORAL(공분산 정렬) 손실을 최적화하는 결합 목적 함수를 통해 도메인 불변 표현을 학습하도록 훈련된 합성곱 신경망(CNN) 인코더(또는 특징 추출기)를 포함한다. 도메인 불변 대상 특징으로 학습된 하류 분류기는 산업 스틱션 데이터 벤치마크의 20개 벤치마크 루프로 구성된 독립 테스트 세트에서 평가되었다. 제안된 방법론은 20개 루프 중 18개를 성공적으로 진단했으며, 13개의 스틱션 사례 전체에서 재현율 100%, 정확도 90.00%, F1 점수 92.86%를 달성했다. 표준 기준선 접근법(수작업 특징 기반 방법)과 비교하여, 제안된 방법론은 도메인 이동을 크게 완화하여 실제 산업 제어 루프에 대한 견고하고 매우 신뢰할 수 있는 스틱션 탐지를 제공한다.

arXiv:2607.21546v1cs.CV공통 태그 Domain Adaptation, optimal transport

UnDA: 의료 영상에서 교차 모달 지식 전이를 위한 비쌍 도메인 정렬

UnDA: Unpaired Domain Alignment for Cross-Modal Knowledge Transfer in Medical Imaging

다중 모달 기반 접근법은 서로 다른 모달리티가 상보적인 정보를 제공하기 때문에 다운스트림 태스크에서 단일 모달리티 접근법보다 종종 더 우수한 성능을 보이지만, 실제 시나리오에서는 쌍을 이룬 임상 데이터를 확보하는 것이 여전히 큰 과제로 남아 있다. 교차 모달 지식 증류가 이를 해결하지만, 기존 방법들은 큰 모달리티 간격과 불확실한 소스 도메인 예측으로부터 발생하는 노이즈 전파에 종종 어려움을 겪는다. 이러한 과제를 극복하기 위해, 우리는 비쌍 교차 모달 지식 증류를 위한 앵커 기반 프레임워크인 UnDA를 제안한다. 우리 접근법은 어텐션 기반 풀링 메커니즘을 통해 의미적으로 구조화된 클래스 토큰을 추출하는 백본 불문 정렬 모듈(Alignment Module)을 도입한다. 견고한 지식 전이를 보장하기 위해, 예측 신뢰도에 따라 특징 수준 정렬에 동적으로 가중치를 부여하여 노이즈가 많은 지도를 효과적으로 억제하는 불확실성 가중 최적 수송(Uncertainty-Weighted Optimal Transport, UCT-OT)을 제안한다. 또한, 클래스별 ProtoNCE 목적 함수는 안정적인 프로토타입 메모리를 유지하여 비쌍 배치 전반에 걸쳐 전역 판별력을 강화한다. 엄격한 비쌍 설정 하에서 대표적인 분할(segmentation) 태스크에 대한 평가는 대상 모달리티에서 정확도와 경계 정밀도의 일관된 향상을 보여 주며, 쌍을 이룬 데이터셋 없이도 이질적인 데이터 소스 간에 의미 있는 구조적 지식을 전이할 수 있음을 입증한다.

arXiv:2607.09450v1cs.CV공통 태그 Domain Adaptation, optimal transport

테스트 타임 프롬프트 적응을 통한 비전-언어 모델의 강건화

Robustifying Vision-Language Models via Test-Time Prompt Adaptation

CLIP과 같은 사전학습된 비전-언어 모델(VLM)은 강력한 제로샷 일반화 성능을 달성하지만, 적대적 섭동(adversarial perturbation) 하에서 성능이 급격히 저하된다. 기존의 테스트 타임 적응 방법들은 일반적으로 샘플 수준의 신뢰도 휴리스틱에 의존하며, 데이터의 내재적 분포 구조를 간과한다. 이러한 샘플 중심적 접근법은 높은 신뢰도의 적대적 오분류와 진정한 의미적 일관성을 구별하지 못하기 때문에 강건성을 제한한다. 본 연구에서, 우리는 적대적 왜곡이 구조적으로 취약하다는 점을 관찰한다. 즉, 전체적인 표현은 손상되더라도 의미적 무결성은 증강된 뷰의 분포 내에 종종 보존된다. 이러한 통찰을 바탕으로, 우리는 샘플 수준 추정에서 분포 수준 정렬로 전환하는 강건한 테스트 타임 프롬프트 적응 프레임워크 RITA(Robust test-tIme prompt-TAdaptation)를 제안한다. 구체적으로, RITA는 최적 수송(optimal transport)을 활용하여 증강된 시각적 특징의 분포를 텍스트 프로토타입과 정렬함으로써 적대적 이상치를 완화하고 교차 모달 의미적 불일치를 교정한다. 또한, 테스트 스트림에서 신뢰할 수 있는 단서를 점진적으로 축적하여 온라인 개선에 활용하는 동적 캐시를 도입한다. 광범위한 실험을 통해 RITA가 클린 정확도를 손상시키지 않으면서 적대적 강건성을 크게 향상시킴을 입증한다.

arXiv:2607.04809v1stat.ML공통 태그 Domain Adaptation, optimal transport

데이터 증류를 통한 표 형식 기반 모델의 컨텍스트 제약 전이학습

Context-Constrained Transfer Learning for Tabular Foundation Models via Data Distillation

표 형식 기반 모델(TFMs)은 문맥 내 학습을 통한 블랙박스 추론 엔진으로서 강력한 실증적 성능을 보여왔다. 그러나 전이학습에서의 활용은 두 가지 장애물로 인해 제한된다: 엄격한 컨텍스트 크기 제약과 소스 및 타겟 태스크 간 분포 이동에 대한 민감성. 따라서 이종 소스 데이터를 직접 풀링하면 부정적 전이가 발생할 수 있다. 이러한 문제를 해결하기 위해, 우리는 앵커링 및 증류를 통한 컨텍스트 제약 전이학습(TL-ANDI)을 제안한다. TL-ANDI는 TFM을 위한 사후분포 인식 증류 프레임워크로, 타겟 공변량 커버리지와 사후분포 호환성을 공동으로 측정하는 비용 함수를 갖는 예산 제약 최적 수송 문제를 풀어 간결한 소스 컨텍스트를 구성한다. 선택된 앵커 샘플에는 로컬 증류 레이블이 부여되고, 타겟 데이터를 활용하는 잔차 보정 단계와 결합된다.

arXiv:2606.30523v1cs.LG공통 태그 Domain Adaptation, optimal transport

ITSPACE: 단조 가우시안 최적 수송 업데이트

ITSPACE: Monotone Gaussian Optimal Transport Updates

공분산 행렬은 도메인 적응(domain adaptation) 및 가우시안 임베딩을 포함한 많은 머신러닝 파이프라인에서 특징 분포의 간결한 기술자(descriptor) 역할을 한다. 중심화된 가우시안 근사 하에서, 비정규화 Wasserstein-2 최적 수송(OT) 불일치는 대칭 양정치(SPD) 콘 위의 Bures-Wasserstein(BW) 목적 함수로 주어지는 공분산에 대한 폐쇄형 해를 허용한다. 우리는 ITSPACE(Iterative Transport for Stable Proximal Alignment of Covariance Embeddings)를 제안한다. 이는 제곱근 인수분해에서의 폐쇄형 업데이트를 통해 이 정확한 BW 목적 함수를 직접 최적화하는 근위 주요화-최소화(proximal majorization-minimization) 방법이다. 정확한 산술 연산에서 각 반복은 BW 목적 함수에 대한 충분 감소 부등식을 만족하며, 비정확한 극(polar) 계산 하에서는 정확한 하강으로부터의 편차를 제어하는 명시적 인증-격차 경계(certificate-gap bound)를 제공한다. 결과적인 반복은 구조적으로 양반정치(PSD) 구조를 보존하고 계수 제한 인수(rank-restricted factors)를 자연스럽게 지원하므로, ITSPACE는 엄격한 스텝 및 연산 예산 하에서 레이블 없는 타깃 배치로부터 적응이 수행되어야 하는 환경에서 경량 내부 루프 기본 연산(inner-loop primitive)으로 적합하다. 실제 공분산 정렬 벤치마크에서 ITSPACE는 BW-경사하강법, 다른 공분산 기하학에 기반한 방법들, 엔트로피 정규화 샘플-OT 기준선보다 실질적으로 빠르게 낮은 BW-격차 해에 도달한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.