토큰 자기회귀로 최적 수송 계획 학습하기
Learning Optimal Transport Plans Via Autoregressive Token Regression
한국어 초록
최적 수송(OT)은 확률분포 사이의 비용을 최소화하는 결합을 구하는 이론적 틀이다. 전통적인 풀이기는 여전히 이 과제의 표준이다. 동시에 OT는 학습을 통해 반복 계산 비용을 분산하는 모델이 문제 구조를 내재화할 수 있는지 연구하기 좋은 시험 대상이다. 참값 해가 있고 주변분포 제약을 명시할 수 있으며, 정확한 이산 해의 희소성도 잘 알려져 있기 때문이다. 이산 OT 계획을 토큰 자기회귀로 예측하는 트랜스포머 기반 모델 ToR-OT를 제시한다. OT를 구조화된 시퀀스 생성 과제로 바꿔 테스트 시점에 최적화 문제를 푸는 대신 희소 수송 계획을 시퀀스로 디코딩한다. 세 가지 특성을 살핀다. (a) 제로샷 일반화. 합성 OT 사례의 대규모 말뭉치에서 사전학습하면 단일 모델이 재학습 없이 새로운 분포 쌍과 여러 비용 척도에 일반화할 수 있다. (b) 희소 원문제 디코딩. 정확한 이산 OT 해의 희소성을 활용해 조밀한 결합을 출력하지 않고 0이 아닌 항목만 예측한다. (c) 연산 비용을 분산한 추론. 저차원 이산 문제에서 정확한 근사 계획을 만들며, 사례마다 최적화하는 신경망 OT 기준선과 비교해 경쟁력이 있다. ToR-OT는 아직 전통적인 풀이기를 대체할 수 없으나, 자기회귀 트랜스포머가 OT와 같은 제약 최적화 문제의 구조를 어떻게 학습하는지 이해하는 데 도움이 된다.
원문 초록
Optimal Transport (OT) provides a principled framework for finding the minimum cost coupling between probability distributions. Classical solvers remain the gold standard for this task. At the same time, OT is an ideal testbed for studying whether learning-based amortized models can internalize the structure of OT type problems. Here, ground-truth solutions are available and marginal constraints are explicitly defined. Also, exact discrete solutions have well-characterized sparsity. We describe ToR-OT, a transformer-based model that learns to predict discrete OT plans through autoregressive token regression. We reframe OT into a structured sequence generation task. ToR-OT decodes sparse transport plans as sequences instead of solving an optimization task at test time. We focus on three properties: (a) Zero-shot generalization: pretraining on a large synthetic corpus of OT instances allows a single model to generalize to unseen distribution pairs and heterogeneous cost metrics without retraining, (b) Sparse primal decoding: by exploiting the inherent sparsity in exact discrete OT solutions, the decoder predicts only nonzero entries (avoids dense coupling outputs), (c) Amortized inference: on low-dimensional discrete problems, ToR-OT gives accurate approximate plans and compares favorably with per-instance neural OT baselines. Overall, ToR-OT is not yet a replacement for classical solvers, but a step toward understanding how autoregressive transformers can learn structure of constrained optimization problems like OT.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22218v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.