PyTorchKR Papers

최신 논문

총 9편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.23009v1cs.LG

조합 최적화 문제를 위한 동적 프로그래밍 계산 과정의 재활용: 리저voir 컴퓨팅 접근법

Recycling computational processes of dynamic programming for combinatorial optimization problems: a reservoir computing approach

이전에 계산된 결과를 재사용하는 것은 계산 비용을 줄이기 위한 오래된 원칙이지만, 이러한 재사용은 대체로 단일 문제의 계산에 국한되어 왔다. 동시에 풀리는 여러 문제 간에 계산 과정을 공유하는 것은 원칙적으로 가능하지만, 비자명한 교차 과제 관계를 활용하는 알고리즘을 설계하는 것은 수동으로 하기 어렵다. 여기서 우리는 머신러닝을 사용하여 그러한 알고리즘을 자동으로 발견한다. 구체적으로, 리저voir 컴퓨팅(reservoir computing)을 기반으로, 조합 최적화 문제에 대한 동적 프로그래밍이 기록한 계산 결과를 선형 회귀의 특징(feature)으로 사용하고, 이를 활용하여 다른 조합 최적화 계산을 보조하는 방법을 제안한다. 우리는 외판원 문제(traveling salesman problem)와 부분합 문제(subset sum problem)에서 이 접근법을 검증한다. 동적 프로그래밍 과정을 다중화(multiplexing)하면 일반적인 특징 대비 근사 정확도가 향상되고, 독립적으로 풀었을 때와 비교하여 계산 시간이 단축된다. 이 결과는 기존의 계산 설계와는 다른, 여러 과정이 중간 결과와 상태를 효율적으로 공유하고 재활용하는 새로운 형태의 계산을 시사한다.

arXiv:2607.19914v1cs.AI

위험 하에서의 장기 순차적 의사결정

Long-Term Sequential Decision Making under Risk

우리는 총 수익(return) 분포에 순위 의존 함수(rank-dependent functional)를 적용하는 \emph{root-based}(resolute) 위험 목표 하에서의 유한 수평선(finite-horizon) MDP 계획을 연구한다. 이러한 목표는 수익 분포에 대해 비선형이며 일반적으로 Bellman 최적성을 깨뜨리므로, 시나리오 트리 열거를 통한 직접 최적화는 계산적으로 불가능하다. 우리는 \textbf{ERQDP}를 제안한다. 이는 열거 없이(enumeration-free) 샘플링 없이(sampling-free) 순위-분위(rank-quantile) 대리 문제를 정확한 DP(Dynamic Programming)로 풀고, 이산화된 수익 격자 위에서 수익 확률질량함수(PMF)에 대한 DP로 후보 정책을 정확히 평가하며(명시적 반올림 경계 포함), 이산화 예산까지 목표 함수에 대한 명시적 상한-하한 간격(증명서)을 보고하는 anytime 루프에서 대리를 정교화한다. 테스트된 벤치마크 전반에서 ERQDP는 인증된 해법 또는 명시적 잔여 간격을 반환하고, 상당한 실행 시간 향상과 함께 빠른 위험 매개변수 스윕을 가능하게 하며, 위험 회피 및 위험 추구 행동을 모두 지원한다.

arXiv:2510.14317v2math.OC

도메인 독립적 동적 계획법을 이용한 컬럼 생성

Column Generation with Domain-Independent Dynamic Programming

컬럼 생성과 분기-가격(branch-and-price, B&P)은 대규모 정확 최적화를 위한 주요 수리 최적화 방법으로, 마스터 문제와 가격 결정 문제를 번갈아 풀며 반복한다. 이산 최적화의 어려움으로 인해 고성능 컬럼 생성은 종종 문제 구조를 활용하도록 특별히 구축된 맞춤형 가격 결정 알고리즘에 의존한다. 가격 결정 솔버의 이러한 맞춤형 특성은 컬럼 생성을 문제별 방법으로 만들고, 다양한 문제에 걸쳐 일반적 구현을 사용하는 것을 저해한다. 우리는 동적 계획법을 위한 모델 기반 패러다임인 도메인 독립적 동적 계획법(DIDP)이 일반적인 가격 결정 솔버로 사용될 수 있음을 보인다. 우리는 전형적인 가격 결정 문제에서 더 나은 성능을 달성하기 위해 DIDP에 대한 새로운 모델링 기능과 해법 알고리즘을 개발한다. 우리는 네 가지 문제 클래스에서 DIDP를 이용한 가격 결정을 포함한 B&P 구현이 기존 자동화 B&P 솔버 및 혼합 정수 계획법(mixed-integer programming)이나 제약 프로그래밍(constraint programming)을 이용한 가격 결정 B&P보다 경험적으로 우수함을 입증한다.

arXiv:2607.09461v1q-fin.CP

1차 조건을 활용한 재귀적 효용 동적 프로그래밍을 위한 심층 학습

Deep Learning for Dynamic Programming with Recursive Utility Using First-order Conditions

본 논문은 재귀적 효용을 가진 이산 시간 동적 프로그래밍 문제를 풀기 위한 심층 학습 알고리즘인 확실성 등가 1차 학습(CEFOL) 알고리즘을 제안한다. 재귀적 효용을 가진 동적 프로그래밍은 비선형 확실성 등가가 벨만 방정식과 1차 최적성 조건에 나타나지만 평가하기 어렵기 때문에 다루기 까다롭다. 확실성 등가를 표현하기 위한 별도의 신경망을 도입함으로써, CEFOL은 벨만 조건과 모델 특화 1차 최적성 조건의 활용을 가능하게 한다. 확실성 등가 외에도, CEFOL은 모델 특화 1차 조건을 이용하여 최소화할 잔차를 구성함으로써 가치 함수, 정책 함수, 라그랑주 승수를 학습하는 데 신경망을 활용한다. 1차 잔차와 KKT 잔차를 이용하여 정책을 학습함으로써, CEFOL은 페널티 함수나 문제 특화 재정식화 없이도 간헐적 구속 제약을 포함한 제어 변수에 대한 일반적인 등식 및 부등식 제약을 직접 수용한다. 본 알고리즘을 위험 민감 및 엡스타인-진(Epstein--Zin) 소비-저축 문제, 소잡음 강건 제어 문제, 재귀적 선호와 확률적 변동성을 가진 DSGE 모델에 적용한다. 이러한 응용 전반에 걸쳐, 표본 외 벨만 진단 지표와 모델 특화 최적성 잔차(해당하는 경우 오일러 잔차 또는 1차 잔차 포함)는 관련 상태 영역에서 일반적으로 1.0e-4에서 1.0e-3 수준이며, 구속 제약 근방에서 더 큰 값을 보이고, 학습된 가치 함수 및 정책 함수는 이용 가능한 경우 VFI 벤치마크와 밀접하게 일치한다. 기대 효용은 재귀적 효용의 특수한 경우이므로, CEFOL 알고리즘은 기대 효용을 가진 동적 프로그래밍 문제에도 적용된다.

arXiv:2607.05692v1stat.ME

계층적 베이지안 모델에서 혼합 가중치의 사후 분포 정확 계산

Exact computation of posterior distribution of mixture weights in hierarchical Bayesian models

계층적 혼합 모델(hierarchical mixture model)에서 혼합 가중치의 주변화(marginalization)를 정확히 수행하는 알고리즘을 제안하며, 2-성분 경우에 대해 $O(n^2)$ 동적 프로그래밍과 $O(n\log^2 n)$ FFT 변형을 통해 가중치의 사후 분포가 Beta 분포의 유한 혼합임을 증명한다. 소표본 희소 신호 환경에서 EM이 구간 추정을 제공하지 못하거나 가우시안/라플라스 근사가 오보정되는 상황에서도 샘플링 없이 보정된 신뢰 구간과 국소 위발견율(local FDR)을 MCMC 대비 두 자릿수 빠른 속도로 제공한다.

arXiv:2607.04278v1q-fin.CP

재귀적 효용함수를 이용한 동적 프로그래밍을 위한 심층 학습

Deep Learning for Dynamic Programming with Recursive Utility

재귀적 효용함수(recursive utility)를 갖는 고차원 이산 시간 동적 프로그래밍 문제를 풀기 위한 최초의 딥러닝 알고리즘인 확실성 등가 학습(CEL, Certainty Equivalent Learning)을 제안하며, 신경망으로 가치 함수, 정책 함수, 확실성 등가 함수를 공동 근사하는 시뮬레이션 기반의 격자망 없는(mesh-free) 방식을 채택했다. Epstein-Zin DSGE, 소잡음 강건 제어, 다변량 전략적 자산 배분 등 다양한 벤치마크에서 기존 VFI 방식에 필적하는 정확도를 달성하면서도 고차원 상태·제어 공간으로의 확장성을 입증했다.

arXiv:2606.25593v1cs.LG

Low-Complexity Policy Tessellations in Structured Markov Decision Processes

We study optimal-policy geometry in structured Markov decision processes. While approximate dynamic programming and reinforcement learning typically approximate high-dimensional value functions, we show that optimal policies induce simpler decision tessellations. We propose boundary-based policy approximations that learn policy regions directly. A policy-loss decomposition links performance degradation to action margins and explains why errors concentrate near indifference boundaries. Inventory control and queue admission experiments show lower policy error, smaller value gaps, faster error decay, and stability than reinforcement learning baselines.

arXiv:2606.18972v1stat.ML

FOSC-X: 클러스터링 계층 구조에서 최적의 로컬 컷 및 비수평 클러스터 선택을 위한 확장된 프레임워크

FOSC-X: An Extended Framework for Optimal Local Cuts and Non-Horizontal Cluster Selection from Clustering Hierarchies

계층 구조에서 평면 클러스터링 솔루션을 추출하는 것은 실용적인 클러스터 분석에서 일반적인 작업이며 최적화 문제로 공식화할 수 있습니다. 기존 접근 방식은 단일 최적 솔루션을 찾는 데 초점을 맞춥니다. 우리는 FOSC-X를 소개합니다. 이는 계층적 클러스터 트리의 로컬하고 비수평적인 컷에서 상위 M개의 전역적으로 최적인 평면 클러스터링을 추출하는 프레임워크로, 선택적으로 클러스터 수에 대한 제약 조건을 적용할 수 있습니다. 이를 통해 계층 구조의 다양한 측면을 포착하는 여러 고품질의 대안적 클러스터링을 자동으로 식별할 수 있습니다. 제약 조건 없이, 상위 M 문제는 동적 계획법을 사용하여 다항 시간 내에 해결할 수 있으며, 이는 서브트리 내의 국소적으로 최적인 부분 후보들이 결합되어 전역적으로 최적인 솔루션을 형성하면서 클러스터 수를 자동으로 결정한다는 속성을 활용합니다. 그러나 이는 궁극적으로 바람직하지 않은 클러스터 수를 가진 솔루션으로 이어질 수 있습니다. 예를 들어, 의미가 없거나 특정 응용 분야에서 실질적으로 분석하기에 너무 많은 수입니다. 클러스터 수 제약 조건을 부과하면 국소적으로 최적인 부분 후보들이 더 이상 실행 가능한 전역적으로 최적인 솔루션으로 결합되지 않을 수 있으므로, 제약 없는 동적 계획법 접근 방식의 기반이 되는 최적성 속성이 깨집니다. FOSC-X는 실행 가능한 후보들의 컴팩트한 세트를 하한 및 상한 실행 가능성 경계를 사용하여 유지하면서 실행 불가능하거나 지배되는 조합을 가지치기(pruning)하는 동적 계획법 전략을 통해 이 문제를 해결합니다. 결과적인 방법은 클러스터 수 제약 조건의 유무에 관계없이, 클러스터 노드 수와 데이터셋(dataset) 크기에 대해 선형 시간 복잡도로 상위 M 솔루션의 최적 순위를 보장합니다. 실험 결과, FOSC-X는 단일 솔루션 추출 방법에서 간과된 대안적 클러스터링 구조를 효율적으로 드러냄을 보여줍니다.

arXiv:2606.17545v1cs.LG

심층 강화학습을 통한 연속 시간 최적 정지

Continuous-time Optimal Stopping through Deep Reinforcement Learning

최적 정지 문제를 위한 시뮬레이션 기반 솔버는 정지 결정을 이산화해야 합니다. 고전적 동적 계획법(dynamic programming)에서 소수의 정지 기회만을 갖는 거친 행사 격자는 최적 기대 보상(reward)을 현저하게 과소평가할 수 있으며, 반면 매우 세밀한 격자에서는 근사 오차가 역방향 재귀를 통해 누적됩니다. 이러한 제약을 해결하기 위해, 우리는 임의로 미세한 시간 해상도에서 행사 규칙을 학습할 수 있는 강화학습(reinforcement learning)에서 영감을 받은 새로운 알고리즘을 개발했습니다. 우리의 CARLOS(Continuous-time Adaptive Reinforcement Learning for Optimal Stopping) 알고리즘은 결합 공간-시간 결정 경계를 학습하기 위해 집계 심층 신경망(ADNN)을 활용합니다. 거친 시간 격자에서 시작하여 정지 기회의 빈도를 점진적으로 늘리는 동시에, ADNN을 병렬로 학습(training)시켜 타이밍-가치 추정치를 정교화합니다. 또한, 정지 경계 근처에서 학습(training) 노력을 점진적으로 집중시키는 적응형 샘플링 전략을 설계했습니다. 벤치마크 결과에 따르면 CARLOS는 기존 버뮤다(Bermudan) 솔버보다 더 높은 가격을 제공하여 아메리칸 상한에 근접하며, 강화학습을 사용하지 않는 비교 대상 대비 높은 계산 효율성을 달성합니다.