PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.26978v1stat.ML

다중 스케일 행렬 가중치를 통한 온라인 역 선형 최적화의 정밀 후회 상한

Tight Regret Bound for Online Inverse Linear Optimization via Multiscale Matrix Weights

고정된 알려지지 않은 선형 효용(utility)을 갖는 온라인 역 선형 최적화를 연구한다. 각 라운드에서 환경(environment)은 컴팩트 행동 집합을 제시하고, 학습자(learner)는 그 집합에서 행동(action)을 추천하며, 환경은 동일한 집합 위에서 효용을 최대화하는 행동을 반환한다. 효용 벡터와 행동이 $d$차원 유클리드 단위 구(unit ball) 안에 있을 때, 시간 지평(time horizon)을 알 필요 없이 모든 시간 지평에 대해 기대 후회(regret)---최적 행동 대비 누적 효용 부족분---가 $O(\sqrt d)$인 무작위 알고리즘을 제시한다. $d$에 대한 의존성은 $T\ge d$인 지평에 대한 알려진 $\Omega(\sqrt d)$ 하한에 의해 상수 배수까지 최적이다. 우리 알고리즘은 기하학적으로 간격을 둔 스케일에서 다항식 특징(feature) 공간上的 행렬 곱셈 가중(matrix multiplicative weights)을 유지한다. 선형 프로그램(linear program)을 풀어 추천 분포를 선택하고, 이용 가능한 행동과 피드백 행동을 비교하여 점수 행렬을 갱신한다. 유리수 oracle 출력과 피드백 행동 하에서, 선형 최적화 oracle에 상대적으로 계산 가능한 구현이 $O(\sqrt d)$ 후회 상한을 유지한다. 차원, 지평, 입력 길이에 대해 다항 시간 실행 복잡도로 동일한 rate를 달성할 수 있는지는 열려 있다.

arXiv:2607.22263v1math.OC

정수 선형 프로그램을 위한 정확한 데이터 기반 역최적화의 명시적 반복 복잡도

Explicit Iteration Complexity of Exact Data-Driven Inverse Optimization for Integer Linear Programs

데이터 기반 역최적화 문제(DDIOP)는 관측된 최적해 데이터를 설명하는 목적 함수 매개변수(가중치)를 추정하는 문제이며, 정수 선형 프로그래밍(ILP)을 포함한 다양한 응용에서 발생한다. 알려진 바와 같이, 최적성 부족 손실(suboptimality loss)에 그래디언트 기반 최적화 방법을 적용하면 ILP의 역최적화를 유한한 수의 오라클 반복 내에서 정확히 풀 수 있으며, 필요한 반복 횟수는 문제에 따라 달라지는 기하 상수 $γ(\ell_{\mathrm{sub}})$에 대해 $T=O(1/γ(\ell_{\mathrm{sub}})^2)$로 상한이 주어진다. 그러나 $γ(\ell_{\mathrm{sub}})$를 문제 크기의 함수로 아래에서 제한하는 방법은 알려져 있지 않았으므로, 반복 횟수를 문제 크기의 명시적 함수로 제시할 수 없었다. 따라서 본 논문에서는 순방향 문제가 정수 선형 프로그램(ILP)일 때, 관측 데이터와의 정확한 일치를 달성하기 위해 최적성 부족 손실에 투영 부분그래디언트 하강(projected subgradient descent)을 적용하는 데 충분한 반복 횟수를, 표본 수, 특징(feature)의 차원, 특징의 범위, 제약 계수 행렬의 구조에 대한 완전히 명시적인 함수로 제시하며, 기본 상수(가중치 집합의 지름, 스텝 크기 매개변수, 최적성 부족 손실의 Lipschitz 상수)에 대한 다항식 인수까지 포함한다.

arXiv:2606.28764v1cs.LG

구조화된 정책을 활용한 계층적 의사결정: 역최적화 기반의 원칙적 설계

Hierarchical Decision Making with Structured Policies: A Principled Design via Inverse Optimization

계층적 의사결정 프레임워크는 복잡한 제어 태스크를 해결하는 데 핵심적인 역할을 하며, 에이전트가 복잡한 문제를 관리 가능한 하위 목표로 분해할 수 있도록 한다. 이러한 가능성에도 불구하고, 기존 계층적 정책은 다음과 같은 중대한 한계를 가진다: (i) 강화학습(RL) 기반 방법은 엄격한 제약 만족을 보장하기 어렵고, (ii) 최적 제어(OC) 기반 접근법은 근시안적이고 계산 비용이 과도한 공식화에 의존하는 경우가 많다. 이러한 트레이드오프를 해소하기 위해 계층적 RL-OC 아키텍처가 유망한 패러다임으로 부상하였다. 그러나 이러한 프레임워크 내 하위 수준 최적화의 공식화는 아직 충분히 탐구되지 않았으며, 흔히 휴리스틱하거나 근시안적인 목적 함수에 의존한다. 본 연구에서는 상위 수준의 목표 추상화와 구조화된 하위 수준 의사결정을 체계적으로 통합하는 원칙적 프레임워크를 제안한다. 우리는 역최적화(inverse optimization) 접근법을 채택하여 전문가 데모로부터 하위 수준 문제의 구조를 도출함으로써, 하위 수준 정책의 목적 함수가 전체적인 장기 태스크 목표와 일관되게 정렬되도록 보장한다. 제안된 접근법을 검증하기 위해, 우리의 프레임워크를 네트워크 기반 자원 할당과 연속적 충돌 회피라는 두 가지 의사결정 태스크에서 평가하였다. 실험 결과, 제안 방법은 종단간(end-to-end) 강화학습, 학습 증강 최적 제어, 기존 계층적 강화학습 접근법에 기반한 강력한 베이스라인들을 효율성과 의사결정 품질 모두에서 일관되게 능가함을 보여준다.