PyTorchKR Papers

최신 논문

총 9편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.00715v2cs.AI

선호도 불확실성 하에서의 강건한 내시 정렬

Robust Nash Alignment under Preference Uncertainty

Preference-based alignment methods typically optimize against a single preference model, and can therefore be brittle when pairwise preferences are uncertain: noisy, heterogeneous, or shift after deployment. To address these issues, we propose Robust Nash Alignment, a game-theoretic framework for alignment to uncertain pairwise preferences. Our formulation has a major learner seeking a policy with a large worst-case win rate against both an adversarial competitor and any preference kernel lying in an ambiguity set around a nominal preference. When the ambiguity set captures the uncertainty in preferences, the resulting robust objective of the game directly yields a certified lower bound on worst-case performance. However, we note this problem is computationally challenging to optimize, and to address this, we introduce a four-player primal-dual proxy game involving the leader policy, follower policy, adversarial kernel, and dual variable, and develop a single-loop optimistic mirror descent-ascent algorithm for it. We show that the proxy always lower-bounds the truncated hard-constrained objective, quantify the proxy-to-hard gap, and characterize an exactness condition under which the proxy recovers the robust objective. We then prove an $\mathcal{O}(1/\sqrt{T})$ average-iteration convergence for the proxy-game duality gap, which implies a near-optimal robust policy for the original robust objective. Experiments on controlled tabular games and LLM alignment with uncertain preference illustrate the method and show improved robustness to preference perturbations over nominal baselines.

arXiv:2607.21773v1cs.LG

스마트 예측-후-강건 최적화

Smart predict-then-robustly-optimize

본 논문에서는 공변량 특징 공간의 교란으로 인한 예측 변화를 고려하는 smart predict-then-optimize 접근법의 강건 변형을 제안하고 이를 연구한다. 전통적인 학습-최적화 통합 모델은 부가 정보가 완벽하게 공개된다고 가정하지만, 실증적 데이터 기반 특징은 의사결정 시점에 빈번하게 손상되거나 노이즈가 포함되어 취약한 운영 정책을 초래한다. 이 격차를 메우기 위해 smart predict-then-robustly optimize 손실을 통해 강건 최적화 원칙을 예측-처방 파이프라인에 직접 통합하고, 최악의 경우 특징 perturbation에 대비하도록 설계된 계산적으로 처리 가능한 볼록 대리(surrogate)를 확립한다. 이론적으로는 sub-Gaussian 농도(concentration) 프로파일에 따라 근사 오차 확률이 지수적으로 감소함을 증명하여 이 대리의 구조적 타당성을 형식화한다. 또한 완화된 가정 하에서 이 대리가 높은 확률로 Fisher 일관(Fisher consistent)임을 확립한다. 우리는 또한 본 프레임워크가 표준 smart predict-then-optimize를 능가하는 필요 조건을 증명하고, 표준 방법에 정규화된 상류 예측이 적용되어 있을 때에도 우월성을 유지함을 보인다. 수치 실험은 강건 프레임워크가 표준 방법 대비 out-of-sample 성능과 학습 안정성 모두에서 일관되게 유의미한 성능 향상을 달성함을 검증한다.

arXiv:2607.09706v1cs.AI

YUKTI: 자연어 상황에서 강건하고 검증 가능한 의사결정으로 — 불확실성 타입 명제 IR, 가정 강건 파레토 프론티어, 그리고 후회 증명서

YUKTI: From Natural-Language Situations to Robust, Verifiable Decisions An Uncertainty-Typed Proposition IR, Assumption-Robust Pareto Frontiers, and a Regret Certificate

언어 모델은 서술된 상황을 수치 계획으로 변환하며, 주요 파이프라인(NL4Opt, OptiMUS, ORLM, OR-LLM-Agent)은 단일 목적 함수와 점 값(point-valued) 계수를 확정한 뒤 한 번만 풀어낸다. 실제 예산, 노력, 또는 임상적 주의를 배분하는 의사결정에서 이러한 확신은 실패의 원인이 된다: 객관화된 모든 수치는 가정이며, 추정이 정확히 맞을 때만 최적인 계획은 취약하다 — 계산의 흉내에 불과하다. YUKTI는 자동 공식화(autoformulation)의 대상을 바꾼다. 그 표현은 관계에 형태 사전 확률(shape priors), 계수 불확실성, 출처 정보를 담은 타입 명제 그래프다. YUKTI는 각 단계를 정확(exact), 비선형, 또는 진화적 솔버로 라우팅하고, 분포적 파레토 인계(distributional Pareto hand-off)를 통해 단계를 결합하며, 가정 강건 파레토 프론티어(Assumption-Robust Pareto Frontiers, ARPF)를 도입한다. ARPF는 구조적 엡실론 오염을 포함한 가정을 재샘플링하여 각 행동이 살아남는 빈도(ρ)를 평가한다. 우리는 ρ를 의사결정 후회의 정확한 인수(factor)로 만드는 경계를 증명하고, 감사 가능한 추적성을 추가하며, 데이터 기반이 존재하지 않을 때 벤치마크 충실 데이터 기반(SRJANA)을 합성한다. 우리는 세 가지 방식으로 검증한다: 통제된 잘못된 명세(misspecification) 하에서 강건한 타협안은 단순 점 계획 대비 평균 및 꼬리 후회를 90% 이상 감소시킨다; 규제된 상업적 의사결정에서는 합법적 행동 공간 내에서 최적화하고 하방 손실을 유로로 가격화한다; 41,188건의 의사결정으로 이루어진 실제 공개 데이터셋에서 표본 외 백테스트는 기록된 현상 유지 대비 34%, 단순 점 규칙 대비 4% 우수한 성과를 보이면서 옵티마이저의 저주를 완화한다. 솔버는 표준 방식이며, 벤치마크 SOTA 달성을 주장하지 않는다. 직접 비교 실험에서, 올바른 수치와 단일 목적 최적화가 주어진 대규모 언어 모델(LLM)은 모두 YUKTI 대비 약 47배의 보류 후회(held-out regret)를 발생시킨다 — LLM은 공식화기이지 솔버가 아니다. 장거리 인과 결합 하에서 전방 인계(forward hand-off)는 불건전해지며, 이는 역귀납(backward-induction) 인과 정책이 필요한 지점을 특정한다.

arXiv:2606.30136v1cs.LG

의사결정 의존적 비용 불확실성 하에서의 강건한 전략적 분류

Robust Strategic Classification under Decision-Dependent Cost Uncertainty

알고리즘 의사결정 시스템에서 에이전트들이 입력 데이터를 조작하는 전략적 분류(strategic classification) 문제를 다루되, 기존 연구와 달리 오늘의 분류기 결정이 미래의 조작 비용에 영향을 미치는 의사결정 의존적 불확실성을 2단계 강건 최적화(two-stage robust optimization) 프레임워크로 형식화한다. 제안된 방법은 정책 의존적 비용을 인식함으로써 불확실성을 줄이는 동시에 시간에 따른 알고리즘 시스템의 게이밍을 더 효과적으로 억제함을 이론적·수치적으로 보인다.

arXiv:2606.22536v1cs.LG

생성적 강건 최적화

Generative Robust Optimisation

고전적 강건 최적화(robust optimisation)의 불확실성 집합(uncertainty set)은 고정된 기하학적 형태를 부과하여, 실세계 데이터에 존재하는 복잡한 의존성을 표현할 수 없다. 우리는 딥 생성 모델(deep generative model)이 보정된 잠재 집합(latent set) 위의 신경망(neural network) 디코더의 상(image)으로 불확실성 집합을 정의하는 프레임워크인 생성적 강건 최적화(Generative Robust Optimisation, GRO)를 제안한다. 이는 비선형 상관관계, 비대칭성, 다중모드성을 자연스럽게 수용한다. 5개 항목 평가 프레임워크(재구성 충실도(reconstruction fidelity), 분포 매칭(distribution matching), 잠재 규칙성(latent regularity), 강건 관련성(robust relevance), 계산적 처리 가능성(computational tractability))는 신경망 기반 불확실성 집합을 평가하기 위한 체계적이고 모델 불가지(model-agnostic) 기준을 제공한다. 우리는 잠재 규칙성을 위해 가우시안 혼합 모델(Gaussian mixture model) 기반 학습(training)을, 강건 관련성을 위해 제약 일관성 정규화(constraint-consistency regularisation)를 사용하는 Wasserstein 적대적 오토인코더(Wasserstein Adversarial Autoencoder)로 이 프레임워크를 구현한다. 디코더를 렐루(ReLU) 활성화로 제한하면 혼합 정수 계획법(mixed-integer programming) 임베딩(embedding)을 통해 정확한 최악의 경우(worst-case) 검증이 가능하다. 6가지 불확실성 분포와 6가지 생성적 아키텍처에 걸친 생산 계획 문제(production planning problem)에 대한 광범위한 실험과 다기간 설비 입지(multi-period facility location) 연구를 통해 프레임워크를 검증하며, 5가지 기준 모두에 대한 체계적 고려가 표현력이 있으면서 동시에 잘 보정되고(well-calibrated) 최적화에 처리 가능한(optimisation-tractable) 불확실성 집합을 생성함을 보인다.

arXiv:2606.22436v1cs.LG

분포 인식 강건 바이레벨 최적화: 두 시간 척도 확률적 근사에서의 분위수 유도 Huber 업데이트

Distribution-Aware Robust Bilevel Optimization: Quantile-Guided Huber Updates in Two-Timescale Stochastic Approximation

바이레벨 최적화(BLO)는 계층적 의사결정의 기본이지만, heavy-tailed 확률적 잡음 하에서 심각한 불안정성에 시달린다. 기존 분산 감소 기법은 일반적으로 근시적 크기 검사에 의존하며, 이는 유용한 기하학적 신호와 충동적 이상치를 구별하지 못한다. 이를 해결하기 위해, 우리는 역사적 그래디언트 버퍼를 활용하여 적응적 Huber형 클리핑을 위한 이동 분위수를 추정하고, 유효 분산을 엄격히 제한하면서 지역 최적화 기하학을 효과적으로 보존하는 분포 인식 프레임워크인 \textbf{RQ-TTSA}(Robust Quantile-guided TTSA)를 제안한다. 이론적으로, 우리는 무한 분산 잡음($p \in (1,2]$) 하에서 비볼록-강볼록 가정에 대한 분위수 유도 TTSA의 수렴 분석을 제공하며, heavy-tailed 매개변수에 대한 최적 의존성을 회복하는 $\mathcal{O}(T^{-\frac{p-1}{3p-2}})$의 수렴률을 도출한다. 실증적으로, 이질적인 비전 벤치마크, 모멘텀 포이즈닝(momentum poisoning) 하의 동적 게임, 오프라인 강화학습에 이르는 여섯 가지 다양한 과제 전반에서, RQ-TTSA는 발산 급등을 제거하고 안정적인 수렴을 보장함으로써 최신 기준선들을 지속적으로 능가한다. 우리의 방법은 하이퍼파라미터 변동에 대한 상당한 강건성을 보여주며 무시할 수 있는 계산 오버헤드($\approx 2.7\%$ 증가)만을 수반하며, 신뢰할 수 있는 바이레벨 학습을 위한 실용적이고 필요한 구성 요소로서 분포 인식 그래디언트 제어를 검증한다.

arXiv:2604.04342v2cs.LG

분포 변화 하에서 의사결정을 위한 생성 모델

Generative models for decision-making under distributional shift

많은 데이터 기반 의사결정 문제는 과거 데이터에서 추정된 명목 분포(nominal distribution)를 사용하여 공식화되지만, 성능은 궁극적으로 변화(shift)되었거나, 문맥 의존적이거나, 부분 관측되거나, 스트레스 유발 가능성이 있는 배포 분포(deployment distribution)에 의해 결정됩니다. 이 튜토리얼은 현대 생성 모델, 특히 플로우(flow) 기반 및 스코어(score) 기반 방법을 의사결정에 관련된 분포를 구성하는 수학적 도구로 제시합니다. 운영 과학(operations research) 관점에서, 이들의 주요 가치는 무제한 샘플 합성이 아니라 전송 맵(transport map), 속도장(velocity field), 스코어장(score field), 안내된 확률적 역학을 통해 분포를 나타내고 변환하는 데 있습니다. 우리는 푸시포워드 맵(pushforward map), 연속성, 포커-플랑크 방정식(Fokker-Planck equation), 바서슈타인 기하학(Wasserstein geometry), 확률 공간 최적화에 기반한 통합 프레임워크를 제시합니다. 이 프레임워크 내에서 생성 모델은 명목 불확실성을 학습하고, 강건성(robustness)을 위해 스트레스(stress) 또는 최악의(least-favorable) 분포를 구성하며, 부가 정보와 부분 관측 하에서 조건부 또는 사후 분포를 생성하는 데 사용될 수 있습니다. 또한 반복적 플로우 모델에 대한 순방향-역방향 수렴(convergence), 전송 맵 공간에서의 1차 미니맥스 분석, 생성 사전(generative prior)을 사용한 사후 샘플링에 대한 오류 전달 경계 등 대표적인 이론적 보장을 강조합니다. 이 튜토리얼은 분포 변화 하에서 시나리오 생성, 강건 의사결정, 불확실성 정량화(uncertainty quantification) 및 관련 문제에 생성 모델을 활용하는 방법에 대한 원칙에 입각한 소개를 제공합니다.

arXiv:2602.04155v2stat.ML

최대-최소 상대적 개선: 협상 문제로서의 공정 학습

Maximin Relative Improvement: Fair Learning as a Bargaining Problem

여러 하위 집단에 걸쳐 단일 예측기를 배포할 때, 우리는 근본적으로 다른 접근 방식을 제안합니다: 집단 공정성을 하위 집단 간의 협상 문제로 해석하는 것입니다. 이 게임 이론적 관점은 최악의 집단 손실이나 후회를 최소화하는 것과 같은 기존의 강건 최적화 방법들이 고전적 협상 해법에 해당하며 서로 다른 공정성 원칙을 내포하고 있음을 보여줍니다. 우리는 기준선 예측기로부터의 잠재적 감소량에 대한 실제 위험 감소량의 비율인 상대적 개선(relative improvement)을 제안하며, 이는 Kalai-Smorodinsky 해법을 도출합니다. 집단이 서로 다른 잠재적 예측 가능성을 가질 때 비교가 불가능할 수 있는 절대 척도 방법과 달리, 상대적 개선은 척도 불변성과 개별 단조성을 포함한 공리적 정당성을 제공합니다. 우리는 완화된 조건 하에서 유한 표본 수렴 보장을 확립합니다.

arXiv:2510.07750v3stat.ML

역 컨포멀 리스크 제어를 통한 의사결정 강건성 보정

Calibrating Decision Robustness via Inverse Conformal Risk Control

강건 최적화(robust optimization)는 최악의 시나리오에 대해 최적화하여 불확실성으로부터 의사결정을 보호하지만, 그 효과는 종종 임의로 선택되는 사전 지정된 강건성 수준에 달려 있어, 보호가 불충분하거나 지나치게 보수적이고 비용이 많이 드는 해결책으로 이어지곤 합니다. 컨포멀 예측(conformal prediction)을 사용하는 최근 접근법들은 유한 표본 커버리지 보장을 갖는 데이터 기반 불확실성 집합을 구성하지만, 여전히 사전에 커버리지 목표를 고정하고 강건성 수준 선택에 대한 거의 안내를 제공하지 못합니다. 우리는 모든 강건 예측-후-최적화(predict-then-optimize) 정책 계열에 대해 미스커버리지(miscoverage)와 리그릿(regret) 모두에 대해 분포 무관(distribution-free)이고 유한 표본(finite-sample)인 보장을 제공하는 새로운 프레임워크를 제안합니다. 우리의 방법은 미스커버리지-리그릿 파레토 프론티어(Pareto frontier)를 추적하는 유효한 추정기를 구성하여, 의사결정자가 비용-위험 선호도에 따라 강건성 수준을 신뢰할 수 있게 평가하고 보정할 수 있게 합니다. 이 프레임워크는 구현이 간단하고 고전적인 최적화 공식 전반에 걸쳐 광범위하게 적용 가능하며, 더 우수한 유한 표본 성능을 달성합니다. 본 논문은 강건성 선택을 안내하는 원칙적인 데이터 기반 방법론을 제공하며, 실무자들이 고위험 의사결정에서 강건성과 보수성 사이의 균형을 맞출 수 있도록 지원합니다.