PyTorchKR Papers

업데이트된 논문

총 514편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 카테고리 구독

arXiv:2611.16097v2cs.LG

온라인 평활 보정을 위한 일치하는 하한

A Matching Lower Bound for Online Smooth Calibration

본 논문은 순차적 이진 예측에서 예측값의 작은 섭동에 강건하며 확률적 예측이 보정된 상태에서 얼마나 벗어나 있는지를 측정하는 평활 보정 오차를 연구한다. 최소최대 평활 보정 오차는 $\Omega(T^{1/3})$와 $O(\sqrt T)$ 사이에 있는 것으로 알려져 있었다(Qiao and Zheng, 2024). 여기서 $T$는 라운드 수이다. 우리는 적응적 적대자와 비적응적(oblivious) 적대자 모두에 대해 이 간극을 메운다. 결과의 평균이 예측자의 누적 잔차에 따라 움직이는 적응적 적대자를 구성하며, 이는 과거 잔차를 보상하는 비용을 크게 만들어 모든 예측자가 기대 평활 보정 오차 $\Omega(\sqrt T)$를 겪도록 강제한다. 예측자의 평균 예측에 대해 이 적대자를 시뮬레이션하면 동일한 보장을 갖는 비적응적 적대자를 얻는다. 이러한 하한은 알려진 $O(\sqrt T)$ 상한과 보편 상수 범위 내에서 일치하므로 최소최대 최적이다. 또한 우리의 결과는 보정 거리와 하위 보정 거리에 대해서도 일치하는 $\Theta(\sqrt T)$ 경계를 함의한다. 증명 아이디어는 저자들의 지도 아래 GPT-6 Astra가 부분적으로 개발하였다.

arXiv:2611.11826v2cond-mat.dis-nn

경로적분 확산은 유한 스핀 글라스를 어떻게 결정하는가

How Path Integral Diffusion Decides a Finite Spin Glass

AI 확산형 생성기가 좌절된 스핀 글라스를 표본추출할 때, 어떤 거시적 대안을 먼저, 그리고 언제 결정하는가? 본 연구는 점 소스에서 시작하는 경로적분 확산(Path Integral Diffusion, PID) 유형의 브리지 확산 모델에 대해 이를 연구한다. 모든 등방 PID가 시간 변환된 가우시안 확률적 국소화임을 보이고, 역으로 모든 신호 대 잡음비 스케줄이 PID 프로토콜로 실현됨을 보인다. 따라서 연속 시간 생성기가 무엇을 결정하는지는 프로토콜에 의존하지 않으며, 프로토콜은 결정이 언제 어떤 비용으로 이루어지는지만 정한다. 생성기의 상태는 부분적 확정, 즉 목표 분포가 정하는 중첩된 설정 클래스들에 각 순간 부여하는 확률로 기술한다. 부분적 확정은 클래스 대비를 따라서만 움직이는 마팅게일이다. 이들의 앙상블 평균은 제곱 자화 대비가 정하는 정확한 비율로 각 수준에 대한 정보를 제공한다. 균형 잡힌 사실상 이진 근사에서 분할은 \gamma=1.044/\lambda_P 근처에서 클래스 정보의 절반에 도달하며, 여기서 \lambda_P는 부모 공분산의 최대 고윳값이다. 이 이론은 최대 24개 스핀의 Bethe 격자 및 Sherrington--Kirkpatrick(SK) 글라스에 적용된다. 궤적이 먼저 영장(zero-field) 측도의 두 거울 반쪽 중 하나로 가중치를 옮긴 뒤 그 안의 글라스 클래스로 이동하는 현상이 일반적으로 관측된다. 이러한 클래스는 유리 전이 근처에서 나타나고 냉각 시 정체성을 유지하며, 같은 그래프 위의 강자성체에서는 나타나지 않는다. 희소(Bethe) 글라스와 밀집(SK) 글라스는 이러한 클래스가 얼마나 자주, 얼마나 강하게 존재하는지에서 다르며, 궤적이 그 클래스에 확정되는 방식에서는 다르지 않다. 유한한 횟수의 단계를 거치는 생성기의 경우, 프로토콜은 거시적 결정이 아니라 후반의 국소 단계를 통해 영향을 미친다. N=32,64에서의 표본추출 사후분포와 소규모로 학습한 잡음 제거기도 같은 순서를 보인다.

arXiv:2611.10923v2cs.LG

이진 의사결정을 위한 실현 가능성이 보장되는 선형 정책의 처방적 학습

Prescriptive Learning of Linear Policies with Feasibility Guarantees for Binary Decision-Making

불확실성 하의 이진 의사결정은 에너지 시스템 스케줄링, 교통, 인력 계획 등 광범위한 응용에서 나타난다. 이러한 환경에서 혼합 정수 해법기를 가속하거나 대체하기 위해 기계학습이 점점 더 많이 적용되고 있으나, 기존 접근법은 레이블된 데이터로부터 최적 의사결정을 재현하도록 모델을 학습시키는 예측적 학습에 의존하며, 이는 반사실적 결과에 대한 지식이 없고 도출된 의사결정이 실현 가능하다는 보장도 제공하지 않는다. 이러한 한계는 과거 데이터로 학습한 정책이 체계적으로 실현 불가능한 의사결정을 낼 수 있는 분포 변화 하에서 더욱 심화된다. 본 논문은 두 한계를 모두 해결하는 이진 의사결정용 처방적 학습 프레임워크를 제안한다. 이 프레임워크는 최적 레이블을 예측하는 대신 모든 학습 시나리오에 걸쳐 선형 의사결정 정책과 실현 가능한 할당을 함께 최적화하여, 실현 가능한 대안과 그 운영 성능을 학습 중에 직접 고려할 수 있게 한다. 나아가 이 프레임워크를 Wasserstein 모호성 집합을 사용하는 분포적 강건 확률 제약 정식화로 확장하며, 이는 모호성 집합 내 최악의 분포 하에서 규정된 확률로 실현 가능성을 강제하고 강건성과 해의 품질 사이의 조정 가능한 절충을 가능하게 한다. 본 프레임워크를 발전기 기동정지 문제와 인력 배치 문제의 두 사례 연구에서 시연한다. 시험 분포가 학습 분포와 일치하거나 다른 경우의 표본 외 실험에서, 두 분포가 일치할 때는 강건 모델이 더 보수적이며, 분포 변화 하에서는 미충족 수요를 크게 줄이고 전통적인 예측적 학습 대비 총비용을 최대 76.5% 낮춘다.

arXiv:2610.03465v2stat.ML

정확도는 언제 증거가 되는가? 일반화, 검증 및 정보 융합의 통합 이론

When Is Accuracy Evidence? A Unified Theory of Generalisation, Validation, and Information Fusion

K-겹 교차 검증(K-fold cross-validation, CV)은 표본 외 성능(out-of-sample performance)의 증거로 널리 사용되지만, 이질적인 데이터 환경에서는 각 fold가 독립적인 실험도 아니며 동일한 양의 정보를 제공하지도 않습니다. 교차 상한 검증(Cross Upper-Bound Validation, CUBV)은 점별 CV 정확도를 실제 위험(true risk)에 대한 보수적인 상한으로 대체합니다. 본 연구에서는 일반화 격차(generalisation gap)의 적률생성함수(moment-generating function)가 큐뮬런트 포락선(cumulant envelope) gamma(lambda)에 의해 제어되는 단일 지수 프레임워크를 통해 CUBV를 일반화합니다. 이는 Hoeffding, Bernstein, 의존성 인식, PAC-Bayesian 및 이질적 소스 융합 설정을 포괄하는 일련의 위험 상한(risk bounds) 계열을 도출합니다. K-겹 CV의 경우, fold 간 격차의 의존성은 결합 서브 가우시안(sub-Gaussian) 프록시 행렬을 통해 모델링됩니다. 동등 상관(equicorrelation) 조건에서 이는 유효 fold 수 Keff = K/[1+(K-1)rho]를 산출하며, fold 간 의존성이 강할 때는 K를 늘려도 통계적 증거가 반드시 증가하지 않음을 보여줍니다. 또한 이 프레임워크는 예측기에 대한 사후 분포 및 가중 다중 소스 융합으로 확장되며, 여기서 가중치는 경험적 오차 단독이 아니라 미래 위험에 대한 상한을 최소화함으로써 선택됩니다. 이질적인 다봉 가우시안 혼합(heterogeneous multimodal Gaussian mixtures)에서 학습된 선형 분류기를 사용한 실험을 통해 K-겹 CV를 전체 표본 재대입(full-sample resubstitution) 및 위험 보정과 비교합니다. 상한은 커버리지와 긴밀도(tightness)를 기준으로 평가됩니다. 저차원 소규모 표본 설정에서는 개별 fold가 소수 모드(minority modes)를 충분히 반영하지 못하기 때문에 K-겹 분할이 불확실성을 증가시킬 수 있는 반면, 보정된 재대입은 여전히 유효하며 더 긴밀하게 유지될 수 있습니다. 이러한 효과는 표본 크기가 증가함에 따라 사라집니다. 종합적으로, gamma-CUBV는 관측된 성능, 불확실성, 의존성, 모델 복잡도, 신뢰도를 명시적인 항으로 분리하여, CV 점수에서 위험 진술로 이어지는 통합된 경로와 신경영상(neuroimaging)과 같은 이질적 소규모 표본 응용 분야를 위한 원칙적인 검증 기준을 제공합니다.

arXiv:2610.01269v2cs.LG

IQS-BO: 베이지안 최적화를 위한 문맥 내 쿼리 선택

IQS-BO: In-Context Query Selection for Bayesian Optimisation

베이지안 최적화(Bayesian Optimisation, BO)는 비용이 큰 블랙박스 함수를 최적화하기 위한 강력한 프레임워크이지만, 일반적으로 매 평가마다 대리 모델을 다시 적합하고 획득 함수를 최대화해야 한다. 사전 데이터 적합 네트워크(Prior-data Fitted Networks, PFN)에 기반한 인컨텍스트 접근법은 합성 사전분포에서 추출한 함수로 트랜스포머를 사전학습하여 이 비용의 일부를 분할 상환한다. PFNS4BO는 대리 모델을 분할 상환하지만 여전히 수치적으로 최대화되는 획득 함수에 의존하며, FIBO는 학습된 밀도로부터 최적화기 위치를 샘플링하여 BO를 완전히 인컨텍스트로 수행하는데, 이는 결정 규칙을 고정하고 대리 모델을 허용하지 않는다. 학습된 획득 함수는 유한한 후보 집합에 네트워크로 점수를 매기지만, 질의에 대한 레이블이 없으므로 강화학습으로 점수를 학습한다. 우리는 합성 사전분포에 대한 지도학습으로 질의 결정을 학습하는 PFN인 IQS-BO를 제안한다. IQS-BO는 단일 순전파로 각 후보가 집합에서 최선일 확률을 예측하며, 학습이 이 사건의 사후확률에 대한 기대 KL 발산을 최소화함을 보인다. 이 모델은 완전한 인컨텍스트 BO를 위해 대리 모델 없이 사전학습할 수도 있고, 고정된 확률적 대리 모델의 예측을 추가 입력으로 받아 결정 단계만 분할 상환할 수도 있다. 우리의 방법은 획득 함수 기반 방법의 일부 비용만으로 질의를 제안하면서, 저차원과 고차원의 순차 및 배치 최적화에서 가우시안 과정(GP)을 사용한 BO 및 사용 가능한 인컨텍스트 방법과 대등하거나 더 나은 성능을 보인다. 마지막으로, GP에서 추출한 샘플과 정상(stationary) GP 커널로는 모델링하기 어려운 입력 왜곡, 좁은 최적점, 평탄 구간을 보이는 함수를 결합한 PFN 사전학습용 혼합 사전분포를 제안한다. 이 사전분포로 사전학습하면 성능이 향상되고 네트워크가 더 넓은 범위의 최적화 문제로 일반화하는 데 도움이 됨을 보인다.

arXiv:2609.22226v2cs.CL

Swiss-Knife: 디코딩 시점의 재구성 가능한 외부화 다목적 정렬 프레임워크

Swiss-Knife: A Framework for Reconfigurable Externalised Multi-Objective Alignment at Decode Time

디코딩 시점(decode-time) 정렬 방법은 외부 보상으로 후보 연속 문장을 점수화하고 이를 최대화하는 후보를 선택하여, 고정된(frozen) 언어 모델을 조향한다. 우리는 이러한 공통된 설계가 훨씬 더 큰 설계 공간 속의 하나의 퇴화된(degenerate) 점에 불과하다고 주장한다. 본 논문은 정렬 명세가 일급(first-class) 런타임 객체인 외부화 다목적 정렬 프레임워크 Swiss-Knife를 제안한다. 이 명세는 핫스왑(hot-swap)이 가능한 점수화 블레이드(blade), 배치 노말라이저, 쌍별(pairwise) 집계 연산자, 그리고 선택 규칙으로 구성된다. 여섯 가지 공리(axiom)가 허용 가능한 집계 연산자를 특징짓는데, 우리는 표현 정리(representation theorem)를 증명한다. 즉, 이 공리들을 만족하는 모든 연산자는 $R_i = \sum_{j \neq i} g((\mu_i - \mu_j)/s(\sigma_i,\sigma_j))$의 형태를 가지며, 이는 프로빗(probit) 및 로지스틱 비교 규칙과 점별(pointwise) argmax를 명명된 좌표로 포함하는 두 매개변수 계열이다. 이 계열 안에서 쌍별 집계는 적대적 보상 오염에 대해 Lipschitz 안정성을 갖는 반면 argmax는 그렇지 않으며, 후보 배치 정규화(Candidate-Batch Normalization, CBN)는 보상 모델이 식별될 수 있는 재스케일링(rescaling)에 대해 가중치 단체(simplex)를 불변으로 만든다. 우리의 참조 구현은 DPO-LoRA 블레이드와 불확실성을 고려하는 쌍별 토너먼트를 결합한다. 유용성(helpfulness)/정직성(honesty)/무해성(harmlessness) 단체를 훑으며 평가한 결과, 이 방법은 여섯 가지 디코딩 시점 방법 중 가장 균형 잡힌 프런티어를 달성했으며(조화 $F_1$ 0.797 대 가장 강한 기준선 0.750, $p < 10^{-14}$), 모든 비교 대상 중 가장 낮은 거절률과 가장 높은 유용성을 보였고, 그래디언트 계산 없이 0.05 ms 만에 목적 함수를 재구성한다. CBN을 제거하면 $F_1$이 0.217 하락하며, 메타데이터는 예측된 메커니즘을 확인해 준다. 즉, 분산이 가장 낮은 블레이드는 명목상 영향력 33% 중 9%만을 유지하며, 이러한 붕괴는 예측된 순서를 따른다.

arXiv:2609.18366v4cs.AI

Bad Genius: 반사실 유도 하네스 진화로 과제 특화 지름길을 넘어서

Bad Genius: Counterfactual-Guided Harness Evolution Beyond Task-Specific Shortcuts

최적화된 에이전트 하네스는 해당 과제들이 벤치마크의 나머지와 공유하는 형식 관례에 의존함으로써 보류 과제에서 성능을 향상시킬 수 있다. 본 논문은 하네스 개선이 평가 프로토콜의 변화에도 유지되는지 검증하기 위해 반사실적 하네스 탐색 및 진화(Counterfactual Harness Search and Evolution, CHASE)를 제안한다. Proposer는 고정된 기반 모델 주위의 하네스를 편집한다. 이후 Challenger는 과제는 보존하면서 갱신된 하네스의 초기 하네스 대비 이득을 감소시키는 프로토콜 변경을 탐색한다. 실행 가능한 검사를 통해 해당 변환이 과제 의미를 보존하는지 확인한다. 보류 과제에서 이득 손실이 확인되면 CHASE는 해당 변환을 이후 하네스 갱신을 제약하는 아카이브에 추가한다. 본 논문은 이 유한 아카이브가 지름길이 제거된 이상적인 벤치마크에서 이득 손실을 제한하는 조건을 제시한다. CHASE를 Syn-Ledger, OfficeQA, FinanceBench, SWE-Bench Pro V2에서 평가한다. Syn-Ledger에서 알려진 지름길을 제거하면 정확도는 CHASE가 38.30%, HarnessEvolve가 18.27%이다. SWE-Bench Pro V2 HARD-51의 21개 인증 과제에서 이슈 형식과 도구 출력 필드 순서를 변경하면 HarnessEvolve의 초기 하네스 대비 이득이 8.57에서 3.81 퍼센트포인트로 감소한다. 최종 CHASE 하네스는 동일한 변경 하에서 11.43점의 이득 중 10.48점을 유지한다.

arXiv:2608.19908v3cs.IT

대규모 알파벳을 위한 계층형 심플렉스 아키텍처

A Layered Simplex Architecture for Large Alphabets

학습 아키텍처는 표현 가능한 모델들에 대한 사전분포를 유도한다. 최근 연구는 아키텍처의 성공을 넓은 복잡도 스펙트럼, 즉 여러 자릿수에 걸친 모델 확률과 연결한다. 깊이가 이러한 사전분포와 예측을 어떻게 형성하는지 이해하면 신경망과 트랜스포머의 성공을 설명하는 데 도움이 될 수 있다. 우리는 독립적인 균등 심플렉스 벡터들을 좌표별로 곱한 뒤 정규화하는 *계층형 심플렉스 아키텍처*(layered simplex architecture, LSA)를 통해 대규모 알파벳 예측에서 이 연결을 연구한다. 깊이 0에서 사전분포는 균등분포에 집중되고, 깊이 1에서 베이지안 예측기는 라플라스 규칙이 된다. 층이 하나 추가될 때마다 사전분포 질량은 더 집중된 분포 쪽으로 이동한다. 우리는 재사용 가능한 깊이별 커널을 이용해 정확한 베이지안 주변 가능도와 후회(regret) 표현식을 유도한다. 알파벳 크기에 대해 로그 수준인 절단 깊이까지 깊이를 혼합하면 엄밀한 보장을 갖는 명시적 예측기가 얻어진다. 지정된 희소 지지집합 위에서 균등한 대상에 대해, 혼합 모델의 사전 복잡도는 모든 고정된 양의 KL 해상도에서 지지집합 기술 비용에 점근적으로 일치하며, 이는 넓은 복잡도 스펙트럼을 확립한다. 또한 모든 라벨 불변 예측기에 대한 후회 하한을 증명하는데, 이는 발견된 기호 집합의 기대 기술 길이에서 그 크기가 주어졌을 때 그 정체에 대한 소스의 불확실성을 뺀 값이다. 알파벳이 커지는 영역의 Zipf 소스에서 깊이 혼합은 이 하한을 선도 차수에서 달성한다. 따라서 기호 발견률이 후회 지수를 결정한다. LSA 예측기는 깊이를 연구하기 위해 도입되었음에도, Good–Turing, Ristad 법칙, 적응형 디리클레 혼합 등 기존 대규모 알파벳 방법과 경쟁하며, 집중된 소스에서는 고전적인 상수 가산 규칙을 크게 능가한다.

arXiv:2606.08084v2math.ST

부스팅 트리를 이용한 모델 보정 평가

Assessing model calibration with boosting trees

회귀 모델링의 주된 목표는 특징 집합이 주어졌을 때 응답의 조건부 평균을 근사하는 것이다. 회귀 함수는 그 결과로 얻은 평균 추정치가 거의 모든 특징 집합에 대해 참 조건부 평균과 일치할 때 강하게 보정되었다(strongly calibrated)고 한다. 실제로는 일반적으로 잡음이 있는 관측의 유한 표본을 다루므로 강한 보정을 달성하는 것은 불가능해 보인다. 더 약한 보정 개념은 자기 보정(auto-calibration)으로, 평균 추정치가 주어졌을 때 응답의 조건부 기댓값이 그 추정치와 일치함을 뜻한다. 이 개념은 서로 다른 가격 집단 간 교차 보조가 없음을 보장하므로, 예컨대 보험 가격 책정에서 중요하다. 본 논문은 부스팅 트리를 사용하여 강한 보정과 자기 보정 각각의 필요조건을 검정할 수 있음을 보인다. 제안한 검정이 높은 경험적 검정력을 달성하는 수치 예시를 통해 본 접근법의 실용적 타당성을 뒷받침한다.

arXiv:2605.15085v2stat.ML

데이터에서 행동으로: AI를 활용한 정유 공정 최적화 가속화

From Data to Action: Accelerating Refinery Optimization with AI

오늘날 정유 공정 최적화는 방대한 양의 데이터를 활용하며, 이는 현대적인 선형계획법(LP) 소프트웨어로 처리할 수 있으나, 그 결과를 해석하고 적용하는 일은 여전히 어렵다. 대형 석유화학 기업은 수십만 개의 입력 행렬 원소를 가진 거대한 모델을 사용한다. LP 해는 수학적으로 올바르지만, 모델에는 단순화가 이루어지며 데이터 공급 오류가 발생할 수 있다. 따라서 결과를 신뢰하기 위해서는 추가적인 통찰이 필요하다. 이 논문의 새로운 점은 LP 솔버에 메모리를 추가하여, 이상 탐지 도구를 도입함으로써 입력 데이터의 잠재적 오류를 찾고 서로 다른 의사결정 수준의 데이터에서 비정상적인 관계를 발견할 수 있게 한다는 데 있다. LP의 입력과 출력에서 잠재적인 "이상"을 분석하면 이후의 LP 해를 개선할 수 있다. 제안하는 이상 탐지 도구는 세 가지 방법론으로 구성된다. 널리 쓰이는 ECOD 방법론을 변형한 버전을 적용한다. 고차원 데이터를 다루기 위해 가장 정보량이 많은 쌍을 선택하는 새로운 방법을 제안한다. 이후 이를 두 가지 2차원 이상 탐지 알고리즘과 함께 사용하여, MOL 정유 공정 스케줄링 및 계획 아키텍처에서 여러 사업 기회와 데이터 공급 오류를 밝혀냈다. 제안하는 도구는 과거 데이터의 연결 관계를 학습하고 현재 데이터에서 매우 효율적으로 실행되어, 비정상적인 연결 관계를 중요도 순으로 정렬하여 보여 준다. 이 단계까지 최적화와 이상 탐지는 자동으로 이루어지며, 이후 의사결정자는 발견된 가장 관련성 높은 이상을 살펴보고 이후의 LP를 어떻게 더 개선할지 결정할 수 있다. 또한 이 도구에는 주기적인 재학습 기능이 내장되어 있다.

arXiv:2605.09439v2cs.LG

조건부 분포 매칭을 위한 역설계

Inverse Design for Conditional Distribution Matching

생성 모델은 학습된 분포 $\mathcal{P}(Y \mid X)$에서 표본을 추출하는 강력한 도구이며, 역설계 방법은 이 사상을 역으로 풀어 원하는 점 출력 $y^*$를 만들어 내는 입력 $x$를 찾는다. 그러나 많은 설계 목표는 본질적으로 점별이 아니라 분포적이어서, $Y$의 내재적 불확실성을 포함하고 그에 대한 특정 형태를 목표로 하는데, 이는 표준 역설계가 다루지 못하는 과제이다. 이 문제를 해결하기 위해 우리는 생성 모델링의 새로운 역설계 문제 클래스인 조건부 분포 매칭(CDM)을 도입한다. 결합 분포 $\mathcal{P}(X, Y)$와 목표 분포 $\mathcal{G}(Y)$가 주어졌을 때, 유도된 조건부 분포 $\mathcal{P}(Y \mid X = x^*)$가 $\mathcal{G}$와 일치하는 입력 $x^*$를 찾는 문제이다. 우리는 조건부 분포 매칭 샘플링(CDMS)과 조건부 분포 매칭 최적화(CDMO)의 두 가지 변형을 형식적으로 정의한다. 이 문제들을 풀기 위해, 사전 학습된 점수 기반 확산 모델과 사전 학습된 고속 조건부 샘플러를 결합하며 추가 학습이나 미세 조정이 필요 없는 플러그 앤 플레이 추론 시점 알고리즘인 MLGD-F(Matching-Loss Guided Diffusion with a Fast inner sampler)를 제안한다. 단일 단계 조건부 샘플링을 활용함으로써 MLGD-F는 다루기 쉬운 기울기 계산을 가능하게 하여 $\mathcal{P}(Y \mid X)$의 추정을 메모리 효율적이고 계산적으로 가볍게 만든다. 우리는 합성 벤치마크, 구조화된 이미지 변환, 생성 편집 최적화에서 MLGD-F를 검증하며, 이산 혼합과 연속 저랭크 지지집합을 포함한 다양한 사용자 지정 목표와 조건부 분포가 일치하는 입력을 안정적으로 복원함을 보인다.

arXiv:2603.28595v3cs.LG

선형 마르코프 결정 과정을 위한 매개변수화된 정책 기반 낙관적 액터-크리틱

Optimistic Actor-Critic with Parametric Policies for Linear Markov Decision Processes

액터-크리틱 방법은 실제로 성공을 거두었지만, 이론적 분석에는 여러 한계가 있다. 구체적으로, 기존 이론 연구는 강한 가정을 두어 탐색 문제를 회피하거나, 복잡한 알고리즘 수정이 가해진 비실용적인 방법을 분석한다. 또한 선형 MDP를 대상으로 분석된 액터-크리틱 방법은 흔히 자연 정책 경사를 사용하고, 명시적으로 매개변수화된 액터를 학습하는 대신 누적된 크리틱 추정치를 통해 "암묵적" 정책을 정의한다. 이러한 정책은 샘플링에 계산 비용이 많이 들 수 있어 환경과의 상호작용을 비효율적으로 만든다. 이를 해결하기 위해 본 논문은 유한 시계 선형 MDP에 초점을 맞추어, 매개변수화된 로그-선형 정책을 사용하는 낙관적 액터-크리틱 프레임워크를 제안한다. 특히 액터를 위해 다루기 쉬운 로짓 매칭 회귀 목적함수를 도입한다. 크리틱에는 랑주뱅 몬테카를로를 통한 근사 톰슨 샘플링을 사용하여 낙관적 가치 추정치를 얻는다. 정책 특징이 충분히 표현력이 있을 때, 결과 알고리즘이 온-폴리시 및 오프-폴리시 설정에서 각각 $\widetilde{O}(\epsilon^{-4})$ 및 $\widetilde{O}(\epsilon^{-2})$의 표본 복잡도를 달성함을 증명한다. 본 결과는 $\epsilon$에 대한 의존성에서 기존 이론 연구의 최신 수준과 일치하면서도, 알고리즘은 실제 활용에 더 부합한다.

arXiv:2603.23397v3stat.ME

제약 샘플링을 위한 운동 랑주뱅 분할 기법

Kinetic Langevin Splitting Schemes for Constrained Sampling

볼록 집합으로 제한된 분포에서 표본을 생성하는 제약 샘플링은 계산 통계학에서 중요한 문제이다. 본 논문에서는 운동 랑주뱅 동역학의 대칭적 BAOAB 및 ABOBA 분할을 제약 목표 분포의 페널티 대리 분포에 적용하여 얻은 새로운 비조정(unadjusted) 샘플링 알고리즘을 제안한다. 여기에는 확률적 경사 버전도 포함된다. 페널티 대리 분포의 헤시안은 제약 집합의 경계에서 불연속이므로, 립시츠 헤시안에 의존하는 분석은 적용되지 않는다. 따라서 강볼록성과 매끄러움만을 기반으로 하는 분석을 개발하여, 1단계 바서슈타인 수축 기법, 두 기법 모두에 대한 비점근적 바서슈타인 상계, 그리고 복잡도 상계를 증명한다. 확률적 경사 버전의 복잡도는 전통적인 오일러형 이산화보다 크게 개선된다. 수치 실험은 장난감 문제와 베이지안 제약 회귀 문제에서 검증된 본 이론을 확인한다. 전반적으로 분할 기법은 오일러형 방법보다 몇 배 큰 스텝 크기에서도 안정성을 보이며, 주어진 정확도에 필요한 경사 계산 횟수가 5배에서 17배 적다.

arXiv:2602.10182v2cs.LG

강건한 확률적 예측 및 꼬리 사건 예측을 위한 시그니처 커널 기반 평가 지표

Signature-Kernel Based Evaluation Metrics for Robust Probabilistic and Tail-Event Forecasting

연속 순위 확률 점수(CRPS)와 분위수 손실(QL) 같은 표준 표본 기반 지표는 확률적 시계열 예측의 평가에 자주 사용된다. 그러나 이러한 지표는 다변량 상관관계를 포착하지 못하며 분포의 꼬리를 포착하는 능력을 평가하지 못한다. 이러한 전역 지표는 분포 몸통 부분의 과대 대표 때문에 분포 꼬리의 고효용 사건에 대한 오류에 둔감하다. 적절한 점수 규칙(proper scoring rule)을 유지하면서 꼬리 영역과 고효용 영역에서의 분포 충실도를 정확히 측정하기 위해, 우리는 검열된 시그니처 커널 지표 계열을 도입한다. 제안한 지표는 분포의 몸통을 하나의 피벗으로 붕괴시킴으로써 예측 평가를 고효용 또는 분포 꼬리를 나타내는 초점 영역에 집중시킨다. 시계열 파운데이션 모델(TSFM)에 대한 벤치마크 결과, 분포 포착에 대해서는 명확한 순위를 매길 수 있지만 계통 부하 예측과 같은 과제에서는 뚜렷한 우승 모델이 없음이 드러났다. 이는 전체 분포를 포착하는 능력이 강한 모델이 높은 후속 효용을 지닌 예측을 산출하지는 않음을 시사한다. 제안한 지표의 사용을 장려하기 위해 효율적 시그니처 커널(ESK) 라이브러리를 오픈소스로 공개한다. 이 라이브러리는 맞춤형 triton 커널로 배치 계산을 지원하며, 널리 쓰이는 SigKernel 라이브러리를 통한 구현에 비해 최대 3.58$\times$의 속도 향상을 달성한다. 지표의 코드는 GitHub에서 이용할 수 있다.

arXiv:2602.06104v3cs.LG

실용적 호기심: 능동 추론을 통한 하이브리드 학습 및 최적화의 통합 프레임워크

Pragmatic Curiosity: A Unified Framework for Hybrid Learning and Optimization via Active Inference

많은 공학 및 과학 워크플로는 비용이 큰 블랙박스 평가에 의존하며, 과제 성능을 향상시키는 동시에 불확실성을 줄여야 하는 순차적 의사결정을 요구한다. 베이지안 최적화(BO)와 베이지안 실험 설계(BED)는 각각 목표 지향적 최적화와 정보 탐색적 실험에 대해 강력하지만 대체로 분리된 처리 방식을 제공하므로, 학습과 최적화가 본질적으로 결합된 하이브리드 환경에 대한 지침은 제한적이다. 본 논문은 능동 추론을 통한 하이브리드 학습 및 최적화의 통합 프레임워크인 실용적 호기심(Pragmatic Curiosity, PraC)을 제안한다. PraC는 과제와 관련된 잠재 기호에 대한 정보 이득과 결과에 대한 기대 후회 기반 포텐셜을 맞바꾸는 방식으로 후보 질의를 평가한다. 이 정식화는 세 가지 운용상의 설계 선택, 즉 어떤 잠재 양을 명확히 할 것인지, 과제 가치를 후회로 어떻게 인코딩할 것인지, 정보 이득을 실용적 후회와 얼마나 강하게 교환할 것인지를 전면에 내세운다. 우리는 복잡도가 증가하는 세 가지 체제에서 PraC를 구현한다. 고정된 전역 기호와 알려진 하위 손실을 갖는 의사결정 지향 모니터링, 유도된 국소 기호와 변화하는 커버리지 목표를 갖는 표적 능동 탐색, 알려지지 않은 선호 하에서 계층적 후회 학습을 수행하는 복합 베이지안 최적화이다. 이러한 체제 전반에서 PraC는 하위 의사결정 위험을 줄이고, 핵심 결과 영역의 커버리지를 개선하며, 과제별 단계 규칙에 의존하지 않고 예측 구조와 선호 구조를 함께 학습한다.

arXiv:2602.04611v4stat.ML

표적 합성 통제 방법

Targeted Synthetic Control Method

합성 통제 방법(SCM)은 처치 전 궤적에 부합하는 미처치 통제 단위들의 가중 결합으로 반사실적 결과를 구성함으로써, 단일 처치 단위가 있는 패널 데이터에서 인과 효과를 추정한다. 본 논문에서는 반사실적 결과를 직접 추정하는 새로운 2단계 추정량인 표적 합성 통제(TSC) 방법을 소개한다. 구체적으로 TSC 방법은 (1) 표적 갱신이 초기 가중치를 정제하여 더 안정적인 가중치를 산출한다는 의미에서 표적 편향 제거 추정량을 제공하며, (2) 최종 반사실 추정이 관측된 통제 결과들의 볼록 결합이 되도록 보장하여 합성 통제 가중치를 직접 해석할 수 있게 한다. TSC는 유연하며 임의의 기계학습 모델로 구현할 수 있다. 방법론적으로 TSC는 초기 합성 통제 가중치 집합에서 시작하여 가중치 기울임(weight-tilting) 부분모형을 통한 1차원 표적 갱신을 수행하며, 이는 처치 전 적합에서 비롯되는 가중치 추정의 편향을 줄이도록 가중치를 보정한다. 또한 TSC는 유계가 아닌 반사실 추정치를 산출할 수 있는 기존 방법(예: 증강 SCM)의 주요 단점을 피한다. 광범위한 합성 및 실제 데이터 실험 전반에서 TSC는 최신 SCM 기준선보다 추정 정확도를 일관되게 향상시킨다.

arXiv:2601.15500v5stat.ML

Rectified Flow의 저차원 적응: 확산 및 확률적 국소화 관점

Low-Dimensional Adaptation of Rectified Flow: A Diffusion and Stochastic Localization Perspective

최근 몇 년간 Rectified flow(RF)는 생성 효율성과 최고 수준의 성능 덕분에 큰 인기를 얻었다. 본 논문에서는 RF가 샘플링을 가속하기 위해 목표 분포 지지집합의 내재적 저차원성에 얼마나 잘 자동으로 적응하는지를 연구한다. 신중하게 설계된 종점 적응형 시간 이산화 방식을 사용하고 충분히 정확한 드리프트 추정이 주어지면, RF 샘플러가 (로그 인자를 제외하고) $O(k/\varepsilon)$ 차수의 반복 복잡도를 가짐을 보인다. 여기서 $\varepsilon$은 전변동 거리에서의 정밀도이고 $k$는 목표 분포의 내재 차원이다. 또한 이러한 과정과 확률적 국소화 사이의 새로운 연결을 확립함으로써, 잡음 제거 확산 확률 모델(DDPM) 절차가 RF의 확률적 버전과 동등함을 보인다. 이 연결을 바탕으로, 드리프트 추정의 정확도에 대한 완화된 요건 하에서 특정 시간 스케줄과 함께 목표 분포의 저차원성에 마찬가지로 적응하는 확률적 RF 샘플러를 추가로 설계한다. 합성 데이터에 대한 시뮬레이션과 텍스트-이미지(T2I) 데이터 실험을 통해 새로 설계한 시간 이산화 스케줄의 효용을 보인다.

arXiv:2512.17374v4stat.ML

집단 변수의 레벨 집합 위에서의 조건부 확률분포에 대한 생성 모델링

Generative modeling of conditional probability distributions on the level-sets of collective variables

데이터로 표현되는 $\mathbb{R}^d$의 확률분포 $\mu$가 주어졌을 때, 본 논문에서는 집단 변수 $\xi:\mathbb{R}^d \rightarrow \mathbb{R}^k$ ($1 \le k<d$)의 레벨 집합 위에서 대응하는 조건부 확률분포의 생성 모델링을 연구한다. 우리는 $\xi$의 서로 다른 레벨 집합 위의 생성 모델을 동시에 학습할 수 있는 일반적이고 효율적인 학습 접근법을 제안한다. 확률이 낮은 영역의 레벨 집합에서 학습 품질을 향상시키기 위해, 향상된 샘플링 기법으로 얻은 데이터를 활용하는 데이터 보강 전략도 함께 제안한다. 구체적인 수치 예제를 통해 제안한 학습 접근법의 효과를 입증한다. 제안한 접근법은 생물물리학에서 분자 시스템의 생성 모델링에 유용할 가능성이 있다.

arXiv:2511.20851v4stat.ML

특징이 잡음을 이길 때: 특징 선택을 위한 잡음 기반 가설 검정 방법

When Features Beat Noise: A Noise-Driven Hypothesis Testing Method for Feature Selection

특징 선택은 점점 더 복잡해지는 고차원 데이터셋에서 가장 유익한 예측 변수를 가려내는 원칙적인 전략이 요구되는 머신러닝과 인공지능 분야의 어려운 과제로 남아 있다. 널리 채택되고 있음에도 Boruta, 재귀적 특징 제거(RFE) 및 기타 래퍼 기반 방법과 같은 많은 기존 기법에는 뚜렷한 한계가 있다. 일부는 상당한 계산 비용이 들고, 다른 일부는 통계적으로 확정된 중단 기준을 제시하지 않거나 중요도 점수의 유의성을 평가하지 않는다. 본 논문은 이러한 한계를 해결하는 새로운 특징 선택 방법을 제안한다. 우리의 접근법은 여러 개의 무작위 잡음 특징을 도입하고, 각 특징의 중요도를 이 잡음 특징들 중 최대 중요도 값과 비교하여 평가하며, 비모수 부트스트랩 기반 가설 검정 프레임워크를 결합해 견고한 이론적 토대를 확립한다. 알고리즘 설계의 지침이 되는 원리를 설명하는 통계적 유도를 통해 접근법의 개념적 타당성을 확립한다. 신뢰성과 실용성을 평가하기 위해 통제된 시뮬레이션과 다양한 실제 데이터셋에서 방법을 검증하였으며, 의미 있는 신호를 복원하는 데 있어 Boruta, Model-X Knockoffs, RFE, LASSO, Elastic Net, mRMR를 포함한 기존 특징 선택 접근법을 일관되게 능가하였다. 따라서 이 방법은 원칙에 입각한 특징 선택을 위한 강건한 알고리즘으로 부상하며, 신뢰할 수 있는 추론, 향상된 예측 성능, 효율적인 계산을 뒷받침하는 유익한 예측 변수의 정제를 가능하게 한다.

arXiv:2510.13397v4cs.LG

정보성 중도절단 하에서 생존 분석의 이질적 처치 효과 강건성 평가

Assessing the robustness of heterogeneous treatment effects in survival analysis under informative censoring

임상 연구에서는 부작용이나 기타 이유로 환자의 최대 절반이 조기에 이탈하는 등 탈락이 흔하다. 탈락이 정보성일 때(즉, 생존 시간에 의존할 때) 중도절단 편향이 발생하며, 이로 인해 처치 효과 추정치 또한 편향된다. 본 논문에서는 중도절단 편향에 직면했을 때 생존 분석에서 조건부 평균 처치 효과(CATE) 추정치의 강건성을 평가하기 위한 가정 최소화 프레임워크를 제안한다. 점추정을 얻기 위해 비정보성 중도절단과 같은 강한 가정에 의존하는 기존 연구와 달리, 우리는 부분 식별을 사용하여 CATE에 대한 유익한 경계를 도출한다. 이를 통해 우리의 프레임워크는 정보성 중도절단에도 불구하고 처치가 효과적인 환자 하위 집단을 식별하는 데 도움을 준다. 더 나아가 임의의 머신러닝 모델과 결합하여 사용할 수 있고 이중 강건성 및 준오라클 효율성과 같은 유리한 이론적 성질을 갖는, 경계를 추정하기 위한 새로운 모델 불가지론적 메타러너 SurvB-learner를 제안한다. 마지막으로 시뮬레이션 데이터와 실제 데이터를 모두 사용한 다양한 실험을 통해 메타러너의 효과를 입증한다.