Steinke와 Zakynthinou(2020)는 알고리즘 의존적 정보이론적 양에 기반하여 학습 알고리즘의 정보 복잡도를 분석하는 조건부 상호정보량(CMI) 프레임워크를 도입했습니다. 본 연구에서는 이러한 양 중 하나인 평가된 조건부 상호정보량(eCMI)을 연구합니다. CMI를 통한 알고리즘 의존적 분석으로부터 VC 클래스에 대한 최적의 PAC 보장을 복원할 수 있는지는 흥미로운 질문이었습니다. 본 논문에서는 개념 클래스의 VC 차원이 d일 때, 실현 가능(realizable)한 경우에서 eCMI가 O(d) 차수인 학습 알고리즘을 구축함으로써 이러한 보장을 복원할 수 있음을 보입니다. 구체적으로 본 알고리즘은 최적의 기댓값 일반화 보장을 갖는 5개 기반 학습기의 무작위화된 다수결(Majority-of-5) 방식입니다.
양자 계산에 접근할 수 있지만 얻는 예시(example)의 종류가 다른 두 PAC 학습(PAC learning) 알고리즘을 생각해 보자. 하나는 고전 샘플을 제공받는 반면, 다른 하나는 양자 샘플을 제공받는다. 후자는 효율적으로 수행할 수 있지만 전자는 수행할 수 없는 학습 과제가 존재하는가? 본 연구의 핵심 질문인 이 문제는 놀랍게도 여전히 미해결 상태이다. 우리의 주요 결과는 오라클에 상대적으로(relative to an oracle), 양자 샘플에 접근할 수 있는 양자 학습자는 효율적으로 생성할 수 있지만 고전 샘플에만 접근할 수 있는 양자 학습자는 효율적으로 생성할 수 없는 분포가 존재함을 보이는 것이며, 이를 통해 해당 질문에 긍정적인 답을 내리는 데 진전을 이룬다.
도달 가능성(reachability)은 가장 기본적인 논리적 목표이지만, 강화학습(reinforcement learning) 설정에서 학습하기가 악명 높게 어렵다. 마르코프 결정 과정(Markov decision process)의 경우에도 추가 가정 없이는 도달 가능성의 PAC 학습이 불가능하다. 이러한 어려움은 유한 상태 공간에서 두 적대적 플레이어가 상호작용하는 턴 기반 확률적 게임(turn-based stochastic game, TBSG)에서도 마찬가지다. 본 연구에서는 도달 가능성 목표를 갖는 턴 기반 확률적 게임을 다룬다. 이러한 설정에서 학습 단계에서도 플레이어가 적대적인 적대적 학습(adversarial learning)은 불가능하다. 따라서 목표는 두 플레이어가 함께 알려지지 않은 모델을 학습하는 학습 방식을 고려하는 것이다. 이러한 취지에서, TBSG에서 PAC 학습에 관한 기존 문헌은 (a) 두 플레이어가 공유하는 공개 정보(public information); (b) 플레이어가 동일한 학습 알고리즘을 공유하는 중앙집중식 학습(centralized learning)을 고려한다. 본 연구의 기여는 두 가지이다. 첫째, 이러한 강한 가정을 완화하고 다음을 만족하는 학습을 보장한다: (i) 다른 플레이어와 공유되지 않는 사적 정보(private information)를 사용하는 학습; (ii) 플레이어가 동일한 학습 알고리즘을 공유하지 않는 분산형 학습(decentralized learning). 우리가 아는 한, 본 연구는 도달 가능성 목표를 갖는 TBSG에 대한 분산형 및 사적 정보 학습의 최초의 긍정적 결과이다. 둘째, 목표 집합에 도달하기까지의 기대 길이를 측정하는 기대 조건부 거리(Expected Conditional Distance, ECD) 매개변수의 게임 이론적 일반화를 도입한다. 우리는 상태 수, 행동 수, ECD 매개변수, 오차 허용치와 실패 확률의 역수에 대해 다항식 샘플 복잡도(polynomial-sample complexity) 상한을 확립한다.
기계학습 예측은 오프라인 NP-hard 최적화를 가속할 수 있지만, 예측기에게 무엇을 해야 할지 묻는 것은 문제를 푸는 것과 같으며, 검증되지 않은 예측을 확정하면 모든 최악의 경우 보장을 포기한다. CASP(Certificate-Augmented Solution Pruning)는 대신 탐색 공간의 어느 부분을 무시할 수 있는지 묻고, 각 답변은 건전한 다항 시간 검증기가 확인한 후에만 수용하므로 정확성은 예측 품질에 의존하지 않는다. 우리는 이 설계의 학습 이론을 개발한다. 검증기는 유도된 손실 클래스를 균일하게 유계로 만들므로, 증명서 매개변수는 $\tilde O(\varepsilon^{-2}\log K)$개의 샘플($K$는 최대 인스턴스 크기)로부터 학습 가능하다. 반면 검증되지 않은 확정 클래스는 분포 무관 수렴률을 허용하지 않으며, 비용 확산 $R$ 하에서는 $Ω(R/\varepsilon^2)$ 미만의 수렴률도 없다. 검증 가능한 신뢰도로 노이즈 예측을 필터링하는 방식은 닫힌 형식으로 계산한 마진을 갖고 표준 min-combiner보다 우수하며, LP가 주어져도 예측은 여전히 유용하다. 이는 퇴화 최적 면에서 동점을 깨기 때문인데, 여기서 확정이 인스턴스에 대해 검증 가능한 신뢰도 값을 통해서만 의존하는 모든 대칭 LP 정책은 증명 가능하게 정체된다. 5개 문제에 대한 실험은 이론의 정량적 예측을 검증한다. 학습된 예측기를 사용하면, 검증되지 않은 가지치기는 분포 이동 하에서 최적값의 최대 26%를 잃지만, 동일한 예측의 검증된 배포는 아무것도 잃지 않는다.
Alon, Hanneke, Holzman, Moran(FOCS 2021)을 따라, 우리는 부분 개념 클래스(PCC)를 부분 함수 $f: V\to\{0,1,\ast\}$의 집합족으로 정의한다. 이는 동등하게 각 개념이 기반 집합을 흑색($f^{-1}(1)$), 회색($f^{-1}(\ast)$), 백색($f^{-1}(0)$) 부분으로 분할하는 것을 의미한다. PCC의 VC 차원은 값 $\ast$가 취해지지 않는 집합들을 분쇄(shattering)함으로써 정의된다. 우리는 실수 바나흐 공간(Banach space)에서 마진 $\delta>0$을 가진 두 가지 기하학적 PCC를 연구한다: 확장된 반공간(expanded half-spaces)은 회색 부분이 반공간에 인접한 너비 최소 $\delta$인 띠이며, 확장된 공(expanded balls)은 회색 부분이 단위 반지름 공 주위의 너비 $\delta$인 환형(annulus)이다. 우리의 주요 결과는 $L_p(\mu)$, $1\le p<\infty$에서 확장된 공의 PCC에 대한 VC 차원의 차원 독립적 상한이며, 여기에는 비유클리드적이고 알고리즘적으로 특히 중요한 $\ell^d_1$ 경우가 포함된다. 이 상한들은 마진과 반지름에 의존하지만, 주변 차원이나 기저 측도 공간에는 의존하지 않는다. 이는 유클리드 공간, 즉 $\ell^d_2$에서 확장된 공의 PCC를 연구한 Bourneuf, Charbit, Thomassé(FOCS 2025)의 연구를 확장한 것이다. 또한 마진 매개변수 $\delta$ 측면에서 상한과 일치하는 VC 차원의 하한도 증명한다. 마지막으로, 기존 유클리드 결과를 확장하여 $L_p$ 공간에서 조밀 이웃 보조정리(Dense Neighborhood Lemma)를 유도한다. 우리의 방법은 비자명한 라데마허(Rademacher) 타입의 공간으로의 사상을 통한 거리의 선형화(linearization)와, 균형 잡힌 부호 합 추정 또는 무차원 라동 정리(no-dimensional Radon theorem)의 활용에 의존한다. 이 논증은 해당 분야 비전문가를 위해 명확하게 설명된 함수 해석학(functional analysis)의 아이디어에 기반한다.
대규모 언어 모델(LLM)은 자연어로 명세된 작업에 대해 레이블, 평가, 피드백을 점점 더 많이 제공하고 있다. 명세가 여러 해석을 허용하지만 감독 채널이 어떤 해석이 실제로 작동하는지 드러내지 않을 때, 추가적인 레이블은 이로 인해 발생하는 식별 문제를 해결하지 못한 채 표본 오차만 줄인다. 우리는 고정된 모델의 임계값 기반 디코딩 법칙을 사용하여 허용 가능한 레이블과 후보 타겟을 정의하는 프레임워크인 Natural Language PAC(NL-PAC)를 제안한다. 여러 레이블이 허용 가능할 확률은 점별 허용 가능한(pointwise-admissible) 타겟 클래스의 지름과 같으며, 타겟-불가시(target-blind) 감독 하에서 모든 학습자는 모든 표본 크기에서 이 지름의 절반 이상의 최악의 경우 리스크를 부담한다; 이 클래스에 대한 정확한 무작위화 미니맥스 리스크는 데이터 독립적 전략에 의해 달성된다. 유한 표본 신뢰 구간은 이러한 양들을 보류된 비레이블 입력으로부터 인증 가능하게 만든다. 고정된 Qwen 2.5-3B 감사에서, 사전 지정된 프롬프트 하나는 양의 모델 상대적 인증서를 산출하는 반면, 패러프레이즈와 정확한 규칙 대조군은 영을 산출한다. 보류된 브리지 감사에서는 제공된 후보 해석 절들이 인증서를 일관된 해석으로 이전하는 데 필요한 허용 가능성 조건을 충족하지 못하는 것으로 나타난다. 이 보장은 감사된 모델, 프롬프트, 임계값, 및 입력 분포에 특정되며, 이를 인간의 해석으로 확장하려면 외부 검증이 필요하다.
양자 컴퓨터가 양자 다체 시스템의 거동을 시뮬레이션하는 데 본질적으로 적합하다는 점에서, 즉각적인 질문이 제기된다: 학습 분리를 나타내는 물리적으로 동기화된 양자 머신러닝(QML) 태스크를 수립할 수 있는가? 우리는 아마도 근사적으로 정확한(PAC) 학습의 관점에서 양자 다체 동역학의 학습 가능성을 연구함으로써 이 문제를 다룬다. 구체적으로, 우리는 학습 데이터셋이 무작위화된 스태빌라이저 탐침 상태의 명세, 다항식적으로 큰 시간 구간 $[0,T]$에서 균일하게 샘플링된 진화 시간, 그리고 미지의 해밀토니안 하에서 시간 진화된 상태에 대해 계산된 특정 관측량의 기댓값으로 구성되는 지도 학습 문제를 고안한다. 이 학습 태스크에 대해, 우리는 학습 단계에서 단시간 학습 샘플로부터 기저 해밀토니안을 학습하고, 배포 단계에서 해밀토니안 시뮬레이션과 고전적 그림자(classical shadows) 프로토콜을 결합하여 새로운 데이터 포인트에 대한 추론을 수행하는 효율적인 양자 절차를 제시한다. 이와 대조적으로, $O(\mathsf{poly}(n))$ 시간 인스턴스의 존재는 고전적 난해성을 보장한다: $\mathsf{BQP}$-완전 계산을 파인만-키타에프 시계 해밀토니안 구성의 저교차 변형의 다항식적으로 긴 시간 동역학에 임베딩함으로써, 우리는 특정 입력 분포 계열에 대해 $\mathsf{BQP}\subseteq\mathsf{P/poly}$가 아닌 한, 어떠한 무작위 고전 다항 시간 알고리즘도 우리의 학습 조건을 충족할 수 없음을 보인다. 나아가, 우리는 고전적으로 난해한 인스턴스가 양자 학습 가능성을 유지함을 보인다. 또한, 우리는 학습 보조 인증 양자 시뮬레이션의 맥락에서 결과를 해석한다. 종합하면, 우리의 결과는 해밀토니안 진화에 기반한 자연스러운 ML 태스크에 대한 엄밀한 학습 분리를 증명하는 동시에, 양자 학습 이론, 양자 시뮬레이션, 그리고 QML 간의 연결을 구축한다.
기호 회귀(symbolic regression)를 통한 과학적 발견에서 가설 공간이 깊이에 따라 지수적으로 증가한다는 통계적 난제를 PAC 학습 관점에서 재검토하여, 합성 함수 트리(compositional function tree)의 라데마허 복잡도(Rademacher complexity)가 기호 구조의 수가 아닌 트리 깊이 $d$와 기본 연산자의 립시츠 상수(Lipschitz constant)에 의해 $\mathcal{O}(L^d/\sqrt{n})$으로 제어됨을 증명했다. 이론적 결과를 뒷받침하기 위해 미분 가능한 연산자 트리를 PyTorch로 구현하여 물리 유사 합성 데이터에서 실험적 일반화 갭이 예측된 복잡도 항과 양의 상관관계를 보임을 확인했다.
양성 샘플만으로 이진 분류를 수행하는 proper positive-only PAC 학습의 특성화 문제를 해결하여, 개념 클래스가 해당 설정에서 properly 학습 가능한 것은 유한 VC 차원을 갖고 새롭게 제안된 조합론적 조건인 uniform exterior separability를 만족할 때임을 증명하였다. 이 특성화는 proper와 improper 학습의 분리, 확률적·결정론적 학습의 분리, ERM이 학습자가 될 수 없는 클래스의 존재 등 표준 PAC 학습과 뚜렷이 구별되는 풍부한 학습 이론적 구조를 드러낸다.
데이터 분포를 근사하는 시뮬레이터에 접근할 수 있는 시뮬레이션 가능한 프로세스(simulatable processes) 프레임워크를 도입하여 강하게 의존적인 데이터에서도 VC 차원(VC dimension)에 기반한 학습 보장을 회복한다. 또한 시간 제한 콜모고로프 복잡도에 의해 후회(regret)가 제어되는 단일 알고리즘을 통해 다항식 시간 내에 샘플링 가능한 모든 프로세스에서 학습이 가능함을 보여준다.