물리학의 근본적인 질문 중 하나는 양자계에서 고전적 거동이 언제 나타나는가이다. 보손 가우시안 상태(bosonic Gaussian state)는 빛의 고전적 장(field) 거동과 본질적인 양자적 성질을 모두 포착하므로, 이러한 양자-고전 경계를 탐구하기에 자연스러운 환경을 제공한다. 본 연구에서는 학습 이론의 관점에서 이 문제를 다루며 다음과 같이 묻는다. 보손 가우시안 상태는 언제 고전적으로 학습할 수 있는가? 즉, n-모드 보손 가우시안 상태를 고전적인 2n변량 가우시안 분포를 학습할 때 필요한 만큼 적은 샘플과 그만큼 단순한 연산으로 학습할 수 있는 조건은 (있다면) 무엇인가? 우리는 상태의 열적 요동(thermal fluctuation)에 의해 결정되는 학습 가능성의 매끄러운 크로스오버를 규명한다.
- 차가운 가우시안 상태는 학습 측면에서 비고전적이다. 공분산 행렬이 $\Sigma\le(\frac12+O(\frac1n))I$를 만족하여 진공 공분산에 가까운 경우, 단일 복사본(single-copy, 즉 얽힘이 없는) 측정 하의 토모그래피(tomography)는 근본적으로 $\Omega(n^3)$개의 복사본을 필요로 하며, 이는 고전적 가우시안 분포를 학습하는 샘플 복잡도 $\Theta(n^2)$를 엄밀하게 초과한다. 우리는 소수 복사본에 대한 얽힘 측정이 허용되더라도 이러한 어려움이 지속됨을 보인다.
- 따뜻한 가우시안 상태는 학습 측면에서 고전적이다. 열적 요동이 진공 잡음을 초과하여 임의의 매개변수 $\nu>0$에 대해 $\Sigma\ge(\frac12+\nu)I$로 나타내지는 경우, 단일 복사본 토모그래피에는 $N=\Theta\left(n^2\min(n,1+\nu^{-1})\right)$개의 복사본이 필요함을 증명한다. 이 한계는 타이트(tight)하며, 단순하고 비적응적(non-adaptive)이며 얽힘이 없는 헤테로다인(heterodyne) 측정으로 달성된다. 특히 $\nu=\Omega(1)$인 경우 샘플 복잡도는 $\Theta(n^2)$로 줄어들어 고전적인 경우와 일치한다.
우리의 결과는 보손 가우시안 상태의 학습 가능성에서 나타나는 양자-고전 크로스오버를 엄밀하게 규명하고, 근본 물리학과 통계적 학습 이론 사이의 새로운 연결고리를 드러내며, 실제 센싱 실험에도 시사점을 가진다.
다중 그룹 학습(multi-group learning)에서는 단일 예측기가 풍부하며 잠재적으로 무한하고 중첩될 수 있는 하위 집단 모음의 모든 그룹에 대해 해당 클래스 내 최적의 가설만큼 우수한 성능을 보여야 합니다. 최적의 표본 복잡도(sample complexity)를 갖는 기존 알고리즘들은 그룹과 가설의 모든 쌍을 추적하는데, 이는 관심 대상인 대규모 클래스에서는 불가능하며, 알려진 오라클 기반 알고리즘들은 더 열등한 수렴 속도를 갖습니다. 본 연구에서는 경험적 위험 최소화(ERM) 오라클을 통해서만 클래스에 접근하는 학습자가 최적의 수렴 속도를 달성할 수 있는지 질문을 던집니다. 본 논문에서는 그룹과 가설 쌍에 대한 가중치 적용 ERM 오라클을 다항 횟수만큼 호출하고 $\tilde{O}((d_G+d_H)/\varepsilon^2)$개의 표본을 사용하는 알고리즘을 제시합니다. 여기서 $d_G$와 $d_H$는 그룹 및 가설 클래스의 VC 차원이며, $\varepsilon$은 확률로 가중치가 부여된 모든 그룹에서의 초과 위험(excess risk)을 제한합니다. 또한 무제한의 계산 능력을 가진 모든 학습자에 대해서도 일치하는 하한인 $\Omega((d_G+d_H)/\varepsilon^2)$개의 표본을 보여줌으로써, 오라클 효율성을 위해 추가적인 표본이 소모되지 않음을 입증합니다. 아울러 모든 입력이 최대 $k$개의 그룹에 속하고 이러한 그룹들을 나열할 수 있는 자연스러운 특수 경우도 고려합니다. 이 경우 가설 클래스에 대한 ERM 오라클만으로 충분하며, 애그노스틱(agnostic) 설정에서는 $\tilde{O}((d_H+\log k)/\varepsilon^2)$개의 표본이, 모든 그룹에 대해 해당 그룹에서 올바른 가설이 존재하는 경우에는 $\tilde{O}((d_H+\log k)/\varepsilon)$개의 표본이 필요합니다.
우리는 유한 마르코프 결정 과정(Markov decision process)의 단일 궤적(trajectory)으로부터 표준 비동기 Q-러닝의 마지막 반복값(last iterate)을 연구한다. 이 궤적은 상태-행동 연쇄(state-action chain)가 기약적(irreducible)이고 주기적(periodic)일 수 있는 고정된 행동 정책(behavior policy)을 따른다. 할인율(discount factor) $γ$에 대해 $H=(1-γ)^{-1}$로 표기하고, $μ_{\min}$을 최소 정상 상태-행동 확률(stationary state-action probability), $\mathfrak h_\star$를 역방향 상태-행동 연쇄의 최대 기대 적중 시간(hitting time)으로 정의한다. 우리는 $0<\varepsilon\le1$에 대해, 상수 스텝 크기(step size)를 사용하는 0으로 초기화된 Q-러닝이 $\widetilde{O}(H^4/(μ_{\min}\varepsilon^2)+\mathfrak h_\star)$개의 전이(transition)를 사용하여 높은 확률로 최대 $\varepsilon$의 sup-노름(sup-norm) 오차를 달성함을 증명한다. 통계적 항은 표준 Q-러닝의 4차 유효 지평(effective horizon) 의존성을 그대로 유지하며, 초기화 비용은 $\mathfrak h_\star$에 가산적으로 더해진다. 비주기적(aperiodic) 행동 연쇄의 경우, 혼합 시간(mixing time)과의 비교를 통해 $\widetilde{O}(t_{\mathrm{mix}}/μ_{\min})$의 과도 항(transient term)을 얻는다. 경험적 상태-행동 카운트 규칙(empirical state-action count rule)은 이후의 학습 실행(training run)을 위한 상수 스텝 크기를 선택하며, 모델 매개변수, 목표 정확도, 신뢰 수준에 대한 사전 지식 없이도 동일한 비율을 달성한다. 출력값은 마지막 학습 반복값이며, 두 단계 모두 샘플 수에 포함된다. 증명은 두 개의 결정론적 벨만 외피(Bellman envelope)를 사용하여 통계적 오차와 고정 정책 초기화 오차를 분리하며, TD 학습(TD learning)의 역시간 적중 비용 보정(reverse-time hitting-cost compensation)을 상태-행동 전파(state-action propagation)에 맞게 적용한다. 임의의 예측 가능한(predictable) 스텝 크기에 대해 탐험(exploration) 하한이 성립한다. 기존의 통계적 하한 및 파일럿으로 선택된 상수 스텝으로의 확장과 결합하면, 명시된 대규모 샘플 매개변수(parameter) 클래스에서 로그 인자(logarithmic factor)까지 일치하는 평균제곱 비율(mean-square rate)을 얻는다.
표준 정책 그래디언트(Policy Gradient, PG) 알고리즘은 몬테카를로 업데이트에 의존하기 때문에 추정 분산이 높다는 문제를 가진다. 오프-정책 분산 감소(off-policy variance reduction)가 이 문제를 완화하지만, 현재로서는 최적의 샘플 복잡도(sample complexity)를 확립하려면 균일하게 유계인(uniformly bounded) 중요도 가중치(importance weights)와 같은 제한적인 가정이나 비현실적인 2차(second-order) 연산이 필요하다. 본 연구에서는 Loopless Variance-Reduced PG(LVR-PG)를 소개한다. 이는 재귀적 업데이트(recursive update)와 방어적 중요도 샘플링(defensive importance sampling)을 결합한 1차(first-order) 추정량들의 한 클래스를 추상화하는 통합 이론적 프레임워크로, PAGE-PG와 STORM-PG와 같은 기존 추정량들을 포함한다. 우리는 일반적인 파라메트릭 정책(parametric policy)에 대해 약한 그래디언트 지배(weak gradient domination) 조건 하에서 이 알고리즘 클래스가 $\tilde{\mathcal{O}}(ε^{-2})$의 라스트 이터레이트(last-iterate) 전역 수렴(global convergence)을 달성함을 증명한다. 우리는 순수하게 1차 업데이트만을 사용하여, 최소한의 가정 하에 그래디언트 전처리기(gradient preconditioner) 없이 이 보장을 확립한다. 최신 하한(lower bound)을 연속적인 파라메트릭 정책(continuous parametric policy)으로 확장함으로써, 우리는 $Ω(ε^{-2})$의 샘플 복잡도 한계를 확립하며, 이는 로그 인자(logarithmic factor)와 호라이즌(horizon) 항을 제외하면 우리의 프레임워크가 미니맥스 최적(minimax-optimal)임을 확인해 준다.
본 논문에서는 학습자가 의사결정 시점 이전과 의사결정 시점 모두에서 샘플링 오라클에 접근할 수 있는 PAC 프레임워크를 소개합니다. 샘플 복잡도는 쌍 $(n,m)$으로 측정되며, 여기서 $n$은 쿼리가 알려지기 전에 소비되는 학습 예산이고 $m$은 쿼리당 추가 샘플링 예산입니다. 행동을 취하기 전에 공개되는 외생적 i.i.d.\ 문맥을 갖는 할인 마르코프 결정 과정(discounted MDP)에서 이 프레임워크의 유용성을 입증합니다. 문맥은 보상과 전이 모두에 영향을 미칠 수 있지만 에이전트에 의해 제어되지는 않습니다. 학습자는 미지의 문맥 분포와 전이 커널을 샘플링할 수 있습니다. 본 연구에서는 정책 평가(PE), 최적 가치 추정(BVE), 최적 정책 추출(BPE)을 다룹니다. 보상과 전이가 알려져 있는 경우, 분산 감소 알고리즘은 로그 인수를 제외하고 미니맥스 최적인 $\bigl(\widetilde O((1-γ)^{-3}\varepsilon^{-2}),0\bigr)$의 샘플 복잡도로 세 가지 과제를 모두 해결합니다. $\mathcal{X}$를 제어되는 상태 공간이라고 할 때, 전이 또한 미지인 경우 복잡도 $\bigl(\widetilde O(|\mathcal X|(1-γ)^{-3}\varepsilon^{-2}), \widetilde O((1-γ)^{-2}\varepsilon^{-2})\bigr)$를 갖는 PE 알고리즘과 이 예산 쌍에서의 일치하는 하한을 제시합니다. BVE 및 BPE의 경우 공통 오프라인 예산 $\widetilde O(|\mathcal X|^2|\mathcal A|(1-γ)^{-4}\varepsilon^{-2})$와 각각 $\widetilde O(|\mathcal A|(1-γ)^{-2}\varepsilon^{-2})$ 및 $\widetilde O(|\mathcal A|(1-γ)^{-3}\varepsilon^{-2})$의 쿼리 비용을 갖는 알고리즘을 제시합니다. 중요한 점은 모든 한계가 문맥 공간의 크기(기수)와 무관하다는 것입니다.
본 논문은 일반적인 함수 근사 하에서 오프라인-투-온라인 강화학습(reinforcement learning)에서의 가치 적응(value adaptation)을 연구한다. 학습자는 불완전한 오프라인 사전학습 $Q$-함수로부터 시작하여, 제한된 양의 온라인 상호작용만을 사용하여 이를 목표 환경(environment)에 적응시키고자 한다. 먼저 우리는 미니맥스 하한(minimax lower bound)을 수립하여 이 설정의 어려움을 규명하며, 사전학습된 $Q$-함수가 최적 $Q^\star$에 가까운 경우에도, 특정한 어려운 인스턴스들에서는 온라인 적응이 순수 온라인 강화학습(RL)보다 더 효율적일 수 없음을 보인다. 긍정적인 측면에서, 오프라인 사전학습된 가치 함수에 대한 새로운 구조적 조건 하에서, 우리는 순수 온라인 강화학습보다 증명 가능하게 개선된 문제 의존적 샘플 복잡도를 갖는 적응 알고리즘인 O2O-LSVI를 제안한다. 마지막으로, 제안된 방법의 실용적 효과를 입증하는 신경망 실험으로 이론을 보완한다.
멤버십 추론 공격(membership-inference attack)은 학습 알고리즘의 출력과 타겟 개인(target individual)을 입력받아, 해당 개인이 학습 데이터의 멤버인지 아니면 동일한 분포에서 추출된 독립적인 샘플인지를 판별하려 시도한다. 성공적인 멤버십 추론 공격은 일반적으로 공격자가 학습 데이터가 추출된 분포에 대한 어느 정도의 지식을 가지고 있어야 하며, 이러한 지식은 흔히 해당 분포로부터의 독립적인 참조 샘플(reference sample) 집합을 통해 포착된다. 본 연구에서는 성공적인 공격에 필요한 최소한의 참조 샘플 수인 샘플 복잡도(sample complexity)를 조사함으로써, 공격자가 멤버십 추론을 위해 얼마나 많은 정보를 필요로 하는지를 연구한다. 우리는 이 문제를 가우시안 평균 추정(Gaussian mean estimation)이라는 기본적인 설정에서 연구한다. 이 설정에서 학습 알고리즘은 $d$차원의 가우시안 분포 $\mathcal{N}(μ,Σ)$로부터 $n$개의 샘플을 받아, $\mathbb{E}[\|\hatμ- μ\|^2_Σ]\leq ρ^2 d$를 만족하는 오차 범위 내에서 $\hatμ$를 추정하려 한다. 우리의 결과는 이러한 설정에서 멤버십 추론을 수행할 때, 완전한 정보를 가진 공격자(fully informed attacker)와 경쟁할 수 있는 어떠한 공격을 수행하기 위해서도 $Ω(n + n^2 ρ^2)$개의 샘플이 필요할 수 있음을 보여준다. 우리의 결과는 공격자가 때때로 모델 학습에 사용된 샘플 수보다 훨씬 더 많은 샘플을 필요로 한다는 것을 처음으로 보여준다. 이 결과는 실무에서 사용되는 모든 공격이 $O(n)$개의 샘플만을 사용하는 제한된 형태를 가지며 $ω(n)$개의 샘플로부터는 이득을 얻을 수 없기 때문에, 실무적으로 중요한 함의를 갖는다. 따라서 이러한 공격들은 멤버십 추론의 가능성을 과소평가하고 있을 수 있으며, 분포에 대한 정보를 쉽게 얻을 수 있는 경우 더 나은 공격이 가능할 수도 있다.
본 논문에서는 크라메르(Cramér) 기하에서의 스칼라 범주형 TD(CTD)와 최대 평균 불일치(MMD) 기하에서의 다변량 부호 범주형 TD(MTD)를 포괄하여, 비동기 범주형 분포 시차 학습(distributional temporal-difference) 방법의 유한 반복(finite-iteration) 거동을 연구한다. 저자들은 i.i.d. 샘플링 및 연속적인 마르코프 궤적 하에서 높은 확률의 이론적 보장을 확립한다. CTD의 경우, 분산 감소나 데이터 삭제 기법을 사용하지 않고도 실제 반환 분포에 도달하기 위한 크라메르 표본 복잡도의 주요 항이 i.i.d. 설정에서는 $\tilde O(ρ_{\min}^{-1}(1-γ)^{-2}\varepsilon^{-2})$, 마르코프 설정에서는 $\tilde O(μ_{\min}^{-1}(1-γ)^{-2}\varepsilon^{-2}+μ_{\min}^{-1}t_{\mathrm{mix}})$임을 보인다. MTD의 경우, MMD 표본 복잡도의 주요 항은 $\tilde O(ρ_{\min}^{-1}(1-γ)^{-1-c}\varepsilon^{-2})$ 및 $\tilde O(μ_{\min}^{-1}(1-γ)^{-1-c}\varepsilon^{-2}+μ_{\min}^{-1}t_{\mathrm{mix}})$이며(여기서 $c\in(0,2)$는 MMD 커널의 동차 지수), 이는 $c=1$일 때 CTD 수렴 속도로 단순화된다. 이는 저자들이 알기로 MTD에 대한 최초의 유한 반복 수렴 속도이다. 무할인 고정 지평(undiscounted fixed-horizon) 정책 평가의 경우, 동일한 분석이 i.i.d. 및 에피소딕 샘플링 하의 CTD와 MTD 고정 지평 버전에 적용되며, 유효 지평 $(1-γ)^{-1}$이 주요 항에서 지평 $H$로 대체되어 할인 설정의 수렴 속도와 일치한다. 일치하는 미니맥스(minimax) 하한은 주요 항과 내포된 1-바서슈타인(Wasserstein) 속도가 i.i.d., 마르코프, 에피소딕 샘플링 하에서 최적임을 보여준다. 종합적으로 이러한 결과들은 스칼라, 다변량, 할인 및 고정 지평 설정 전반에 걸쳐 비동기 범주형 분포 TD에 대한 통합된 비점근적(non-asymptotic) 분석을 제공하며, 주요 항에서 미니맥스 최적의 수렴 속도를 달성한다.
본 연구는 머신러닝 성능 모델링에 초점을 맞춥니다. 본 학위논문에서는 분류 학습 성능에 대한 실증적 관측값을 생성한 뒤, 이를 활용해 통계 모델을 구축하는 시스템인 Seer를 소개합니다. 구축된 모델은 목표 수준을 달성하는 데 필요한 학습 예제 수와 무제한의 학습 예제가 주어졌을 때 달성 가능한 최대 정확도를 예측하는 데 활용할 수 있습니다. Seer는 1) 분류 학습을 위한 최적의 제약 조건과 가장 유용한 파라미터를 구현한 모델, 2) 최대가능도(maximum-likelihood) 모델을 효율적으로 찾는 알고리즘, 3) 세 가지 실제 도메인 데이터를 통해 이러한 모델링의 실용적인 적용 가능성을 입증함으로써 기존 기술을 발전시킵니다. 논문의 전반부에서는 분류 학습 성능에 대한 우수한 최대가능도 모델이 갖추어야 할 요건을 개괄합니다. 이어서 이러한 모델에 적합한 설계 선택지를 탐색합니다. 이러한 모델 간의 선택은 비선형 프로그래밍(nonlinear programming) 문제이지만, 적절한 문제 제약 조건을 활용함으로써 효율적인 반복 알고리즘으로 해결할 수 있는 비선형 회귀(nonlinear regression) 문제로 단순화됩니다. 논문의 후반부에서는 대두 질병, 심장병, 청각 이상 도메인에서 수행된 약 100건의 실험을 설명합니다. 테스트 결과 Seer가 학습 성능을 규명하는 데 매우 뛰어나며, 학습 성능 예측에서도 가능한 최고 수준의 성능을 보이는 것으로 나타났습니다. 마지막으로 특정 상황에 적합한 회귀 모델 선택을 위한 권장 사항을 제시하고 향후 연구 방향을 명시합니다.
우리는 적대적 모방 학습(adversarial imitation learning, AIL)을 연구한다. AIL에서 에이전트(agent)는 전문가(expert) 행동과 학습자(learner) 행동을 구별하는 적대적 보상(reward)에 대해 정책(policy)을 최적화함으로써 전문가의 시연(demonstration)을 모방하는 법을 학습한다. 역사적으로 보상 정규화(regularization)와 엔트로피 기반 정책 정규화는 GAIL, LS-IQ와 같이 경험적으로 성공을 거둔 방법들의 핵심 구성 요소였지만, 유한 샘플(finite-sample) 환경에서의 이점은 아직 충분히 탐구되지 않았다. 우리는 일반적인 함수 근사(function approximation)를 사용하는 유한 구간(finite-horizon) 마르코프 결정 과정(Markov decision process)에서 공동으로 정규화된 AIL에 대한 빠른 수렴률을 도출한다. 우리의 모델 프리(model-free) 알고리즘인 Dually Regularized AIL은 KL 정책 정규화와 전문가 및 학습자의 점유율(occupancy)로 가중된 2차(quadratic) 보상 페널티를 결합한다. K개의 온라인 에피소드와 N개의 전문가 경로(trajectory)가 주어졌을 때, 고정된 정규화 파라미터에 대해 정규화된 모방 격차(imitation gap)에 대한 $\widetilde{O}\left(\frac{1}{K}+\frac{1}{N}\right)$ 경계(bound)를 증명한다. 우리의 분석은 유한한 전문가 데이터와 확률적(stochastic) 학습자 피드백으로 인한 추정 오차를 제어하기 위해 일반적인 컨벡스(convex) 보상 클래스에 대한 온라인 미러 디센트(mirror descent) 구성과, 낙관적(optimistic) KL 정규화 정책 학습에 대한 정교한(sharp) 분석을 결합한다. 우리가 아는 한, Dually Regularized AIL은 확률적 전문가(stochastic expert)가 존재하는 경우에도 이러한 정규화된 AIL 목적함수에 대해 전문가 시연과 온라인 상호작용(interaction) 양쪽 모두에서 $\widetilde{O}\left(\frac{1}ε\right)$ 샘플 복잡도(sample complexity)를 동시에 달성한 최초의 알고리즘이다. 이러한 결과는 AIL에서 보상 정규화와 정책 정규화가 갖는 상호 보완적인 통계적 이점을 엄밀하게 규명한다.
본 연구에서는 적대자(adversary)가 샘플을 오염시킬 때 학습(learning)과 같은 통계적 작업을 수행할 수 있는 능력에 관한 근본적인 문제를 해결합니다. 이러한 적대자는 가할 수 있는 오염의 유형과 샘플에 대해 보유한 지식 수준에 따라 정의됩니다. 후자는 오염을 선택할 때 샘플의 내용을 알고 있는 샘플-적응형(sample-adaptive) 적대자와, 그렇지 않은 샘플-무지형(sample-oblivious) 적대자를 구분합니다. 우리는 모든 오염 유형에 대해, 샘플-적응형 적대자와 샘플-무지형 적대자가 샘플 크기에서 다항 인자(polynomial factors) 차이에 불과할 정도로 동등함을 증명합니다. 이는 [BLMT22]에서 제기되고 [CHL+23]에서 추가로 탐구되었던 주요 미해결 문제를 해결합니다. 구체적으로, 샘플-무지형 적대자가 입력을 오염시키는 상황에서도 통계적 작업을 해결하는 임의의 알고리즘 $A$를 고려해 보겠습니다. 우리는 그에 대응하는 샘플-적응형 적대자가 입력을 오염시킬 때 동일한 작업을 해결하는 알고리즘 $A'$가 존재함을 보입니다. $A'$의 구성은 단순하며 $A$의 계산 효율성을 유지합니다. 즉, $A$가 사용하는 것보다 다항식만큼 더 큰 샘플을 요청한 다음 균등한 무작위 부분 샘플(subsample)에서 $A$를 실행하는 방식입니다.
본 연구는 능동 학습(active learning)의 근본적인 질문, 즉 임의의 쿼리를 합성할 수 있는 능력이 얼마나 강력한가라는 문제를 다시 살펴본다. 학습자가 주어진 레이블 없는 풀(pool)에서만 쿼리를 선택하는 풀 기반 능동 학습과 비교할 때, 쿼리 능력에서의 이처럼 사소해 보이는 변화가 통계적 학습의 난이도를 극적으로 바꿀 수 있음을 발견하였다. 특히 풀 기반 설정에서는 본질적으로 학습이 느려 샘플 수에 대해 다항식 수준의 오차 감소만을 달성하는 일부 가설 클래스(hypothesis class)가, 합성된 쿼리가 허용되면 지수적으로 학습 가능해진다. 이러한 두드러진 격차는 멤버십 쿼리 합성(membership query synthesis)이 근본적으로 다른 학습 방식을 유도하며, 이는 기존 능동 학습 이론으로는 충분히 설명되지 않아 그 복잡도를 규명하기 위한 새로운 분석 도구가 필요함을 시사한다. 이러한 현상에 착안하여, 본 연구는 몇 가지 충분 조건을 개발하고 흥미로운 예시들을 제시하며, 어떤 가설 클래스가 합성된 쿼리를 통해 효율적인 학습을 허용하는지 이해하기 위한 추측적 관점을 제안한다.
본 연구에서는 $K$차원 단체(simplex)의 내부에서 균등하게 추출된 $N$개의 독립항등분포(i.i.d.) 점들로부터 해당 단체를 추정하는 문제를 다룹니다. 관측치는 $K+1$개의 미지 원형(prototype)들의 볼록 결합(convex combination)입니다. 기존의 다항 시간(polynomial-time) 추정량들은 샘플당 3차(cubic) 계산량을 요구하거나 $O(NK)$ 메모리를 필요로 하여, $N\sim 10^6$--$10^8$ 규모에서는 비실용적입니다. 본 논문에서는 최소 부피 원리를 신경 암시적 형태(neural implicit form)로 재표현한 DeepMVSA를 제안합니다. 경량 좌표 네트워크(coordinate network)가 혼합 가중치를 생성하고 삼각 LU 형태의 매개변수화가 쌍대 단체 행렬을 생성함으로써, 학습 가능한 상태 메모리를 $N$과 무관한 $O(K^2)$으로 줄이고 데이터 1회 패스당 비용을 $O(NK^2)$으로 감소시킵니다. 본 연구는 국소화된 대리 추정량에 대해 다항 시간 벤치마크 차수의 비점근적(non-asymptotic) 샘플 복잡도 경계를 증명합니다. 또한 부피 팽창 제어 및 명시적 축소 바이어스를 갖춘 신경망 목적 함수의 모든 전역 최소해(global minimizer)에 대한 오라클 부등식, 명시적 포락선 사건(envelope event)에서 통계적, 근사, 최적화(optimization) 및 포함 잔차 항을 분리하는 조건부 종단간(end-to-end) 오차 예산, 그리고 두 점 하한(two-point lower bounds)을 증명합니다. 즉, $N$과 무관하게 고정된 임의의 노이즈 수준 $\sigma>0$에서 $N^{-1/2}$ 스케일링(scaling)은 $N$ 지수 측면에서 개선될 수 없음을 보입니다. 최대 $N=10^8$개의 합성 관측치를 사용한 실험은 예측된 정확도 및 스케일링과 일치하며, 약 $10^7$ 픽셀의 실제 장면에 대한 실현 가능성을 입증합니다.
부분집합 $S \subseteq \{0,1\}^n$으로 제약된 독립 표본으로부터 이산 분포 $μ_z$의 자연 매개변수 $z \in \mathbb{R}^n$를 학습하는 것은 고차원 통계학의 기초적인 난제이다. 절단된(truncated) 불리언 곱 분포를 효율적으로 추정하는 기존 방법, 특히 [Fotakis et al' COLT'20, Algorithmica '22]의 연구는 $S$에 대한 강한 국소 연결성 가정—fatness라 불리는 성질—또는 엄격한 반집중(anti-concentration) 가정을 요구하며, 절단 집합의 총 질량이 $n$에 대해 상수일 것을 필요로 한다. 또한 [Fotakis et al' COLT'20, Algorithmica '22]의 결과는 $S$의 질량이 $n$에 대해 지수적으로 작을 경우 표본 복잡도가 $Ω(2^n)$으로 스케일링되는 한계를 갖는다. 본 연구에서는 측도 $μ_z$ 하에서 $S$의 기하학을 분석함으로써 이러한 한계를 우회한다. fatness 가정 하에서 기존 매개변수 추정 보장을 정교화하여, $\ell_\infty$-복원에 대한 이전 표본 복잡도를 $O( \log n / ε^2)$로 개선하며, 이는 비절단(untruncated) 미니맥스 비율과 일치한다. 나아가 불리언 함수 분석에서 사용되는 영향력(influence) 개념으로 fatness를 일반화하고, 효율적인 추론을 위한 충분 조건을 제시한다. 특히 이전 연구와 달리, 우리의 방법은 모델의 임의의 매개변수화에서 표본을 추출할 것을 요구하지 않는다. 마지막으로, 표본 복잡도가 모델의 폭(width)과 집합 내 원소 간 최소 거리에 본질적으로 지수적 의존성을 갖는다는 것을 보이는 이론적 하한을 확립한다.
총 $W$개의 파라미터를 갖고 길이 $T$의 입력 시퀀스를 단일 출력으로 매핑하는 깊이-$L$ 트랜스포머의 VC 차원을 정확히 특성화하여, 상한 $O(L W \log (T W))$와 거의 일치하는 하한 $Ω(L W \log (T W / L))$를 확립한다. 또한 이러한 트랜스포머를 사용한 사고의 연쇄(Chain-of-Thought) 학습의 샘플 복잡도를 정확히 특성화하며, 교사 강제(teacher forcing, 즉 학습 데이터에서 전체 사고의 연쇄와 일치하는 예측기를 선택하는 방식)는 $O\left(L W \log \left(\left(T+T^{\prime}\right) W\right)\right)$의 샘플 복잡도로 학습함을 보이고, 사고의 연쇄 데이터를 사용하는 모든 학습 규칙은 최소 $Ω\left(L W \log \left(\left(T+T^{\prime}\right) W / L\right)\right)$개의 예제를 필요로 함을 보인다. 여기서 $T$는 입력 길이이고 $T^{\prime}$는 자기회귀(autoregressive) 단계 수이다.
연산자 학습에서 핵심 질문은 합리적인 계산 시간 내에 증명 가능한 근사 보장을 갖는 대리 연산자를 어떻게 설계할 것인가이다. 매끄러운 연산자는 효율적으로, 즉 학습 데이터 양에 대해 최소한 대수적 수렴으로 근사할 수 있는 반면, 유한 정칙성을 갖는 연산자의 학습은 덜 효율적인 것으로 알려져 있다. 그 이유는 본질적인 표본 복잡도의 저주 때문이며, 이는 준대수적(subalgebraic) 표본 복잡도 비율만을 허용한다. 이 사실은 이러한 비율을 증명 가능하게 달성하는 알고리즘을 개발하는 것이 더욱 중요하게 만든다. 본 연구에서는 근최적 표본 복잡도로 가우시안 Sobolev 연산자를 학습하기 위한 완전 데이터 기반 알고리즘인 Hermite-PCA 근사를 제시한다. 이 방법은 주성분 분석(principal component analysis)과 가중 최소제곱법(weighted least-squares)을 사용하므로 계산적으로 효율적이다. 또한 스펙트럴(spectral) 방식으로, Sobolev 정칙성이 높을수록 더 빠른(그리고 근최적인) 수렴을 달성한다. 모든 오차 원인을 고려한 이 알고리즘의 완전한 오차 분석과 함께, 이론적 결과를 검증하고 Sobolev 연산자 학습에서 Hermite-PCA 근사의 효능을 실증적으로 확인하는 수치 실험을 제공한다.
트랜스포머(Transformer)에 대한 이론적 이해는 대규모 언어 모델(LLM)의 역량과 한계를 더 잘 파악하는 데 필수적이다. 어텐션(attention) 기반 모델의 표현력을 분석하는 연구는 상당히 축적되어 있다. 수작업으로 설계된 가중치를 제안하거나 계산 복잡도 논증을 활용함으로써, 다수의 기존 이론 연구들은 어떤 과제가 트랜스포머 모델의 가설 클래스(hypothesis class)에 속하고 어떤 과제가 속하지 않는지를 규명하고자 했다. 그러나 이러한 해(solution)들의 학습 가능성(learnability)을 탐구하는 연구는 거의 없다. 본 연구에서는 이 목표를 향한 진전을 이룬다. 최근의 손실(loss) 지형 분석 연구에서 영감을 받아, 트랜스포머로 C-RASP 구성을 학습하기 위한 예비적 샘플 복잡도 경계를 제안한다.
관측 데이터 기반 정책 학습(policy learning)에서 최적 정책, 개선 정책, 정책 존재 여부 판별이라는 세 가지 문제를 통합하는 수학적 프레임워크를 제시하며, 표본 복잡도(sample complexity) 기준으로 이 문제들 사이의 난이도 위계와 간극을 이론적으로 분석한다. 특히 개선 정책을 실제로 찾기에 데이터가 부족한 상황에서도, 단조성(monotonicity) 조건을 만족하는 알고리즘 하에서 개선 정책의 존재 여부는 준선형 다항식 수준의 더 적은 표본으로 판별 가능함을 증명한다.
Gumbel-max 워터마킹 메커니즘 하에서 혼합 문서의 LLM 생성 비율을 추정하는 표본 복잡도(sample complexity) 문제를 다루며, 피벗 통계량만 관측하는 경우 라게르 다항식 추정기를 통해 비모수적 수렴 속도를, 의사난수 벡터까지 완전 관측하는 경우 사건 계수 추정기를 통해 더 빠른 모수적 수렴 속도를 각각 정보이론적 하한과 함께 확립한다. 피벗 환원이 널리 쓰이는 우아한 방법이지만 워터마크 비율 추정에서는 완전 관측 대비 표본 효율성을 손실할 수 있음을 보인다.
관측된 해 데이터로부터 지배 방정식을 학습하는 것은 과학적 머신러닝(scientific machine learning)에서 근본적인 과제이지만, 다중 해 관측으로부터 ground-truth ODE를 고유하고 안정적으로 식별할 수 있는 이론적 조건은 여전히 거의 발전되지 않았으며, 이러한 학습 과제의 표본 복잡도(sample complexity)에 대한 정량적 분석은 문헌에 존재하지 않는다. 이 공백을 메우기 위해, 우리는 해 집합(solution set) 위의 하우스도르프 거리(Hausdorff distance)를 미분방정식을 비교하는 자연스러운 거리(metric)로 도입한다. 이는 허용 가능한 모든 초기 조건에 걸친 두 방정식 간의 최악(worst-case) 분리를 포착하며, 따라서 식별 문제의 미니맥스(minimax) 구조를 인코딩한다. 우리는 선형 ODE부터 Lipschitz(Hölder) 연속 벡터장(vector field)을 갖는 비선형 클래스에 이르는 넓은 구조 방정식(structure equations) 계열에 걸쳐 지배 ODE에 대한 식별 가능성 한계를 확립하고, 해 데이터로부터 두 개의 서로 다른 방정식을 정확히 언제 구별할 수 있는지 특성화한다. 이 거리(metric)를 사용하여, 우리는 관련 ODE 클래스에 대한 메트릭 엔트로피(metric entropy) 추정을 유도하고 표본 복잡도 한계를 분석하여, 지배 방정식을 신뢰성 있게 복원하는 데 필요한 해 관측의 수를 정량화한다.