관측된 해 데이터로부터 지배 방정식을 학습하는 것은 과학적 머신러닝(scientific machine learning)에서 근본적인 과제이지만, 다중 해 관측으로부터 ground-truth ODE를 고유하고 안정적으로 식별할 수 있는 이론적 조건은 여전히 거의 발전되지 않았으며, 이러한 학습 과제의 표본 복잡도(sample complexity)에 대한 정량적 분석은 문헌에 존재하지 않는다. 이 공백을 메우기 위해, 우리는 해 집합(solution set) 위의 하우스도르프 거리(Hausdorff distance)를 미분방정식을 비교하는 자연스러운 거리(metric)로 도입한다. 이는 허용 가능한 모든 초기 조건에 걸친 두 방정식 간의 최악(worst-case) 분리를 포착하며, 따라서 식별 문제의 미니맥스(minimax) 구조를 인코딩한다. 우리는 선형 ODE부터 Lipschitz(Hölder) 연속 벡터장(vector field)을 갖는 비선형 클래스에 이르는 넓은 구조 방정식(structure equations) 계열에 걸쳐 지배 ODE에 대한 식별 가능성 한계를 확립하고, 해 데이터로부터 두 개의 서로 다른 방정식을 정확히 언제 구별할 수 있는지 특성화한다. 이 거리(metric)를 사용하여, 우리는 관련 ODE 클래스에 대한 메트릭 엔트로피(metric entropy) 추정을 유도하고 표본 복잡도 한계를 분석하여, 지배 방정식을 신뢰성 있게 복원하는 데 필요한 해 관측의 수를 정량화한다.
알려지지 않은 반공간으로 절단된 고차원 가우시안을 총 변동 거리에서 학습하는 문제에, 절단된 분포의 저차 모멘트를 상대적 절단 매개변수로 재해석해 직접 매개변수를 복원하는 효율적 알고리즘을 제안한다. n=Õ(d²/ε²) 표본과 경험적 공분산 행렬 계산에 맞는 실행 시간으로, 절단이 없는 경우와 동일하게 d와 ε에 관해 최적인 표본·시간 복잡도를 달성한다.
불균형 엔트로피적 최적 운송(unbalanced entropic OT)에서 스칼라 운송값이 아니라 최적 결합(plan) 수준의 표본 복잡도를 분석하고, 평행이동 불변 듀얼 공식과 내재 이중 변수의 컴팩트성·강볼록성을 이용해 경험적 결합에 대한 유한 표본 고확률 상계를 제시한다. 정규화가 고차원 차원의 저주를 완화하고 안정적 운송 추정에 필요한 표본 수를 줄이며 Sinkhorn형 솔버와 호환되는 이유를 설명한다.
유계 대칭 로그-오목(log-concave) 교란 하의 이산 시간 이중선형(bilinear) 시스템에 대해 궤적 의존 회귀 변수와 한계적 안정 동역학을 허용하는 유한 샘플 집합 멤버십(set-membership) 동정 프레임워크를 제안한다. 추정 오차 ε에 대해 실행 가능 매개변수 집합의 지름이 샘플 복잡도 Õ(1/ε)로 수축함을 증명했으며, 시뮬레이션으로 불확실성 정량화(uncertainty quantification) 이점을 확인했다.
텍스트·시퀀스·조합 구조 생성에 필수적인 이산 상태 확산 모델의 이론적 이해 공백을 메우기 위해, 점수(score) 추정 오차를 통계·근사·최적화·클리pping(clipping) 요소로 분해하는 프레임워크를 제시하고 최초의 표본 복잡도(sample complexity) 상한 $\widetilde{\mathcal{O}}(\epsilon^{-2})$를 도출한다. 이 분석은 유한 데이터와 SGD 최적화 하에서 이산 상태 확산 모델이 목표 분포에 대해 KL 발산 $\epsilon$ 이내로 샘플을 생성하는 데 필요한 표본 수를 정량화한다.
평균 보상 기준 강건 강화학습(RL)에서 환경 불일치를 다루는 기존 연구의 모델 기반·점근적 한계를, 블랙박스 샘플링 오라클과 K차 다중 수준 몬테카를로(MLMC) 추정량을 결합한 모델-프리 알고리즘 Robust Halpern Iteration(RHI)으로 메우고 생성 모델 설정에서의 유한 샘플 복잡도를 분석한다. KL 및 χ² 발산 불확실성 집합에 대해 RHI가 ε-최적 강건 정책을 달성하는 샘플 복잡도가 강건 평균 보상 RL의 최고 수준과 점근적으로 일치함을 보인다.
모델(model)은 그룹 가중치(group weights) $G$의 집합에 대해 멀티캘리브레이션(multicalibration)되는데, 이는 전체적으로뿐만 아니라 각 $g \in G$에 의해 컨텍스트(contexts)를 재가중치한 후에도 캘리브레이션된(calibrated) 상태, 즉 예측에 조건부로 편향되지 않은(unbiased) 상태를 의미합니다. 이는 많은 다운스트림(downstream) 애플리케이션에 유용한 속성이며 신뢰할 수 있는 머신러닝의 기본적인 요구 조건입니다. 이 연구 이전에는 $\varepsilon$-멀티캘리브레이션($\varepsilon$-multicalibration)을 위해 미니맥스 최적(minimax-optimal)인 $\widetilde O(\varepsilon^{-3})$ 샘플 복잡도(sample complexity) 비율을 달성하는 것으로 알려진 모든 예측기(predictor)가 랜덤화된(randomized) 것이었으며, 결정론적(deterministic) 예측기는 훨씬 더 나쁜 샘플 복잡도를 가진 것으로만 알려져 있었습니다. 멀티캘리브레이션에서 최적 샘플 복잡도를 위해 랜덤화가 필요한지 여부는 [CLNR26]에 의해 명시적으로 질문되었으며 여러 선행 연구에서 암묵적으로 다루어졌습니다. 우리는 결정론적 예측기를 출력하는 미니맥스 최적 멀티캘리브레이션 알고리즘을 제시하여 이 미해결 문제를 해결합니다. 그런 다음 유한하거나 유한하게 덮인 테스트 컬렉션에 대해 결과 구별 불가능성(outcome indistinguishability, OI)을 만족하는 최적의 결정론적 예측기를 생성하도록 알고리즘을 일반화합니다. 이를 응용하여 최적 샘플 복잡도를 가진 결정론적 옴니프레딕터(omnipredictor) 및 팬프레딕터(panpredictor)를 제공함으로써, [OKK25]와 [BHHLZ25]가 제기한 미해결 문제를 해결합니다.
유계 이진 블랙박스 함수의 최적화에 동기를 부여받아, 우리는 불리언 하이퍼큐브 상에서 다항식 대리 모델을 학습하는 문제를 연구합니다. 대리 모델을 최적화하는 것이 근본적인 목적 함수에 대해 좋은 해를 산출하도록 보장하기 위해, 우리는 일반적인 $L_2$ 유형의 보장 대신 균일 $L_\infty$ 오차 보장을 요구합니다. 우리는 두 가지 유계 다항식 클래스에 대해 subgaussian 잡음 하에서 균일 추정의 미니맥스 표본 복잡도를 특성화합니다. 첫째, $n$개의 변수에 대한 차수가 최대 $d$인 다항식의 경우, 표본 복잡도는 $n^{d+1}$으로 스케일링됩니다. 둘째, $s \leq n$인 $s$-희소 Fourier-Walsh 다항식의 경우, 표본 복잡도는 $ns^2$으로 스케일링됩니다. 이러한 비율은 균일한 정확한 복구가 각각 $n^d$와 $ns$로 스케일링되는 무잡음 설정과 구조적으로 다릅니다. 우리의 하한은 임의의 적응형 학습자에 대해서도 성립하며, 이는 추가적인 요인들이 잡음이 있는 경우에 내재적임을 보여줍니다. $L_2$ 놈에 대한 표준적인 푸리에 분석 도구들은 균일한 보장을 제공하는 방식으로 $L_\infty$ 설정으로 자연스럽게 확장되지 않습니다. 우리의 증명은 $L_\infty$ 오차를 제어하는 대리 수단으로 작용하는 적절하게 선택된 보조 놈에 의존하여 이 어려움을 극복합니다. 종합하면, 우리의 결과는 최적화에 안전한 다항식 대리 모델을 학습하는 표본 복잡도에 대한 타이트한 특성화를 제공합니다.
본 논문에서는 학습 시스템 내 격차(disparity)의 세 가지 근본적인 원인을 식별하는 No-Free-Fairness 정리라 불리는 일련의 이론적 불가능성 결과를 확립합니다. 첫째, 작업이 하위 그룹(subgroup)에서 줄일 수 없는 비용을 나타낼 때, 모든 결정 규칙(decision rule)은 전반적인 성능과 격차 사이의 상충 관계를 맞아야 하며, 이는 본질적인 공정성-비용 프론티어를 초래합니다. 둘째, 완벽하게 공정하고 정확한 솔루션이 존재하는 이상적이고 노이즈가 없는 설정에서조차도, 유한 샘플 학습만으로도 중요한 하위 그룹 격차를 유발하므로 분포 무관(distribution-free) 공정성 보장을 배제한다는 것을 증명합니다. 더 심각하게는, 엄격한 상대적 공정성을 강제하면 통계적 병목이 발생하여, 낮은 비용을 달성하려면 지수적으로 많은 샘플이 필요할 수 있습니다. 셋째, 모델 클래스의 제한이 독립적으로 격차를 유발할 수 있음을 보여줍니다. 모델이 하위 그룹에 대한 정확한 솔루션을 표현할 수 없는 경우, 데이터나 학습(training) 절차에 관계없이 공정성은 달성 불가능합니다. 전반적으로, 이러한 결과는 불공정성이 편향된 데이터나 최적이 아닌 최적화의 결과만은 아니며, 결정 문제의 내재적 구조, 유한 데이터의 제약, 그리고 모델의 표현력(expressivity)에서 비롯됨을 입증합니다. 우리의 프레임워크는 표준 지도 학습을 넘어 광범위하게 적용되며, 공정성 달성을 위해서는 명시적인 상충 관계가 필요하고 이를 핵심 설계 고려 사항으로 다루어야 함을 시사합니다.
양자 머신러닝의 핵심 원리 중 하나는 ansatz가 관심 있는 양자 데이터를 표현하기에 충분한 표현력을 갖추어야 한다는 것이다. 그러나 표현력은 미지의 양자 상태로부터 유한히 많은 사본(copy)으로 학습될 수 있는 범위에서만 통계적으로 의미를 갖는다. 본 연구에서는 유한 크기의 양자 회로로 생성된 양자 데이터에 대한 정보 이론적 Occam 이론을 제안한다. 최대 $G$개의 2-큐비트 게이트로 준비 가능한 $n$-큐비트 순상태(pure state)의 클래스 $S_{n,G}$에 대해, metric-entropy 논증은 회로 제한(circuit-limited) 영역에서 실현 가능한 샘플 법칙 $\widetildeΘ(G/ε^2)$를 제공한다. 임의의 소스 $\hatρ$에 대해, 최적 $G$-게이트 근사 오차 $d_G(\hatρ)$와 근사 회로 복잡도 $C_η(\hatρ)$를 도입한다. 불가지론적(agnostic) 양자 Occam 정리를 증명한다: $M$개의 사본으로, 최적 $G$-게이트 근사 오차에 통계적 패널티 $\widetilde{O}(\sqrt{G/M})$를 더한 수준까지 학습할 수 있다. 이어서, 데이터가 정당화하는 회로 복잡도를 선택하는 oracle inequality를 갖는 적응형 모델 선택 정리를 통해, $G$를 사전에 알 필요가 없도록 한다. 일치하는 하한은 샘플 지원 표현력 법칙을 제공한다: trace distance 정확도 $ε$에서, $M$개의 샘플은 (로그 인수와 $2^n$에서의 토모그래피 포화까지 고려하여) $G_{\rm supported} \simeq Mε^2$개의 게이트만 지원할 수 있다. 따라서 회로 복잡도는 정적 약속(static promise)이 아니라 적응적 통계적 자원이 된다. 본 프레임워크는 유계(bounded) 회로 복잡도를 양자 머신러닝을 위한 모델 선택 원리로 전환한다.
디퓨전 모델이 강력한 생성 모델 클래스로 등장했지만, 그 학습 역학은 여전히 잘 이해되지 않고 있습니다. 우리는 먼저 자연 이미지로 학습된 표준 디퓨전 모델이 분포적 단순성 바이어스(distributional simplicity bias)를 보이며, 고차 상관관계로 특화되기 전에 단순한 쌍별(pair-wise) 입력 통계를 학습한다는 것을 경험적으로 보여줌으로써 이 문제를 다룹니다. 우리는 입력의 쌍별 및 고차 상관관계를 정밀하게 제어할 수 있는 최소 데이터 모델인 혼합 누적량 모델(mixed cumulant model)로 학습된 간단한 디노이저에서 이 동작을 재현합니다. 우리는 쌍별 및 고차 상관관계 학습의 샘플 복잡도를 규정하는 모델의 스칼라 불변량을 식별했으며, 이를 다른 학습 패러다임의 관련 불변량과 유사하게 디퓨전 정보 지수(diffusion information exponent)라고 부릅니다. 이 불변량을 사용하여, 우리는 디노이저가 선형 샘플 복잡도로 입력의 단순한 쌍별 통계를 학습하는 반면, 4차 누적량(fourth cumulant)과 같은 더 복잡한 고차 통계는 최소 3차 샘플 복잡도가 필요함을 증명합니다. 또한, 쌍별 및 고차 통계가 상관된 잠재 구조를 공유하는 경우 4차 누적량 학습의 샘플 복잡도가 선형임을 증명합니다. 우리의 연구는 디퓨전 모델이 점점 복잡해지는 분포를 학습할 수 있는 방법에 대한 핵심 메커니즘을 설명합니다.