무작위 대조 시험 내의 하위집단 분석은 표본 크기가 제한적이어서 검정력이 부족한 경우가 많다. 본 논문은 관심 하위집단 밖의 시험 참가자를 활용하여 하위집단 내 추정을 보강함으로써 이 문제를 다룬다. 구체적으로, 동일한 시험 내 비하위집단 참가자로부터 정보를 차용하는 두 가지 표적 최대우도 추정량(TMLE), 즉 합동 회귀를 사용하는 TMLE(TMLE-PR)와 적응형 표적 최대우도 추정량(A-TMLE)을 연구한다. 두 추정량 모두 외부 실제 데이터에 의존하지 않고 정보 공유를 가능하게 하므로, 무작위 처치가 제공하는 편향 방지라는 가장 중요한 강점과 더불어 조화된 데이터 수집, 일관된 처치 및 결과 정의라는 시험의 핵심 강점을 활용한다. 여기서 제안하는 일반적 전략은 외부 편향 요인을 도입하지 않고 하위집단별 처치 효과 추정치의 정밀도를 개선함으로써, 형평성 있는 표시 사항, 접근성, 시판 후 평가를 뒷받침하는 엄밀한 추론을 촉진하여 FDA를 비롯한 주요 규제 기관의 우선순위를 직접적으로 진전시킨다. 심혈관 결과 시험(LEADER, NCT01179048)의 데이터 분석에 기반한 사례 연구에서, 시험의 나머지 부분으로부터 정보를 차용하는 제안 추정량을 사용하여, 각각 시험 대상 집단의 10% 미만을 차지하는 흑인 및 아시아인 하위집단에서 리라글루타이드 치료에 따른 주요 심혈관 부작용(MACE)의 위험 감소를 추정한다. 특히 A-TMLE를 사용하여 365일, 540일, 730일 시점에서 추정된 MACE 절대 위험 감소가 아시아인 참가자에서 각각 1.6, 1.5, 1.5 퍼센트포인트, 흑인 참가자에서 각각 2.1, 2.0, 2.1 퍼센트포인트임을 확인하였으며, 모든 시점에서 95% 신뢰구간이 귀무값을 포함하지 않았다.
본 논문은 여러 시점에서 관측된 시변 네트워크의 기저 간선 확률을 추정하는 문제를 다룬다. 확률 구조는 시간적 Hölder 평활성과 잠재 변수에 대한 구간별 Lipschitz 조건을 만족하는 시변 그래폰으로 표현된다. 본 논문은 먼저 각 간선에 시간적 국소 평활화를 적용한 뒤, 해당 방법에서 가져와 조정한 데이터 기반 이웃 구성을 사용해 노드 영역 평활화를 수행하는 다단계 평활화 추정량을 제안한다. 전체 시간 영역에 걸친 균일한 정확도가 필요한 경우를 위해 추가적인 시간 평활화 단계를 선택적 정련으로 도입한다. 모의실험은 다양한 생성 모델에서 시간 평활화와 노드 영역 평활화를 결합하는 것의 이점을 보여준다. 또한 실제 시변 네트워크 데이터셋에 이 방법을 적용하여, 매끄러운 시간적 변화와 연결성의 구조적 패턴을 모두 포착함을 보인다.
학습 중 배치 정규화(BN)가 구현되는 함수에 미치는 영향은 최적화에 미치는 영향보다 덜 이해되어 있다. 본 연구는 연속 구간별 아핀(CPA) 네트워크에서 학습 시 BN을, 데이터 주변의 국소 $\ell_\infty$ 윈도우에서 네트워크가 유도하는 아핀 영역을 통해 연구한다. 미니배치가 주어졌을 때, 학습된 매개변수와 일반적인 CPA 활성화를 갖는 BN 층의 모든 스위칭 초평면은 배치 중심을 지나는 초평면의 평행 이동이며, 그 오프셋은 표준화된 양에 배치 퍼짐을 곱한 값으로 주어지고 원래의 편향과는 무관하다. 일반 위치 조건에서 성립하는, 윈도우 내 영역 수에 대한 정확한 공식을 윈도우 절단과 내부 교차의 관점에서 증명한다. BN 층에 대해 이 공식은 표준화된 오프셋으로 표현되는 국소 영역 수의 하한을 제공하며, 이 하한은 배치에 대해 그 퍼짐에만 의존하고 편향이나 배치 위치에는 의존하지 않는다. BN이 없으면 이러한 최선의 하한은 $1$이다. 즉 임의의 가중치와 배치에 대해, 어떤 편향에서는 윈도우가 단일 영역으로 남는다. 이 공식이 임의 랭크의 부모 아핀 영역 내부인 더 깊은 층에서도 성립함을 증명한다. 정확한 공식에 따라, BN이 윈도우 절단 수와 내부 교차 수의 기댓값을 증가시키는 경우마다 국소 영역 수의 기댓값도 증가시키며, 이를 경험적으로 검토한다. 합성 데이터, MNIST, CIFAR-10, TinyImageNet으로 학습된 네트워크의 오프셋 분포는 BN 하에서 더 높은 윈도우 절단율을 보이며, 2차원에서의 정확한 열거는 BN으로 추가된 영역의 대부분이 내부 교차에서 비롯됨을 보여 준다.
불완전 데이터에서의 인과 발견을 위한 표준적인 제약 기반 패러다임, 즉 먼저 대체하고 나중에 검정하는 방식은 자주 보정이 어긋난다. 대체 오차가 가짜 조건부 의존성을 유발하면, 일관성 있는 어떤 조건부 독립성(CI) 검정이든 참인 귀무가설을 1에 가까운 확률로 기각하기 때문이다. 본 연구는 짝지은 순열 설계를 통해 다중 대체를 추론 절차에 직접 통합하여 보정을 회복하는 비모수 CI 검정인 PAIR-CI를 소개한다. PAIR-CI는 동일한 대체된 조건 집합을 받으면서 후보 변수를 포함하는 교차 검증 모델과 제외하는 모델을 비교하므로, 대체 오차가 검정 통계량을 오염시키는 대신 손실 차이에서 상쇄된다. 증명 가능하게 일관적인 교차 검증 추정량을 Rubin의 규칙 안에 중첩한 분산 추정량은, 다중 대체 극한에서 점근적으로 타당하고 유도된 부호가 확정된 메커니즘에 의해 보수적인 추론을 제공하며, 우리가 아는 한 이 두 추론 틀을 결합한 최초의 형식적 결과이다. 시뮬레이션에서 기존의 대체 기반 CI 검정은 데이터가 비무작위 결측(MNAR)일 때 28-45%의 거짓 양성률을 보인 반면, PAIR-CI의 통합 거짓 양성률은 최대 3.6%이며, 조건 변수가 다섯 개 이상인 일부 셀에서만 명목 5%를 초과한다. PC 알고리즘에 통합했을 때 PAIR-CI는 함수 형태와 결측 메커니즘 전반에서 안정적인 반면, 결측값 PC를 포함해 우리가 고려한 모든 모수적 파이프라인은 크게 실패하는 영역을 가진다. 비선형 네트워크 벤치마크에서 PAIR-CI는 결측값 PC 대비 구조적 해밍 거리를 18%(ALARM)와 11%(HAILFINDER) 줄이고, 검정별 삭제 및 대체 기반 Fisher-$Z$ 파이프라인 대비 31-48% 줄이면서 가장 높은 스켈레톤 F1을 달성한다. 관계가 선형일 때는 올바르게 명세된 모수적 파이프라인이 여전히 더 바람직하다.
깊이는 심층 신경망의 성공에 핵심적으로 기여하는 요소로 널리 여겨지지만, 표준적인 근사 결과는 대개 네트워크의 최종 출력에 대한 오차 한계만을 제시한다. 우리는 고전적인 다중 스케일 전개와 다중 등급 딥러닝에서 착안하여, 중간 읽기 출력이 점차 더 미세한 스케일에서 목표 함수를 근사하는 단일 네트워크를 구성함으로써 깊이에 스케일 의존적 해석을 부여한다. $1\le p <\infty$인 임의의 $f\in L^p([0,1]^d)$와 임의의 정수 $N\ge2$에 대해, 첫 두 뉴런에는 사인 함수를, 나머지에는 $\mathtt{ReLU}$를 사용하여 모든 은닉층에서 활성화 패턴이 동일한 너비 $3dN+2d+4$의 단일 네트워크를 구성한다. 모든 $\ell\ge0$에 대해, 계층 $\ell+4$에서의 읽기 출력 $\Phi_\ell$의 $L^p$ 근사 오차는 $(2d+1)\omega_{f,p}(N^{-\ell})$로 유계이며, 여기서 $\omega_{f,p}$는 $f$의 $L^p$ 평행이동 연속률을 나타낸다. $C>0$, $0< \alpha \le 1$인 Hölder 조건 $\omega_{f,p}(t)\le Ct^\alpha$ 하에서 이 추정은 기하적 한계 $(2d+1)C N^{-\alpha\ell}$을 준다. 더 일반적으로, $\omega_{f,p}(t)$가 $t\downarrow0$일 때 0으로 수렴하는 알려진 상한을 가지면, 적응적 깊이 선택을 위한 정지 규칙을 얻는다. 오차 한계가 원하는 허용 오차를 처음 만족하는 깊이에서 멈출 수 있으며, 이후 더 엄격한 허용 오차를 맞추기 위해 이전의 모든 사상과 읽기 출력을 고정한 채 계층을 추가할 수 있다.
서포트 벡터 머신(SVM)은 예측 성능이 비슷하더라도 개별 설명 변수의 기여와 그 상호작용 측면에서 서로 다른 내부 구조를 가진 분류기를 산출할 수 있다. 본 논문은 절단 Christoffel–Darboux 커널의 텐서 곱으로 구성된 SVM을 위한 사후 학습 방법론인 직교 표현 기여 분석(Orthogonal Representation Contribution Analysis, ORCA)을 제안한다. 연관된 재생핵 힐베르트 공간(RKHS)은 적합된 결정 함수의 정칙화 성분이 정확한 전개를 갖는 유한 정규직교 다항식 기저를 허용한다. 전개 계수의 제곱은 그 제곱 RKHS 노름의 가법적 분해를 유도한다. 이 표현을 기반으로, 정규화된 직교 커널 기여(Orthogonal Kernel Contribution, OKC) 지수는 전체 다항식 차수, 상호작용 차수, 그리고 임의 차수의 상호작용을 포함하여 개별적으로나 결합적으로 입력 변수의 기여와 관련된 제곱 RKHS 노름의 비율을 정량화한다. ORCA는 이 지수들을 결합 구조 지도, 변수별 시각화, 적합된 분류기 간 비교를 통해 요약한다. 통제된 네 가지 분류 문제는 예측 성능이 일치하는 상황에서도 상당한 구조적 차이가 있음을 보여 준다. 이중 나선 실험은 다섯 가지 Jacobi 커널을 비교하고, Vertebral Column 데이터에 대한 응용은 교차 검증 기반 모델 선택 이후의 방법을 예시한다. ORCA는 적합된 SVM의 내부 구조를 정량적으로 특성화하며, 표준 예측 성능 지표로는 발견되지 않을 수 있는 차이를 드러낸다.
본 연구는 각 처치 값을 모집단 평균 결과에 대응시키는 연속 처치의 효과 함수를 추정하는 문제를 다룬다. 이 설정의 핵심 난제는 교락이다. 처치 할당이 흔히 공변량에 의존하여 선택 편향을 만들고, 이로 인해 반응을 처치에 직접 회귀하는 방식은 신뢰하기 어렵다. 이를 해결하기 위해 2단계 커널 릿지 회귀 방법을 제안한다. 첫 번째 단계에서는 처치와 공변량 모두의 함수로서 반응에 대한 모델을 학습하고, 두 번째 단계에서는 이 모델을 사용하여 분포 이동을 보정하는 의사 결과(pseudo-outcome)를 구성한 뒤 두 번째 모델을 적합하여 처치 효과를 추정한다. 반응은 처치와 공변량 모두에 따라 달라지지만 공변량에 대해 평균하여 얻는 효과 함수는 일반적으로 훨씬 단순하며, 본 추정량은 이 구조에 적응한다. 최적 학습 한계는 조건부 처치 밀도를 추정하지 않고도 달성되며, 이로써 기존 방법의 주요 병목을 우회한다. 나아가 미지의 중첩 정도와 기저 커널의 스펙트럼 감쇠 모두에 대해 증명 가능한 적응성을 달성하는 완전 데이터 기반 모델 선택 절차를 도입한다.
AI 보조 작업 위임은 점차 일반화되고 있으나, 이러한 시스템에서 인간의 노력은 비용이 많이 들고 통상 관측 불가능합니다. Bastani와 Cachon (2025); Sambasivan 등 (2021)의 최근 연구는 정확도 기반 지불 방식이 인센티브 붕괴(incentive collapse) 문제를 겪는다는 것을 보여줍니다. 즉, AI 정확도가 향상됨에 따라 긍정적인 인간의 노력을 유지하려면 무한한 지불이 필요합니다. 우리는 출력 정확도가 관측되지 않은 노력에 의존하는 전략적 인간 에이전트(agent)가 포함된 예산 제약이 있는 주인-에이전트(principal-agent) 프레임워크 내에서 이 현상을 연구합니다. 첫 번째 기여는 인센티브 붕괴가 단순한 선형 지불의 한계에 불과한 것이 아니라, 관측된 작업 정확도에만 기반한 모든 지불 규칙에 대해 발생한다는 것을 보여주는 일반적인 불가능성 결과입니다. 이러한 장벽을 극복하기 위해, 우리는 AI 정확도와 무관하게 유한한 비용으로 인간의 노력 수준을 엄격하게 양의 값이고 제어 가능한 수준으로 강제하는 감시자 감사(sentinel-auditing) 지불 메커니즘을 제안합니다. 이 인센티브 강건한 기반을 바탕으로, 우리는 단일 예산 하에서 최종 통계적 손실(loss)을 최소화하기 위해 (i) 감사율과 (ii) 다양한 난이도의 작업에 대한 능동적 샘플링 및 예산 할당을 공동으로 최적화하는 인센티브 인지 능동적 통계 추론(inference) 프레임워크를 개발합니다. 실험 결과, 표준 능동 학습 및 감사 전용 기준선에 비해 개선된 비용-오차 트레이드오프를 입증합니다.
학습이 통계적으로는 가능하지만 계산적으로는 어려운 경우를 이해하는 것은 고차원 통계학의 핵심 과제이다. 본 연구에서는 고차원 데이터에서 특징을 발견하는 머신러닝 방법의 능력을 가늠하는 벤치마크로 널리 연구되는 함수 클래스인 단일 및 다중 인덱스 모델의 맥락에서 이 문제를 조사한다. 우리의 주된 기여는 활성화 함수에 의해 결정되는 단순한 양인 잡음 민감도 지수(Noise Sensitivity Exponent, NSE)가 이러한 모델의 넓은 영역에서 통계-계산 격차의 존재와 크기를 좌우함을 보이는 것이다. 먼저 큰 가법 잡음이 있는 단일 인덱스 모델에서 계산적 병목의 출현이 NSE로 완전히 규정됨을 확립한다. 다음으로 동일한 지수가 개별 성분이 학습 가능해지는 대규모 분리형 다중 인덱스 모델의 특화 전이에서의 통계-계산 격차를 제어함을 보인다. 마지막으로 계층적 다중 인덱스 모델에서 NSE가 서로 다른 방향이 순차적으로 학습되는 최적의 계산 속도를 좌우함을 보인다. 종합하면, 우리의 결과는 NSE를 고차원 학습에서 잡음 강건성, 계산적 난해성, 특징 특화를 연결하는 통합적 속성으로 규명한다.
어려운 풀린 매듭(unknot) 다이어그램을 단순화하도록 강화학습 에이전트를 학습시키고, 학습된 교차점 선택기와 결합하여 짧은 매듭 풀기 수열을 탐색한다. 에이전트가 찾은 세 가지 예시로부터 매듭 풀기 수가 3인 소수(prime) 2-브리지 매듭의 무한 족을 얻었으며, 이 매듭들과 8자 매듭의 연결합 또한 매듭 풀기 수가 3이다. 또한 교차점 13개 이하의 소수 매듭 집합에서 15개의 새로운 매듭 풀기 수 상한을 찾았다.
불확실성 정량화는 인과 기계학습의 많은 응용에서 핵심적이지만, 인과 효과에 대한 원칙적인 베이즈 추론은 여전히 어렵다. 표준 베이즈 접근법은 일반적으로 성향 점수와 결과 회귀와 같은 고차원 교란 성분(nuisance component)을 포함하여 데이터 생성 과정에 대한 확률 모형을 명시해야 한다. 따라서 표준 사후분포는 복잡한 사전분포 설정을 포함한 강한 모형화 선택에 취약하다. 본 논문에서는 인과추론을 위한 일반화 베이즈 프레임워크를 제안한다. 제안한 프레임워크는 명시적인 우도 모형화를 피하고, 대신 인과 추정량에 직접 사전분포를 두고 식별 기반 손실 함수를 이용해 이를 갱신하며, 이를 통해 인과 효과에 대한 일반화 사후분포를 얻는다. 그 결과, 본 프레임워크는 기존의 손실 기반 인과 추정량을 완전한 불확실성 정량화를 갖춘 추정량으로 바꾼다. 본 프레임워크는 유연하며 ATE, CATE 등 광범위한 인과 추정량에 적용할 수 있다. 또한 최첨단 인과 기계학습 파이프라인(예: Neyman 직교 메타러너) 위에 적용할 수 있다. Neyman 직교 손실에 대해, 일반화 사후분포가 오라클 대응물로 수렴하며 1단계 교란 추정 오차에 대해 강건함을 보인다. 보정을 거치면, 교란 추정량이 모수적 속도보다 느리게 수렴하는 경우에도 타당한 빈도주의 불확실성을 얻는다. 실험적으로, 제안한 프레임워크가 여러 인과추론 설정에서 보정된 불확실성을 갖춘 인과 효과 추정을 제공함을 보인다. 우리가 아는 한, 이는 인과 기계학습을 위한 일반화 베이즈 사후분포를 구성하는 최초의 유연한 프레임워크이다.
UMAP(Uniform Manifold Approximation and Projection)은 차원 축소를 위해 널리 사용되는 매니폴드 학습 기법이다. 본 논문은 종합적인 비교 분석을 통해 UMAP, 지도 UMAP, 그리고 주성분 분석(PCA), 커널 PCA, 분할 역회귀(SIR), 커널 SIR, t-분포 확률적 이웃 임베딩을 포함한 여러 경쟁 차원 축소 방법을 연구한다. UMAP은 국소 구조와 전역 구조를 보존한다는 점에서 상당한 주목을 받았지만, 특히 회귀 설정에서의 지도 확장은 아직 충분히 탐구되지 않았다. 모의 데이터와 실제 데이터를 사용하여 회귀와 분류 모두에 대해 지도 UMAP을 체계적으로 평가하였으며, 성능은 저차원 임베딩에 대한 예측 정확도로 측정하였다. 그 결과, 지도 UMAP은 분류에서는 좋은 성능을 보이지만 회귀에서는 반응 변수 정보를 효과적으로 반영하는 데 한계가 있음을 보였으며, 이는 향후 발전을 위한 중요한 방향을 시사한다.
Discrete diffusion models have achieved strong empirical performance in text and other symbolic domains, with masked (absorbing-rate) variants emerging as competitive alternatives to autoregressive models. Among existing samplers, the Euler method remains the standard choice in many applications, and more recently, the First-Hitting Sampler (FHS) has shown considerable promise for masked diffusion models. Despite their practical success, the theoretical understanding of these samplers remains incomplete. Many existing analyses are conducted in Kullback-Leibler (KL) divergence, which often yields loose parameter dependencies and requires strong assumptions on score estimation. Moreover, these guarantees do not cover recently developed high-performance sampler of FHS. In this work, we first develop a direct total-variation (TV)-based analysis for the Euler method that overcomes these limitations. Our results relax assumptions on score estimation, improve parameter dependencies, and establish convergence guarantees without requiring any surrogate initialization. Also for this setting, we provide the first convergence lower bound for the Euler sampler, establishing tightness with respect to all of the data dimension $d$, the vocabulary size $S$, and the target accuracy $\varepsilon$, up to logarithmic factors. Finally, we analyze the FHS sampler and show that it incurs no sampling error beyond that induced by score estimation, which we show to be tight with a matching lower error bound. Our analysis introduces two techniques that may be of independent interest: a comparison with a reference unmasking schedule for the Euler method and a pathwise argument exploiting the decoupling structure of FHS.
대규모 언어 모델의 학습과 미세 조정이 늘어남에 따라, 실무자에게는 어떤 학습 데이터가 특정 행동, 특히 의도하지 않은 행동을 유발하는지 식별하는 방법이 필요하다. 학습 데이터 기여도 분석(Training Data Attribution, TDA) 방법은 데이터 포인트의 영향력을 추정하여 이 문제를 다룬다. 영향 함수와 같은 기존 접근법은 계산 비용이 크고 단일 테스트 예제에 기반하여 기여도를 산정하므로, 결과가 의미적 유사성보다 구문적 유사성으로 편향될 수 있다. 이러한 확장성 문제와 추상적 행동에 대한 영향력 문제를 해결하기 위해, 본 논문은 기여도 분석 과정에서 모델 내부의 해석 가능한 구조를 활용한다. 첫째, 개별 테스트 예제가 아니라 의미적 방향(선형 프로브 또는 희소 오토인코더 특징 등)에 모델 행동을 귀속시키는 Concept Influence를 제안한다. 둘째, 단순한 프로브 기반 기여도 분석 방법이 Concept Influence의 1차 근사이며, 비슷한 성능을 내면서도 한 자릿수 배 이상 빠름을 보인다. 창발적 정렬 불일치(emergent misalignment) 벤치마크와 실제 사후 학습 데이터셋 전반에서 Concept Influence와 그 근사 방법을 실험적으로 검증하고, 이들이 고전적인 영향 함수와 비슷한 성능을 달성하면서 확장성은 훨씬 우수함을 입증한다. 더 넓게 보면, 기존 TDA 파이프라인에 해석 가능한 구조를 통합하면 데이터를 통해 모델 행동을 더 확장 가능하고 설명 가능하며 더 잘 제어할 수 있음을 보인다.
본 논문은 두 가지 로그 오목 샘플링 문제인 제약 샘플링과 복합 샘플링을 연구한다. 먼저, $f$가 볼록일 때 볼록 집합 $K\subset\mathbb R^d$ 위에서 $e^{-f}$에 비례하는 분포로부터 샘플링하는 문제를 고려한다. 에피그래프 리프팅을 이용하여, 이 문제를 $\mathbb R^{d+1}$의 볼록 집합 위에서 1차원 지수 틸트(exponential tilt)를 제외한 균등 샘플링으로 환원한다. 이후 리프팅된 분포에 근접 샘플러를 적용한다. 절단 평면법과 기각 샘플링을 사용하여 제한된 가우시안 오라클의 비편향 구현을 개발하며, 이는 투영이나 장벽 함수에 의존하지 않고 $K$에 대한 분리 오라클과 $f$에 대한 평가 및 부분기울기 오라클만을 필요로 한다. 다음으로, $f$와 $h$가 폐볼록 함수일 때 $e^{-f-h}$로부터의 복합 샘플링을 연구한다. 이 구조는 $f$가 데이터 충실도를, $h$가 사전 정보를 나타내는 베이즈 추론에서 자연스럽게 나타난다. $h$에 에피그래프 리프팅을 적용하여 복합 샘플링을 $\mathbb R^{d+1}$에서의 제약 샘플링으로 환원함으로써 첫 번째 부분에서 개발한 접근법을 활용할 수 있다. 이는 $\mathbb R^{d+2}$에서의 이중 리프팅 정식화로 이어지며, 여기서 $f$와 $h$에 대한 부분기울기 오라클과 근접 오라클의 다양한 조합을 사용하여 근접 샘플러를 구현한다. 두 문제 모두에 대해 레니(Rényi) 발산과 $\chi^2$ 발산에서의 혼합 시간 상계를 증명한다. 마지막으로 변분적 관점에서 근접 샘플러의 수렴 분석을 재검토한다. 두 반단계에 대한 확률 측도 위의 최적화 문제로서의 변분 정식화에서 출발하여, 엔트로피 정규화 최적 수송의 동적 정식화를 이용해 이를 최적 제어 문제로 재구성한다. 이를 통해 입자 수준의 확률 미분방정식을 먼저 분석하지 않고도 최적화의 관점에서 직접 지배 편미분방정식을 유도할 수 있다.
배치 크기 스케줄링(BSS)은 대규모 딥러닝 학습에서 최적화 동역학과 계산 효율에 모두 영향을 미치는 중요한 역할을 한다. 그러나 그 이론적 기초는 아직 잘 이해되지 않고 있다. 본 연구는 Li et al. (2025a)에서 제안된 함수형 스케일링 법칙(FSL) 프레임워크가 BSS를 분석하는 원리적 관점을 제공함을 보인다. 구체적으로, 고정된 데이터 예산 하에서 최적 BSS를 규명하고 그 구조가 과업 난이도에 크게 좌우됨을 보인다. 쉬운 과업에서는 최적 스케줄이 학습 내내 배치 크기를 계속 늘린다. 반면 어려운 과업에서는 최적 스케줄이 학습 대부분 동안 작은 배치 크기를 유지하다가 후반에 이르러서야 큰 배치로 전환한다. 늦은 전환이 나타나는 이유를 설명하기 위해, 대규모 언어 모델(LLM) 사전 학습에서도 나타나는 동역학적 메커니즘인 빠른 따라잡기 효과를 밝힌다. 작은 배치에서 큰 배치로 전환한 뒤 손실은 일정한 큰 배치 궤적에 빠르게 정렬된다. FSL을 이용하여, 이 효과가 누적된 기울기 잡음의 빠른 망각에서 비롯되며 따라잡기 속도는 과업 난이도에 의해 결정됨을 보인다. 중요하게도 이 효과는 성능 저하 없이 큰 배치를 학습 후반으로 안전하게 미룰 수 있으며 데이터 소비를 크게 줄일 수 있음을 시사한다. 마지막으로, 최대 1.1B 파라미터와 1T 토큰에 이르는 Dense 및 MoE 아키텍처를 모두 포함한 광범위한 LLM 사전 학습 실험이 이론적 예측을 검증한다. 모든 설정에서 늦은 전환 스케줄은 일정 배치 및 이른 전환 기준 모델을 일관되게 능가한다.
고전적인 두 표본 검정은 각 분포에서 얻은 표본을 바탕으로 두 분포가 같은지 여부를 판단하는 것을 목표로 한다. 분포 무관 설정에서도 순열 검정과 같은 잘 알려진 방법은 두 분포가 다르다는 통계적 증거를 제공할 수 있다. 그러나 동일성을 기각하지 못했다고 해서 두 분포가 유사하다는 것이 반드시 입증되는 것은 아니다. 본 연구에서는 기저 분포에 대한 가정 없이 유한 표본 신뢰도로 분포 유사성을 인증하는 상보적 문제를 연구한다. 그러나 연속 분포의 경우, 총변동(TV) 거리에 대한 어떠한 분포 무관 상한 신뢰 한계도 두 분포가 동일하더라도 높은 확률로 자명할 수밖에 없음을 보인다. 따라서 분포 무관 보장을 갖는 TV 유사성 인증은 사실상 불가능하다. 이에 TV 거리의 완화인 블러링된 TV 거리를 고찰하며, 이는 TV의 해석을 유지하면서 공통 블러링 연산을 적용한 후의 유사성을 정량화할 수 있게 한다. 블러링된 TV에 대한 분포 무관 상한 및 하한 신뢰 한계를 구성하고, 유한 표본 타당성을 증명하며, 고차원에서의 성질을 검토한다.
본 연구는 표현 제한이 실질적으로 작용하는 영역에서, 계층적 다중 인덱스 타깃 클래스로 학습된 2층 신경망의 스케일링 법칙에 대한 정밀한 이론을 제시한다. 부분공간 복원과 예측 오차에 대한 정확한 정보 이론적 스케일링 법칙을 유도하여, 타깃의 계층적 특징이 일련의 상전이를 통해 순차적으로 학습되는 방식을 밝힌다. 나아가 이러한 최적 비율이 간단하고 타깃에 무관한 스펙트럼 추정기로 달성됨을 보이며, 이 추정기는 첫 번째 층 가중치에 대한 경사 하강법의 작은 학습률 극한으로 해석할 수 있다. 적합한 표현이 식별되면, 효율적인 절차를 사용하여 읽기 층을 통계적으로 최적으로 학습할 수 있다. 그 결과, 이러한 계층적 타깃으로 학습된 얕은 신경망에서의 스케일링 법칙, 고원 현상, 스펙트럼 구조에 대한 통합적이고 엄밀한 설명을 제공한다.
최근의 진전으로 현대 어텐션 기반 신경망에서 인컨텍스트 학습의 기저 메커니즘에 대한 이해가 빠르게 발전하였다. 그러나 기존 결과는 단일 모달 데이터에만 초점을 두고 있으며, 이와 대조적으로 다중 모달 데이터에 대한 인컨텍스트 학습의 이론적 토대는 아직 잘 이해되지 않고 있다. 본 연구는 다중 모달 학습을 연구하기 위한 수학적으로 다루기 쉬운 프레임워크를 도입하고, 트랜스포머 유사 아키텍처가 언제 인컨텍스트로 베이즈 최적 성능을 복원할 수 있는지 탐구한다. 다중 모달 문제를 모델링하기 위해 관측 데이터가 잠재 인자 모델에서 생성된다고 가정한다. 첫 번째 결과는 표현력에 대한 부정적 견해로서, 단일 층 셀프 어텐션 모델이 과제 분포 전반에 걸쳐 균일하게 베이즈 최적 예측기를 복원하지 못함을 증명한다. 이러한 한계를 해결하기 위해 새로운 선형화된 교차 어텐션 메커니즘을 도입하고, 교차 어텐션 층의 수와 컨텍스트 길이가 모두 큰 영역에서 이를 연구한다. 이 교차 어텐션 메커니즘이 경사 흐름으로 최적화될 때 증명 가능하게 베이즈 최적임을 보인다. 본 결과는 인컨텍스트 학습에서 깊이의 이점을 강조하며, 다중 모달 분포에 대한 교차 어텐션의 증명 가능한 유용성을 확립한다.
확률 측도에 대해 PCA를 수행하는 일반적인 접근법은 이를 표준 함수형 PCA 기법을 적용할 수 있는 힐베르트 공간에 임베딩하는 것이다. 하나의 측도의 임베딩을 $m$개의 표본으로부터 추정할 때의 수렴 속도는 잘 알려져 있으나, 여러 측도를 다루는 설정은 기존 문헌에서 다루어지지 않았다. 본 논문에서는 $n$개의 확률 측도가 관측되고 각각이 $m$개의 표본을 통해 관측되는 이중 점근 영역에서 PCA를 연구한다. 우리는 경험적 공분산 연산자와 PCA 초과 위험에 대해 $n^{-1/2} + m^{-\alpha}$ 형태의 수렴 속도를 유도하며, 여기서 $\alpha>0$은 선택한 임베딩에 따라 달라진다. 이는 측도의 개수 $n$과 측도당 표본 수 $m$ 사이의 관계를 규명하며, 수렴 거동에서 희소(작은 $m$)에서 조밀(큰 $m$)로의 전이가 나타남을 보여준다. 더 나아가, 조밀 영역의 속도가 경험적 공분산 오차에 대해 미니맥스 최적임을 증명한다. 수치 실험은 이러한 이론적 속도를 검증하고, 적절한 부표본추출이 계산 비용을 줄이면서도 PCA 정확도를 보존함을 보여준다.