PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13442v1stat.ML

압축을 통한 학습: 위험 추정치가 큰 수의 법칙 수렴 속도를 달성하다

Learning by Compression: Risk Estimates Attain the Law-of-Large-Numbers Rate

압축 스키마(compression schemes)는 학습 알고리즘에 대한 데이터 의존적 위험 상한(risk bound)을 유도하기 위한 일반적인 프레임워크를 제공합니다. 선호 압축(preferent compression) 기반 학습 규칙의 경우, 기존 연구 결과들은 복원된 가설이 부적절한 학습(training) 예제들이 더해진 압축 집합의 크기로 정의되는 샘플 의존적 복잡도 $\boldsymbol{k}$를 바탕으로 위험의 상한을 설정합니다. 그러나 이러한 결과들은 $\boldsymbol{k}/N$ 위에 $O(\sqrt{\ln N/N})$ 차수의 마진(margin)을 유발합니다. 본 논문에서는 이 로그 팩터가 본질적인 것이 아님을 규명합니다. 우리는 모든 고정된 신뢰 수준 $1-δ$에 대해, 위험이 적어도 $1-δ$의 확률로 모든 가능한 $\boldsymbol{k}$ 값에 걸쳐 균일하게 다음과 같이 제한됨을 증명합니다: $$ \frac{\boldsymbol{k}}{N} + O\left(\frac{1}{\sqrt{N}}\right) $$ 따라서 선호 압축 기반 학습 알고리즘의 위험 추정치는 고정된 사건 확률의 경험적 추정치와 동일한 큰 수의 법칙 수렴 속도를 달성합니다. 또한 우리는 주요 항인 $\boldsymbol{k}/N$이 필수적임을 보이고, 이것과 경험적 위험(empirical risk) 간의 관계를 조사합니다. 특히, 경험적 위험이 $O(1/\sqrt{N})$ 수렴(convergence) 속도를 유지하는 체계뿐만 아니라, 복잡도 기반 추정기가 $O(1/\sqrt{N})$ 속도를 보존하는 반면 경험적 위험은 더 느리게 수렴하거나 일치성(consistency)을 잃는 체계를 규명합니다.