심플렉스 제약 희소 배깅: 앙상블 학습에서 균일 사전 분포에서 희소 사후 분포로의 전환
Simplex-Constrained Sparse Bagging: Transitioning from Uniform Priors to Sparse Posteriors in Ensemble Learning
한국어 초록
본 논문에서는 부트스트랩 기반 배깅 앙상블의 사후 학습 압축 및 확률 보정을 위한 수학적으로 엄밀한 프레임워크인 심플렉스 제약 희소 배깅(SCSB)을 제안합니다. 표준 배깅 앙상블(예: 랜덤 포레스트, 배깅 SVM, 배깅 신경망)은 모든 구성 추정기에 균일한 투표 권한을 할당합니다. 그러나 이러한 단순한 균일 사전 분포는 기본 추정기의 다양한 국소적 능력을 무시하며, 모델의 과잉 확신을 초래합니다. 우리는 OOB(Out-Of-Bag) 손실을 최소화함으로써 앙상블 가지치기와 보정을 확률 심플렉스 위의 공동 최적화 문제로 정식화합니다. 희소성을 유도하기 위해, 우리는 심플렉스에서 L1 놈이 상수이므로 가지치기에 실패한다는 수학적 현실인 이론적인 "L1-심플렉스 역설"을 오목한 2차 페널티를 도입하여 해결합니다. SCSB는 모델에 구애받지 않으며 최대 96%의 앙상블 압축을 달성하여, 일반화 정확도를 유지하거나 향상시키면서 선형적인 추론 속도 향상과 우수한 확률 보정(낮아진 기대 보정 오차)을 제공합니다.
원문 초록
We present Simplex-Constrained Sparse Bagging (SCSB), a mathematically rigorous framework for post-training compression and probability calibration of bootstrap-based bagging ensembles. Standard bagging ensembles (such as Random Forests, Bagged SVMs, and Bagged Neural Networks) assign uniform voting power to all constituent estimators. However, this naive uniform prior ignores the varying local competence of base estimators and contributes to model overconfidence. We formulate ensemble pruning and calibration as a joint optimization problem over the probability simplex by minimizing the Out-Of-Bag (OOB) loss. To induce sparsity, we address the theoretical "L1-simplex paradox" -- the mathematical reality that the L1 norm is constant on the simplex and fails to prune -- by introducing a concave quadratic penalty. SCSB is model-agnostic and achieves up to 96% ensemble compression, yielding linear inference speedups and superior probability calibration (lowered Expected Calibration Error) while preserving or enhancing generalization accuracy.
요약
Simplex-Constrained Sparse Bagging (SCSB)은 배깅 앙상블의 균일한 투표 권한 문제를 해결하기 위해 Out-Of-Bag (OOB) 손실 최소화와 오목한 2차 페널티를 활용한 사후학습(post-training) 압축 및 확률 보정 프레임워크입니다. 이 방법은 최대 96%의 앙상블 압축을 통해 선형적인 추론(inference) 속도 향상과 우수한 확률 보정 성능을 달성합니다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.13589v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Calibrated selective prediction using deep ensembles for thyroid nodule ultrasound classification under dataset shift
이진 양자화 신경망 학습은 입력 및 출력 차원으로 매개변수화할 때 W[1]-난해하다
Binary Quantized Neural Network Training Is W[1]-Hard Parameterized by Input and Output Dimensions
FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합
FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology
병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.
KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법
KDFP: A first-principles approach to knowledge distillation in large language models
지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.
Undertone: Personalizing Frozen VLM Aesthetic Judges from Few Ratings
GaugeQuant: LLM 대칭성으로부터 양자화 최적 기저의 온라인 학습
GaugeQuant: Online Learning of Quantization-Optimal Bases from LLM Symmetries
토론
이 논문과 연결된 포럼 글이 아직 없습니다.