PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.26839v1cs.LG

LWCal: 노이즈 보정 레이블을 갖는 표 형식 분류기를 위한 손실 가중 보정

LWCal: Loss-Weighted Calibration for Tabular Classifiers with Noisy Calibration Labels

사후 확률 보정은 보통 낙관적인 가정 아래 평가된다: 홀드아웃 보정 레이블이 깨끗하다는 것이다. 그러나 많은 AI 배포 환경에서는 레이블이 약한 annotator, 과거 결정, 휴리스틱, 또는 distant supervision에서 오므로, 학습을 손상시키는 것과 같은 레이블 노이즈가 보정도 손상시킨다. 우리는 표 형식 분류기에서 이 간과된 실패 모드를 연구하고, 베이스 모델의 홀드아웃 확률과 모순되는 노이즈 레이블을 가진 보정 예시의 가중치를 낮추는 CPU 전용 사후 보정기 LWCal을 제안한다. LWCal은 깨끗한 검증 레이블, 노이즈 비율 추정, 베이스 분류기의 재학습이 필요 없다. 두 번째 변형인 Gated-LWCal은 보수적인 불일치 게이트를 추가하여 보정 분할이 극도로 불일치해 보일 때 원시 점수 쪽으로 후퇴한다. 아홉 개의 로컬 이진 표 형식 태스크, 여섯 개의 무작위 시드, 대칭 및 비대칭 레이블 손상, 세 가지 트리 기반 베이스 학습기에서 LWCal은 평균 보정 오차가 가장 낮고 Gated-LWCal은 평균 proper score 트레이드오프가 가장 좋다. 432개의 노이즈 셀에 대한 주요 random-forest 연구에서 Gated-LWCal은 원시 분류기 대비 기대 보정 오차(ECE)를 0.188에서 0.122로, 음의 로그 가능도(NLL)를 0.438에서 0.396으로 줄인다. Gated-LWCal 대 원시, Platt, isotonic, beta 보정에 대한 paired bootstrap 구간은 ECE, Brier score, NLL에서 0을 배제한다. 아티팩트에는 모든 스크립트, 결과 표, 그림, 및 컴파일된 논문이 포함되어 있다.

arXiv:2606.29720v1cs.LG

리샘플링의 숨겨진 비용: 불균형 보정이 트리 앙상블의 확률 캘리브레이션을 저하시키는 방법

The Hidden Cost of Resampling: How Imbalance Correction Degrades Probability Calibration in Tree Ensembles

SMOTE와 무작위 과소/과잉 샘플링 등 클래스 불균형 보정 기법이 트리 앙상블의 확률 캘리브레이션(probability calibration)에 미치는 영향을 5개 데이터셋과 2개 앙상블 모델로 실증 분석한 결과, 무작위 과소 샘플링은 불균형 비율 70 환경에서 ECE를 0.008에서 0.395까지 급격히 악화시키는 반면 SMOTE의 캘리브레이션 손실은 소폭(ECE +0.009)에 그치며 Platt 스케일링 또는 등온 회귀 방식의 사후 재캘리브레이션 한 단계만으로 ECE를 최대 66%까지 회복할 수 있음을 보였다. 또한 과소 샘플링 보정에 유효한 사전 이동 보정(prior-shift correction)은 SMOTE가 사전 확률이 아닌 클래스 조건부 밀도를 왜곡하기 때문에 SMOTE에는 적용되지 않으며, 예측 확률이 의사결정에 활용되는 경우 리샘플링 후 반드시 데이터 기반 재캘리브레이션을 수행할 것을 권장한다.

arXiv:2606.13589v1cs.LG

심플렉스 제약 희소 배깅: 앙상블 학습에서 균일 사전 분포에서 희소 사후 분포로의 전환

Simplex-Constrained Sparse Bagging: Transitioning from Uniform Priors to Sparse Posteriors in Ensemble Learning

Simplex-Constrained Sparse Bagging (SCSB)은 배깅 앙상블의 균일한 투표 권한 문제를 해결하기 위해 Out-Of-Bag (OOB) 손실 최소화와 오목한 2차 페널티를 활용한 사후학습(post-training) 압축 및 확률 보정 프레임워크입니다. 이 방법은 최대 96%의 앙상블 압축을 통해 선형적인 추론(inference) 속도 향상과 우수한 확률 보정 성능을 달성합니다.