arXiv:2606.29720v1 cs.LG

리샘플링의 숨겨진 비용: 불균형 보정이 트리 앙상블의 확률 캘리브레이션을 저하시키는 방법

The Hidden Cost of Resampling: How Imbalance Correction Degrades Probability Calibration in Tree Ensembles

Zewen Liu

제출 2026-06-29

한국어 초록

SMOTE 및 무작위 과소/과잉 샘플링과 같은 리샘플링 방법은 클래스 불균형 분류(class-imbalanced classification)의 표준 도구로, 거의 항상 소수 클래스 정확도나 F1으로 평가된다. 선행 연구에서는 과소 샘플링이 학습 사전 확률(training prior)을 왜곡함으로써 확률 캘리브레이션(probability calibration)을 저하시킨다는 사실이 확립된 바 있다[1]. 본 연구는 이 관점을 합성 과잉 샘플링(SMOTE)으로 확장하고, 캘리브레이션 손상이 중요한 경우와 이를 해결하는 방법에 대한 실용적이고 근거 기반의 지침을 제공한다. 불균형 비율 1.9~70의 5개 공개 데이터셋과 2개의 앙상블 모델(랜덤 포레스트, 그래디언트 부스팅)에 대해 10개의 시드와 쌍별 통계를 사용한 실험에서 다음을 발견하였다: (1) SMOTE의 캘리브레이션 비용은 실재하지만 작으며(ECE +0.009; Cliff's delta = +0.27, 소~중간 효과 크기), 연구된 불균형 범위(IR 1.9~70)에서 판별력 향상이 캘리브레이션 손실을 일반적으로 상회한다; (2) 무작위 과소 샘플링이 진정한 위험 요인으로, 불균형이 심해질수록 손상이 급격히 커지며, 불균형 비율 70인 데이터셋에서 ECE를 0.008에서 0.395까지 증가시키는데, 이는 주로 결과 학습 데이터셋이 확률을 안정적으로 추정하기에 너무 작기 때문이다; (3) 단일 사후 재캘리브레이션 단계(Platt 또는 등온 회귀)가 손상을 제거하며, 순위 성능에 미치는 영향이 미미한 수준에서(AUC -0.002, Cliff's delta = -0.07) ECE를 최대 66%까지 감소시킨다; (4) 과소 샘플링을 보정하는 해석적 사전 이동 보정(analytic prior-shift correction)은 SMOTE에 적용되지 않는데, 이는 SMOTE가 사전 확률만을 변경하는 것이 아니라 클래스 조건부 밀도(class-conditional density)를 왜곡하기 때문으로, 데이터 기반 재캘리브레이션이 여전히 필요하다. 본 연구는 불균형 학습 연구에서 판별력과 함께 캘리브레이션을 보고하고, 예측 확률이 의사결정에 활용되는 경우 실무자들이 리샘플링 후 재캘리브레이션을 수행할 것을 권장한다.

원문 초록

Resampling methods such as SMOTE and random under/over-sampling are standard tools for class-imbalanced classification, almost always evaluated by minority-class accuracy or F1. Prior work has established that undersampling degrades probability calibration by distorting the training prior [1]. We extend this lens to synthetic oversampling (SMOTE) and provide a practical, evidence-based guide to when calibration damage matters and how to fix it. Across five public datasets (imbalance ratio 1.9-70) and two ensemble models (random forest, gradient boosting), with ten seeds and paired statistics, we find: (1) SMOTE's calibration cost is real but small (ECE +0.009; Cliff's delta = +0.27, small-to-moderate) across the studied imbalance range (IR 1.9-70) and its discrimination gains typically outweigh the calibration penalty; (2) random undersampling is the genuine danger -- its damage grows sharply with imbalance, inflating ECE from 0.008 to 0.395 on a dataset with ratio 70, largely because the resulting training sets are too small to estimate probabilities reliably; (3) a single post-hoc recalibration step (Platt or isotonic) eliminates the damage, reducing ECE by up to 66% at a negligible ranking-power cost (AUC -0.002, Cliff's delta = -0.07); and (4) the analytic prior-shift correction that repairs undersampling does not transfer to SMOTE, because SMOTE distorts the class-conditional density rather than only the prior -- so data-driven recalibration remains necessary. We recommend that imbalanced-learning studies report calibration alongside discrimination, and that practitioners recalibrate after resampling whenever predicted probabilities drive decisions.

요약

SMOTE와 무작위 과소/과잉 샘플링 등 클래스 불균형 보정 기법이 트리 앙상블의 확률 캘리브레이션(probability calibration)에 미치는 영향을 5개 데이터셋과 2개 앙상블 모델로 실증 분석한 결과, 무작위 과소 샘플링은 불균형 비율 70 환경에서 ECE를 0.008에서 0.395까지 급격히 악화시키는 반면 SMOTE의 캘리브레이션 손실은 소폭(ECE +0.009)에 그치며 Platt 스케일링 또는 등온 회귀 방식의 사후 재캘리브레이션 한 단계만으로 ECE를 최대 66%까지 회복할 수 있음을 보였다. 또한 과소 샘플링 보정에 유효한 사전 이동 보정(prior-shift correction)은 SMOTE가 사전 확률이 아닌 클래스 조건부 밀도를 왜곡하기 때문에 SMOTE에는 적용되지 않으며, 예측 확률이 의사결정에 활용되는 경우 리샘플링 후 반드시 데이터 기반 재캘리브레이션을 수행할 것을 권장한다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.29720v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15816v1cs.LG공통 태그 Classification, class imbalance

ML-CLAPPS: 클래스 우선순위화를 적용한 불균형 다중 레이블 학습을 위한 확률론적 프레임워크

ML-CLAPPS: A Probabilistic Framework for Imbalanced Multilabel Learning under Class Prioritization

실세계 데이터셋은 심각한 클래스 불균형을 보이는 경우가 많으며, 이는 특히 희귀 클래스에서 심층 학습(deep learning) 모델의 성능을 저하시킵니다. 이진 및 다중 클래스 환경에서는 불균형에 대한 연구가 활발히 이루어졌지만, 복잡한 레이블 동시 발생(co-occurrence)으로 인해 다중 레이블(multilabel) 문제에서는 훨씬 더 큰 난제가 됩니다. 심전도(ECG) 분류와 같은 임상 응용 분야에서는 이러한 난제와 함께 두 번째 결정적인 과제가 결부되는데, 이는 위음성(false negative)으로 인한 막대한 비용을 줄이기 위해 유병률과 무관하게 고위험 질환의 우선순위를 지정해야 한다는 점입니다. 본 연구에서는 학습 인스턴스에 대한 분포를 최적화하여 모델의 서로 다른 클래스에 대한 노출을 제어하는 학습 가능한 샘플러인 다중 레이블 클래스 우선순위화 확률론적 샘플러(Multilabel Class-Prioritized Probabilistic Sampler, ML-CLAPPS)를 소개합니다. 이 접근 방식은 다중 레이블 불균형을 해결하는 동시에 사용자 정의 중요도 벡터(importance vector, IV)를 통해 중요한 질환의 우선순위화를 가능하게 합니다. 실세계 다중 레이블 ECG 이미지 데이터셋을 사용한 실증적 평가는 ML-CLAPPS가 최고 수준(SOTA)의 성능을 달성함을 입증합니다. 우리는 본 모델이 지정된 IV에 클래스 노출도를 일치시키며, 특정 클래스의 중요도를 높이면 해당 클래스의 분류 성능이 상응하여 향상됨으로써 임상적으로 중대한 질환의 명시적인 우선순위화가 가능함을 보여줍니다.

arXiv:2609.39591v2cs.CV공통 태그 Uncertainty Quantification, Ensemble Learning

정보 이론적 불확실성 분해의 구조적 한계

Structural Limits of the Information-Theoretic Uncertainty Decomposition

기계학습에서 불확실성 추정(uncertainty estimation)은 일반적으로 표준 정보 이론적 프레임워크를 사용하여 불확실성을 우연적 불확실성(aleatoric uncertainty, AU)과 인식론적 불확실성(epistemic uncertainty, EU)으로 분해합니다. 그러나 실제로는 두 가지 중대한 문제인 얽힘(entanglement, AU와 EU 간의 높은 상관관계)과 인식론적 붕괴(epistemic collapse, 모델 용량이 증가함에 따라 EU의 크기가 축소되는 현상)가 발생합니다. 본 연구는 이 프레임워크를 함수 수준에서 분석하여, 가정된 AU와 EU 범위의 상당 부분이 유한한 환경에서는 실현 불가능하며 어떠한 클래스 확률로도 도달할 수 없음을 발견했습니다. 우리는 이러한 실현 불가능한 영역이 클래스 수 및 몬테카를로 표본 수 $N$($N$개의 멤버를 가진 앙상블 등)에 따라 어떻게 스케일링되는지 특성화하며, 해당 영역이 $\text{AU} \leq \log(2)/N$으로 제한됨을 밝힙니다. 결정적으로, 이 실현 불가능한 영역의 경계는 인식론적 붕괴를 설명하는 데 도움이 됩니다. 즉, 모델 확신도가 높을 때 이러한 근본적인 구조적 한계로 인해 $\text{AU} > \text{EU}$가 필연적으로 보장됩니다. 우리의 연구 결과는 앙상블 크기를 늘리면 실현 불가능한 영역이 줄어들어 인식론적 붕괴가 완화됨을 보여줍니다. 마지막으로, $\text{AU} \leq \log(2)/N$일 때 AU와 EU가 결합(coupled)되어 있음을 증명하였으므로, 낮은 AU 영역에서 이 둘을 독립적인 양으로 해석하는 것에 주의를 당부합니다.

arXiv:2610.05196v2cs.LG공통 태그 Uncertainty Quantification, Ensemble Learning

일치된 적격성 조건에서 학습된 단조 시계열 집계의 성능 측정

Measuring Learned Monotone Temporal Aggregation at Matched Admissibility

리스크 규제는 점수에 방향성 제약을 부과하며, 본 연구에서는 엄격한 입력별 형태(모든 익스포저 입력에 대해 점수가 단조 비감소하는 형태)를 규범적 약정으로 채택합니다. 이미 배포된 파이프라인(부호 제약 그래디언트(gradient) 부스팅으로 전달되는 단조 수작업 집계)은 결합을 통해 이를 이미 만족하므로, 제약 모델과 비제약 모델 간의 비교는 기존 파이프라인이 이미 무상으로 확보하고 있는 보장에 비용을 매기는 셈이 됩니다. 이에 따라 본 연구는 양측 모두에서 적격성을 일정하게 유지한 채 집계를 학습하는 것의 가치를 측정합니다. 본 연구의 도구는 상태가 고전적 리스크 통계량(지수 가중 이동 평균 및 학습된 변환을 갖춘 하이워터 마크)으로 구성된 순환 신경망으로, 구조적으로 모든 입력 및 MC-드롭아웃(dropout) 샘플마다 단조성을 만족합니다. 함수형 회귀를 통한 핵심 발견은 포섭 경계(subsumption boundary)입니다. 학습된 단조 채널은 수작업 통계량의 기하 가중 분리 가능 군을 구성원당 하나의 채널을 통해 스피어만 $ρ\ge 0.996$ 수준으로 재현하고, 측정 가능한 상한 내에서 윈도우 통계량을 근사하지만, 구조적 한계인 연속성($ρ= 0.924$) 및 시간 국소화(0.628), 그리고 학습 가능성 한계인 익스포저 하한(0.829)에서는 실패합니다. 하나의 명시적인 적격 기저는 각 실패를 보완합니다(순위 상관관계 1.000). 분리 가능 군 내부 또는 근처에서는 학습된 집계와 엔지니어링된 집계가 서로 대체 가능하며, 학습된 채널은 전체 표본 크기와 지정된 용량에서 통계적으로 결코 뒤처지지 않습니다. 학습된 채널의 이점은 기존 파이프라인별로 특화되어 나타납니다. 고정된 그리드는 커버하지 못하는 감쇠 영역에서 최대 0.019 AUC 손실을 초래하는 반면(학습된 채널은 모든 탐색 지점에서 가장 강력한 엔지니어링 소비자 대비 0.004 이내를 유지함), 가장 고차원인 비교 대상은 데이터가 부족할 때 가장 빠르게 성능이 저하되며, 학습(training) 서포트 외부에서는 그리드 기반 트리 앙상블(ensemble) 점수가 평탄해지는 반면 엄격하게 증가하는 헤드는 순위 매김을 지속합니다. 세 가지 축 모두에서 단일 기존 모델이 완전히 지배당하지는 않습니다.

arXiv:2610.10615v1stat.ML공통 태그 Classification, Ensemble Learning

JevForest: 예산 제약 특징 획득을 위한 경로 투표

JevForest: Path Voting for Budgeted Feature Acquisition

제한된 관측 예산 하에서 어떤 정보를 관측할지 선택하는 것은 예측의 핵심 문제입니다. 본 연구에서는 부트스트랩된 트리들의 경로 의존적 제안을 종합하고 전역 학습(training) 정보 이득으로 가중치를 부여하며 공유 마스크 분류기로 획득한 값으로부터 예측을 수행하는 특징(feature) 획득 정책인 JevForest를 연구합니다. 온라인 구현체는 이 정책에 의해 선택된 의미적 답변을 얻기 위해 Jev에 질의합니다. 균형 잡힌 소규모 홀드아웃 샘플에서 4개 질문 포레스트 획득 방식은 AG News($n=48$)에서 정적 이득 순위 매김의 $0.667$, 무작위 순서의 $0.583$에 비해 $0.729$의 정확도를 달성했습니다. TREC($n=24$)에서는 순위가 역전되어 포레스트 정확도가 $0.667$인 반면, 정적 이득 순위 매김과 무작위 순서는 각각 $0.750$ 및 $0.833$이었습니다. 8개 질문을 한 번의 배치(batch)로 모두 질의하는 방식은 4개의 순차적 포레스트 질의보다 측정된 비용과 지연 시간이 더 낮으면서도 더 높은 정확도를 산출했으며, 직접적인 Jev 분류(classification)는 더 적은 비용으로 배치 정확도와 일치했습니다. 오프라인 MiniBooNE 실험에서는 함께 변경되는 3개의 데이터 및 포레스트 시드에 걸쳐 10개 특징에서 $0.845\pm0.010$, 40개 특징에서 $0.885\pm0.008$의 정확도(평균 $\pm$ 표본 표준편차)를 보였습니다. 함께 제공되는 뉴턴 부스팅(Newton boosting) 구현체는 전체 특징에 대한 예비 합성 결과를 제공합니다. 이러한 탐색적 결과는 유효한 Jev 획득 워크플로를 확립하지만 경로 투표의 일반적인 이점을 뒷받침하지는 못하며, 그 가치는 과제, 예측기, 그리고 질문 예산과 실제 질의 비용 간의 구분에 따라 달라집니다.

arXiv:2609.34577v2cs.AI공통 태그 Uncertainty Quantification, Ensemble Learning

수중 환경 모니터링에서의 정보 경로 계획을 위한 보정된 불확실성

Calibrated Uncertainty for Informative Path Planning in Aquatic Environmental Monitoring

스칼라장(scalar field) 재구성을 위한 정보 경로 계획(Informative Path Planning)은 예측 불확실성을 활용해 센싱 비히클을 정보량이 최대인 위치로 안내합니다. 가우시안 프로세스(Gaussian Process)가 이러한 신호를 제공하지만, 정상 등방성 커널(stationary isotropic kernel)은 기름 유출과 같은 비균질 현상에 대해 잘못 지정되어 불확실성 추정의 보정 실패(miscalibration)를 야기하고 경로 계획 성능을 저하시킵니다. 본 연구에서는 가우시안 프로세스를 잘 보정된 딥 앙상블(Deep Ensemble)로 대체할 때 경로 계획 결과가 향상되는지, 그리고 불확실성의 품질이 계획 알고리즘 선택과 어떻게 상호작용하는지 조사합니다. 5가지 전략(ε-Greedy, Value Greedy, Uncertainty Greedy, 몬테카를로 트리 탐색(MCTS), Receding Horizon Orienteering)은 물리 기반 기름 유출 시뮬레이션으로 학습된 공통 딥 앙상블 백본을 공유합니다. 미공개 확률적 유출 시나리오에서 딥 앙상블은 가우시안 프로세스 기준선(baseline) 대비 정규화된 재구성 오차를 83% 줄였습니다. 결정적으로, 잘 보정된 불확실성은 계획 전략의 중요성을 증폭시킵니다. 잘못 보정된 모델에서는 알고리즘 간의 성능 차이가 미미하지만, 앙상블 환경에서는 다단계 사전 예측(multi-step lookahead) 계획기가 탐욕적(greedy) 선택보다 재구성 오차를 최대 32% 개선하고 0.85 이상의 IoU를 달성하는 등 그 차이가 현저해집니다. 몬테카를로 트리 탐색은 한 자릿수 이상 낮은 연산 비용으로 Orienteering과 대등한 재구성 품질을 보여 권장되는 계획기로 제시됩니다.

arXiv:2610.02005v1cs.AI공통 태그 Uncertainty Quantification, Ensemble Learning

움직임을 세고 목소리의 무게를 달다: 지속적 적대자가 존재하는 환경에서 보정된 다중 LLM 협의회를 위한 베이지안 변증법적 논증

Counting Moves, Weighing Voices: Bayesian Dialectical Argumentation for Calibrated Multi-LLM Councils under Persistent Adversaries

다중 대규모 언어 모델(multi-LLM) 협의회(council)는 여러 LLM이 질문에 대해 심의하고 신뢰도 추정치와 함께 답변을 반환하도록 합니다. 이러한 시스템이 추론에 점차 더 널리 사용됨에 따라, 해당 신뢰도는 보정된(calibrated) '정답일 확률'을 나타내야 하며, 일부 에이전트가 지속적으로 신뢰할 수 없는 경우에도 결정은 강건성을 유지해야 합니다. 기존의 협의회 집계(council aggregation) 방식은 두 가지 측면 모두에서 한계를 보입니다. 이들의 신뢰도 추정치는 정확성보다는 결단력을 측정하며, 지속적으로 신뢰할 수 없는 에이전트를 식별하거나 할인(discount)하지 못합니다. 본 논문에서는 협의회의 유형화된(typed) 움직임(누가 어떤 답변을 제안, 반박, 또는 양보했는지)을 에이전트별 신뢰도를 갖춘 고전적 주석자 모델의 관측값으로 취급하는 베이지안 변증법적 논증(Bayesian Dialectical Argumentation, BDA)을 소개합니다. 이러한 공식화는 다중 에이전트 심의를 신뢰도 추정 문제로 재구성하여, 지속적인 적대적 행동 하에서 심의 추적(deliberation trace)을 활용해 에이전트 신뢰도를 추론합니다. 추론된 에이전트 신뢰도에 따라 증거에 가중치를 부여함으로써, BDA는 후보 답변에 대해 보정된 사후 확률을 산출하는 동시에 지속적으로 신뢰할 수 없는 에이전트를 단순히 다수결로 배제하는 대신 반전(invert)할 수 있도록 합니다. 이진 및 다중 클래스 벤치마크 전반에서 BDA는 추가적인 LLM 호출 없이도 무비용(zero-cost) 협의회 집계 방식 중 최고의 보정 성능을 달성하며, 오염되지 않은 환경에서 경쟁력을 유지하면서도 지속적인 적대적 연합(coalition) 하에서 강건성을 향상시킵니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.