unilu.ch

이 이메일 도메인이 관측된 논문 1건

arXiv:2609.39591v2cs.CV

정보 이론적 불확실성 분해의 구조적 한계

Structural Limits of the Information-Theoretic Uncertainty Decomposition

기계학습에서 불확실성 추정(uncertainty estimation)은 일반적으로 표준 정보 이론적 프레임워크를 사용하여 불확실성을 우연적 불확실성(aleatoric uncertainty, AU)과 인식론적 불확실성(epistemic uncertainty, EU)으로 분해합니다. 그러나 실제로는 두 가지 중대한 문제인 얽힘(entanglement, AU와 EU 간의 높은 상관관계)과 인식론적 붕괴(epistemic collapse, 모델 용량이 증가함에 따라 EU의 크기가 축소되는 현상)가 발생합니다. 본 연구는 이 프레임워크를 함수 수준에서 분석하여, 가정된 AU와 EU 범위의 상당 부분이 유한한 환경에서는 실현 불가능하며 어떠한 클래스 확률로도 도달할 수 없음을 발견했습니다. 우리는 이러한 실현 불가능한 영역이 클래스 수 및 몬테카를로 표본 수 $N$($N$개의 멤버를 가진 앙상블 등)에 따라 어떻게 스케일링되는지 특성화하며, 해당 영역이 $\text{AU} \leq \log(2)/N$으로 제한됨을 밝힙니다. 결정적으로, 이 실현 불가능한 영역의 경계는 인식론적 붕괴를 설명하는 데 도움이 됩니다. 즉, 모델 확신도가 높을 때 이러한 근본적인 구조적 한계로 인해 $\text{AU} > \text{EU}$가 필연적으로 보장됩니다. 우리의 연구 결과는 앙상블 크기를 늘리면 실현 불가능한 영역이 줄어들어 인식론적 붕괴가 완화됨을 보여줍니다. 마지막으로, $\text{AU} \leq \log(2)/N$일 때 AU와 EU가 결합(coupled)되어 있음을 증명하였으므로, 낮은 AU 영역에서 이 둘을 독립적인 양으로 해석하는 것에 주의를 당부합니다.