arXiv:2405.03060

Tree-based Ensemble Learning for Out-of-distribution Detection

Zhaiming Shen, Menglun Wang, Guang Cheng, Ming-Jun Lai, Lin Mu, Ruihao Huang, Qi Liu, Hao Zhu

제출 2024-05-05

원문 초록

Being able to successfully determine whether the testing samples has similar distribution as the training samples is a fundamental question to address before we can safely deploy most of the machine learning models into practice. In this paper, we propose TOOD detection, a simple yet effective tree-based out-of-distribution (TOOD) detection mechanism to determine if a set of unseen samples will have similar distribution as of the training samples. The TOOD detection mechanism is based on computing pairwise hamming distance of testing samples' tree embeddings, which are obtained by fitting a tree-based ensemble model through in-distribution training samples. Our approach is interpretable and robust for its tree-based nature. Furthermore, our approach is efficient, flexible to various machine learning tasks, and can be easily generalized to unsupervised setting. Extensive experiments are conducted to show the proposed method outperforms other state-of-the-art out-of-distribution detection methods in distinguishing the in-distribution from out-of-distribution on various tabular, image, and text data.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2602.08470v3cs.LG공통 태그 Ensemble Learning, Out-of-Distribution Detection

분포 강건 최적화를 통한 Credal 앙상블 학습

Learning Credal Ensembles via Distributionally Robust Optimization

Credal 예측기는 인식론적 불확실성(epistemic uncertainty)을 인식하고 확률적 예측의 볼록 집합(convex set)을 생성하는 모델입니다. 이들은 예측 인식론적 불확실성(EU)을 정량화하는 원칙적인 방법을 제공하며, 다양한 설정에서 모델 강건성(robustness)을 향상시키는 것으로 나타났습니다. 그러나 대부분의 최신 방법들은 주로 EU를 무작위 학습 초기화(random training initializations)로 인한 불일치(disagreement)로 정의하며, 이는 더 깊은 원인에서 비롯된 불확실성보다는 최적화 무작위성(optimization randomness)에 대한 민감도를 주로 반영합니다. 이를 해결하기 위해, 우리는 학습 데이터와 테스트 데이터 간의 독립 동일 분포(i.i.d.) 가정을 다양하게 완화(relaxations)하여 학습된 모델들 간의 불일치로 EU를 정의합니다. 이 아이디어를 바탕으로, 우리는 분포 강건 최적화(distributionally robust optimization)를 통해 타당한 모델들의 앙상블(ensemble)을 학습하는 CreDRO를 제안합니다. 그 결과, CreDRO는 학습 무작위성뿐만 아니라 학습 데이터와 테스트 데이터 간의 잠재적인 분포 변이(distribution shifts)로 인한 의미 있는 불일치에서도 EU를 포착합니다. 실험 결과, CreDRO는 여러 벤치마크(benchmarks)에 걸친 분포 외(out-of-distribution) 탐지 및 의료 응용 분야의 선택적 분류(classification)와 같은 작업에서 기존 Credal 방법들을 지속적으로 능가하는 것으로 나타났습니다.

arXiv:2505.15284v2cs.LG공통 태그 Out-of-Distribution Detection공식 코드 · Papers with Code

분포 외 탐지를 위한 커널 PCA: 비선형 커널 선택 및 근사

Kernel PCA for Out-of-Distribution Detection: Non-Linear Kernel Selection and Approximation

분포 외(Out-of-Distribution, OoD) 탐지는 심층 신경망의 신뢰성에 필수적이며, 그 핵심은 OoD 데이터와 분포 내(In-Distribution, InD) 데이터 간의 차이를 효과적으로 특성화하는 데 있다. 본 연구에서는 이러한 차이를 비선형 특징 부분공간이라는 새로운 관점을 통해 활용한다. 즉, InD 특징으로부터 판별적 비선형 부분공간을 학습하여 InD의 대표적 패턴을 포착하는 한편, OoD 특징에 담긴 정보적 패턴은 서로 다른 분포로 인해 이러한 부분공간에서 잘 포착되지 못한다. 이 관점에 기반하여, InD와 OoD 특징이 비선형 부분공간에서 보이는 편차를 OoD 탐지에 활용한다. 구체적으로, 커널 주성분 분석(Kernel Principal Component Analysis, KPCA) 프레임워크를 활용하여 판별적 비선형 부분공간을 얻고, 해당 부분공간에서의 재구성 오차를 이용해 InD와 OoD 데이터를 구별한다. 두 가지 과제가 제기된다: (i) 효과적인 비선형 부분공간의 학습, 즉 KPCA에서의 커널 함수 선택, 및 (ii) 대규모 InD 데이터에 대한 커널 행렬 계산. 전자에 대해, InD-OoD 차이와 밀접하게 관련된 두 가지 중요한 비선형 패턴을 밝히고, 이를 바탕으로 부분공간 구성을 위한 코사인-가우시안 커널을 수립한다. 후자에 대해, 코사인-가우시안 커널을 현저히 저렴한 계산으로 근사하는 두 가지 기법을 도입한다. 특히, 우리의 근사는 InD 데이터 신뢰도를 통합하여 추가로 맞춤화되며, 이는 OoD 데이터에 대한 판별적 부분공간 학습을 촉진하는 것으로 입증된다. 본 연구는 OoD 탐지를 위한 비선형 특징 부분공간에 대한 새로운 통찰을 제시하고, 관련 커널 설계 및 효율적 계산에 대한 실용적 탐구를 기여하며, 뚜렷이 향상된 효과와 효율성을 갖는 KPCA 탐지 방법을 제공한다.

arXiv:2505.00571v3stat.ML공통 태그 Ensemble Learning공식 코드 · Papers with Code

베이지안 회귀, 트리 앙상블 및 Shapley 값을 통합한 역학 데이터의 비선형성을 넘어선 발견과 추론

Discovery and inference beyond linearity for epidemiological data by integrating Bayesian regression, tree ensembles and Shapley values

머신러닝(ML)은 가설 없는(hypothesis-free) 위험 및 보호 요인 발견을 위해 역학 및 의료 연구에서 인기를 얻고 있습니다. ML은 비선형성과 상호작용을 발견하는 데 강점이 있지만, 신뢰할 수 있는 추론(inference)의 부재로 인해 이러한 강점이 저해됩니다. Shapley 값은 특징의 효과에 대한 국소적 측정치를 제공하지만, 이러한 효과에 대한 타당한 불확실성 정량화가 일반적으로 부족하여 통계적 추론을 불가능하게 만듭니다. 우리는 이러한 한계를 해결하기 위해 전용 베이지안 희소 회귀 모델(model)과 개선된 트리 기반 규칙 생성기, 그리고 Shapley 값 귀속을 결합한 RuleSHAP 프레임워크를 제안합니다. RuleSHAP는 비선형 및 상호작용 효과의 탐지를 제공하며, 개별 수준에서의 불확실성 정량화를 핵심 기여로 포함합니다. 우리는 이 프레임워크 내에서 한계 Shapley 값을 계산하기 위한 효율적인 공식을 유도합니다. 우리는 고콜레스테롤혈증과 고혈압에 대한 여러 효과를 탐지하고 추론하기 위해 역학 코호트 데이터에 RuleSHAP를 적용했으며, 여기에는 연령, 성별, 인종, BMI 및 포도당 수준과 같은 특징 간의 비선형 상호작용 효과가 포함됩니다. 결론적으로, 우리는 시뮬레이션 데이터를 통해 프레임워크의 타당성을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.