arXiv:2411.02184

Double Descent Meets Out-of-Distribution Detection: Theoretical Insights and Empirical Analysis on the role of model complexity

Mouïn Ben Ammar, David Brellmann, Arturo Mendoza, Antoine Manzanera, Gianni Franchi

제출 2024-11-04

원문 초록

Out-of-distribution (OOD) detection is essential for ensuring the reliability and safety of machine learning systems. In recent years, it has received increasing attention, particularly through post-hoc detection and training-based methods. In this paper, we focus on post-hoc OOD detection, which enables identifying OOD samples without altering the model's training procedure or objective. Our primary goal is to investigate the relationship between model capacity and its OOD detection performance. Specifically, we aim to answer the following question: Does the Double Descent phenomenon manifest in post-hoc OOD detection? This question is crucial, as it can reveal whether overparameterization, which is already known to benefit generalization, can also enhance OOD detection. Despite the growing interest in these topics by the classic supervised machine learning community, this intersection remains unexplored for OOD detection. We empirically demonstrate that the Double Descent effect does indeed appear in post-hoc OOD detection. Furthermore, we provide theoretical insights to explain why this phenomenon emerges in such setting. Finally, we show that the overparameterized regime does not yield superior results consistently, and we propose a method to identify the optimal regime for OOD detection based on our observations.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2505.15284v2cs.LG공통 태그 Out-of-Distribution Detection, Out of Distribution (OOD) Detection공식 코드 · Papers with Code

분포 외 탐지를 위한 커널 PCA: 비선형 커널 선택 및 근사

Kernel PCA for Out-of-Distribution Detection: Non-Linear Kernel Selection and Approximation

분포 외(Out-of-Distribution, OoD) 탐지는 심층 신경망의 신뢰성에 필수적이며, 그 핵심은 OoD 데이터와 분포 내(In-Distribution, InD) 데이터 간의 차이를 효과적으로 특성화하는 데 있다. 본 연구에서는 이러한 차이를 비선형 특징 부분공간이라는 새로운 관점을 통해 활용한다. 즉, InD 특징으로부터 판별적 비선형 부분공간을 학습하여 InD의 대표적 패턴을 포착하는 한편, OoD 특징에 담긴 정보적 패턴은 서로 다른 분포로 인해 이러한 부분공간에서 잘 포착되지 못한다. 이 관점에 기반하여, InD와 OoD 특징이 비선형 부분공간에서 보이는 편차를 OoD 탐지에 활용한다. 구체적으로, 커널 주성분 분석(Kernel Principal Component Analysis, KPCA) 프레임워크를 활용하여 판별적 비선형 부분공간을 얻고, 해당 부분공간에서의 재구성 오차를 이용해 InD와 OoD 데이터를 구별한다. 두 가지 과제가 제기된다: (i) 효과적인 비선형 부분공간의 학습, 즉 KPCA에서의 커널 함수 선택, 및 (ii) 대규모 InD 데이터에 대한 커널 행렬 계산. 전자에 대해, InD-OoD 차이와 밀접하게 관련된 두 가지 중요한 비선형 패턴을 밝히고, 이를 바탕으로 부분공간 구성을 위한 코사인-가우시안 커널을 수립한다. 후자에 대해, 코사인-가우시안 커널을 현저히 저렴한 계산으로 근사하는 두 가지 기법을 도입한다. 특히, 우리의 근사는 InD 데이터 신뢰도를 통합하여 추가로 맞춤화되며, 이는 OoD 데이터에 대한 판별적 부분공간 학습을 촉진하는 것으로 입증된다. 본 연구는 OoD 탐지를 위한 비선형 특징 부분공간에 대한 새로운 통찰을 제시하고, 관련 커널 설계 및 효율적 계산에 대한 실용적 탐구를 기여하며, 뚜렷이 향상된 효과와 효율성을 갖는 KPCA 탐지 방법을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.