실용적이고 효과적인 OOD 탐지 미세조정을 위한 세 가지 핵심 요인 최적화
Optimizing Three Critical Factors for Practical and Effective OOD Detection Fine-Tuning
분포 외(OOD) 탐지에서 보조 이상치(outlier) 데이터를 활용한 미세조정(fine-tuning)은 종종 분류(classification) 정확도를 희생시키면서 탐지 성능을 향상시킵니다. 이러한 절충(trade-off)은 미세조정 과정에서 기존의 분포 내(ID) 분포가 손실(loss)되는 데서 기인합니다. 보다 실용적이고 효과적인 패러다임을 구축하기 위해, 본 연구에서는 모델(model) 리마인더, 데이터 샘플링, 표현 학습이라는 세 가지 핵심 요인을 최적화합니다. 구체적으로 본 논문에서는 (1) 정확도 저하를 완화하는 자체 지식 증류(SKD), (2) 최소한의 데이터로 탐지 효율성을 높이는 준-어려운 이상치 샘플링(SOS), (3) ID와 OOD 간의 분리성을 촉진하는 이상치 인식 지도 대조 학습(OSCL)을 제안합니다. 이러한 요인들을 최적화함으로써 누적된 성능 향상을 달성하여 OOD 탐지 성능과 분류 정확도를 모두 끌어올립니다. 제안하는 프레임워크는 다양한 벤치마크 전반에서 기존 방법들을 능가하며, 특히 롱테일(long-tailed) 시나리오에서 우수한 성능을 보여 실제 환경의 OOD 탐지를 위한 견고한 기준선(baseline)을 제공합니다.