Improving Training and Inference of Face Recognition Models via Random Temperature Scaling
원문 초록
Data uncertainty is commonly observed in the images for face recognition (FR). However, deep learning algorithms often make predictions with high confidence even for uncertain or irrelevant inputs. Intuitively, FR algorithms can benefit from both the estimation of uncertainty and the detection of out-of-distribution (OOD) samples. Taking a probabilistic view of the current classification model, the temperature scalar is exactly the scale of uncertainty noise implicitly added in the softmax function. Meanwhile, the uncertainty of images in a dataset should follow a prior distribution. Based on the observation, a unified framework for uncertainty modeling and FR, Random Temperature Scaling (RTS), is proposed to learn a reliable FR algorithm. The benefits of RTS are two-fold. (1) In the training phase, it can adjust the learning strength of clean and noisy samples for stability and accuracy. (2) In the test phase, it can provide a score of confidence to detect uncertain, low-quality and even OOD samples, without training on extra labels. Extensive experiments on FR benchmarks demonstrate that the magnitude of variance in RTS, which serves as an OOD detection metric, is closely related to the uncertainty of the input image. RTS can achieve top performance on both the FR and OOD detection tasks. Moreover, the model trained with RTS can perform robustly on datasets with noise. The proposed module is light-weight and only adds negligible computation cost to the model.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
FARE: A Deep Learning-Based Framework for Radar-based Face Recognition and Out-of-distribution Detection
Forensics Adapter: 일반화 가능한 얼굴 위조 탐지를 위한 CLIP 활용
Forensics Adapter: Unleashing CLIP for Generalizable Face Forgery Detection
본 논문은 CLIP을 효과적이고 일반화 가능한 얼굴 위조 탐지기로 변환하도록 설계된 어댑터 네트워크인 Forensics Adapter를 소개한다. CLIP은 매우 다재다능하지만, 위조 관련 지식이 광범위한 무관한 지식과 얽혀 있어 얼굴 위조 탐지에 맞추는 것은 사소하지 않다. 기존 방법들은 CLIP을 단순히 특징 추출기로만 다루며 작업별 적응이 부족하여 효과가 제한된다. 이를 해결하기 위해, 작업별 목표의 안내 하에 위조된 얼굴에 고유한 블렌딩 경계인 얼굴 위조 흔적을 학습하는 어댑터를 도입한다. 그런 다음 CLIP과 어댑터 간 지식을 교환하는 전용 상호작용 전략으로 CLIP 시각 토큰을 강화한다. 어댑터가 CLIP과 병행하므로 CLIP의 다재다능성이 크게 유지되어, 얼굴 위조 탐지에서 강한 일반화 성능이 자연스럽게 보장된다. 학습 가능한 파라미터가 $\textbf{5.7M}$에 불과함에도, 우리 방법은 6개의 표준 데이터셋에서 우수한 성능을 달성한다. 또한 새롭게 제안한 위조 인식 프롬프트 학습 전략을 통해 텍스트 모달리티를 통합하는 확장 방법인 Forensics Adapter++를 설명한다. 이 확장은 원래 Forensics Adapter 대비 추가로 $\textbf{1.3\%}$의 성능 향상을 가져온다. 제안한 방법들이 향후 CLIP 기반 얼굴 위조 탐지 방법의 기준선이 될 수 있다고 믿는다. 코드는 https://github.com/OUC-VAS/ForensicsAdapter 에 공개되었다.
분포 외 탐지를 위한 커널 PCA: 비선형 커널 선택 및 근사
Kernel PCA for Out-of-Distribution Detection: Non-Linear Kernel Selection and Approximation
분포 외(Out-of-Distribution, OoD) 탐지는 심층 신경망의 신뢰성에 필수적이며, 그 핵심은 OoD 데이터와 분포 내(In-Distribution, InD) 데이터 간의 차이를 효과적으로 특성화하는 데 있다. 본 연구에서는 이러한 차이를 비선형 특징 부분공간이라는 새로운 관점을 통해 활용한다. 즉, InD 특징으로부터 판별적 비선형 부분공간을 학습하여 InD의 대표적 패턴을 포착하는 한편, OoD 특징에 담긴 정보적 패턴은 서로 다른 분포로 인해 이러한 부분공간에서 잘 포착되지 못한다. 이 관점에 기반하여, InD와 OoD 특징이 비선형 부분공간에서 보이는 편차를 OoD 탐지에 활용한다. 구체적으로, 커널 주성분 분석(Kernel Principal Component Analysis, KPCA) 프레임워크를 활용하여 판별적 비선형 부분공간을 얻고, 해당 부분공간에서의 재구성 오차를 이용해 InD와 OoD 데이터를 구별한다. 두 가지 과제가 제기된다: (i) 효과적인 비선형 부분공간의 학습, 즉 KPCA에서의 커널 함수 선택, 및 (ii) 대규모 InD 데이터에 대한 커널 행렬 계산. 전자에 대해, InD-OoD 차이와 밀접하게 관련된 두 가지 중요한 비선형 패턴을 밝히고, 이를 바탕으로 부분공간 구성을 위한 코사인-가우시안 커널을 수립한다. 후자에 대해, 코사인-가우시안 커널을 현저히 저렴한 계산으로 근사하는 두 가지 기법을 도입한다. 특히, 우리의 근사는 InD 데이터 신뢰도를 통합하여 추가로 맞춤화되며, 이는 OoD 데이터에 대한 판별적 부분공간 학습을 촉진하는 것으로 입증된다. 본 연구는 OoD 탐지를 위한 비선형 특징 부분공간에 대한 새로운 통찰을 제시하고, 관련 커널 설계 및 효율적 계산에 대한 실용적 탐구를 기여하며, 뚜렷이 향상된 효과와 효율성을 갖는 KPCA 탐지 방법을 제공한다.
Attributes Shape the Embedding Space of Face Recognition Models
ZClassifier: Temperature Tuning and Manifold Approximation via KL Divergence on Logit Space
FA: Forced Prompt Learning of Vision-Language Models for Out-of-Distribution Detection
토론
이 논문과 연결된 포럼 글이 아직 없습니다.