Subspace Modeling for Fast Out-Of-Distribution and Anomaly Detection
원문 초록
This paper presents a fast, principled approach for detecting anomalous and out-of-distribution (OOD) samples in deep neural networks (DNN). We propose the application of linear statistical dimensionality reduction techniques on the semantic features produced by a DNN, in order to capture the low-dimensional subspace truly spanned by said features. We show that the "feature reconstruction error" (FRE), which is the $\ell_2$-norm of the difference between the original feature in the high-dimensional space and the pre-image of its low-dimensional reduced embedding, is highly effective for OOD and anomaly detection. To generalize to intermediate features produced at any given layer, we extend the methodology by applying nonlinear kernel-based methods. Experiments using standard image datasets and DNN architectures demonstrate that our method meets or exceeds best-in-class quality performance, but at a fraction of the computational and memory cost required by the state of the art. It can be trained and run very efficiently, even on a traditional CPU.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
기호적 실패 탐지 학습: 머신러닝과 블랙-숄즈 모형의 한계
Learning to Detect Symbolic Failure: Machine Learning and the Limits of Black-Scholes
우리는 옵션 가격 결정을 표현(representation) 문제로 다룬다. 즉, 260만 건의 실제 옵션 계약을 사용하여 머신러닝이 블랙-숄즈(Black-Scholes)로부터의 체계적인 편차를 탐지할 수 있는가? 우리는 세 가지 방식을 비교한다. 학습된 추상 임베딩(커널 PCA), 보존된 도메인 구조(트리 기반 앙상블), 그리고 신경망 검증이다. 트리 기반 방법은 커널 차원 축소보다 21.5%p 높은 성능(93.8% 대 72.3%)을 보였으며, 도메인 전문가가 설계한 특징(그릭스, 머니니스)은 엔지니어링된 특징보다 더 우수한 성능을 보였다. 신경망 기반 편차 레이블과 BS 기반 편차 레이블은 99.9974%의 비율로 일치하며, 이는 편차가 모델의 인위적 결과물이 아니라 시장 구조를 반영함을 시사한다. 우리는 전문가가 설계한 기호적 특징이 존재하는 도메인에서는 추상화를 학습하는 것보다 구조를 보존하는 것이 더 낫다고 결론짓는다. 우리는 활용 가능한 오가격(mispricing)이 존재한다고 주장하지 않는다.
CLOE: 이상 탐지를 위한 Christoffel 손실 오토인코더
CLOE: Christoffel Loss Autoencoder for Anomaly Detection
반지도 이상 탐지(semi-supervised anomaly detection)는 공정 모니터링, 의료, 금융 등 다양한 분야에서 핵심적인 역할을 한다. 그러나 경량 방법들은 고차원 데이터에서 종종 어려움을 겪으며, 일반적으로 여러 하이퍼파라미터를 세심하게 조정해야 한다. 기존 접근법 가운데 Christoffel 함수(Christoffel Function) 기반 방법들은 단순성으로 인해 매력적인데, 최대 하나의 하이퍼파라미터만 필요하다. 또한 잘 정립된 이론적 기반의 이점을 누려 데이터 과학에서 여러 흥미로운 결과를 제공한다. 그러나 주요 한계는 고차원 설정에서의 낮은 확장성이다. 본 논문에서는 차원 축소를 위한 오토인코더와 잠재 공간(latent space)에 적용된 Christoffel 함수 기반 탐지기를 결합한 새로운 방법인 CLOE를 제안한다. 표현 학습(representation learning)을 이상 탐지와 더 잘 정렬하기 위해, Christoffel 함수를 활용하여 오토인코더가 정상 데이터 분포의 지지(support)를 더 잘 포착하는 표현을 향하도록 유도하는 새로운 손실 함수를 설계한다. 또한 탐지 임계값을 설정하는 원칙적인 절차와 남은 단 하나의 하이퍼파라미터를 조정하는 효율적인 전략을 제안한다. 여러 고차원 표(tabular) 이상 탐지 벤치마크에서의 실험은 CLOE가 Christoffel 함수 기반 접근법의 경량성과 낮은 튜닝 부담이라는 장점을 유지하면서 기존 방법들 대비 우수한 성능을 달성함을 보여준다.
scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기
scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning
단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.
PulseGuard: 토킹페이스 딥페이크 탐지를 위한 포렌식 모달리티로서의 rPPG 기반 시간 신호
PulseGuard: rPPG-Derived Temporal Signals as a Forensic Modality for Talking-Face Deepfake Detection
토킹페이스(TF) 딥페이크 생성은 정지된 원본 이미지와 음성 신호로부터 사실적인 얼굴 영상을 합성하며, 현재의 이미지 기반 탐지기가 일관되게 식별하지 못하는 위조물을 만들어 낸다. 얼굴 교체 조작과 달리 TF 합성에는 생리적 특성을 물려받을 기반 실제 영상이 없으므로, 이 위조 범주의 탐지 모달리티로 원격 광혈류측정(rPPG)이 동기화된다. 우리는 RhythmFormer로 윈도우별 rPPG 파형을 추출하고 경량 분류기 모음을 학습시켜 실제 신호와 합성 신호를 구분하는 탐지 프레임워크 PulseGuard를 제안한다. 테스트 신원이 학습 신원과 완전히 분리된 엄격한 피험자 독립 프로토콜로 Celeb-DF++의 TF 부분집합에서 평가한 결과, 우리의 1D ResNet은 추출된 시간 신호만으로 동작하면서 EER 25.1%에서 윈도우 수준 AUC 0.826(DeepFakesON-Phys가 평가되는 단위인 영상 수준으로 풀링 시 0.842)을 달성하며, 학습에서 완전히 제외된 생성기에 대해서도 AUC 0.754를 유지한다. 우리는 대표적인 기존 rPPG 탐지기인 DeepFakesON-Phys의 통제된 재현 연구를 제시하여, 기존 얼굴 교체 데이터에서의 AUC 0.999가 Celeb-DF++의 TF 부분집합에서는 0.576으로 저하됨을 보인다. 또한 탐지 난이도가 방법에 크게 의존함을 보이는데, 일곱 개의 TF 생성기에 걸쳐 AUC는 0.937(Real3DPortrait)에서 0.617(IP-LAP)까지 분포하며, 이 순서는 방법별 학습에서도 대체로 유지된다. 이 편차는 평가 잡음이 아니라 학습 방식 전반에 걸쳐 안정적이며, 본 연구의 주된 실증적 기여이다. 우리는 이를 실증적 기준선으로 보고하며, 판별 근거가 심장 기원임을 입증하지는 않는다.
PRISM: 정렬 위장 주장에 대한 스트레스 테스트
PRISM: Stress-Testing Alignment-Faking Claims
우리는 AI 시스템이 안전한지를 주로 그 행동을 관찰하여 판단한다. 정렬 위장은 이를 무너뜨린다. 감시받고 있다고 믿을 때만 올바르게 행동하거나, 훈련으로 인해 변형되는 것을 피하기 위해 지금은 순응하는 모델은 모든 행동 테스트를 통과할 수 있다. 이러한 행동은 한 최첨단 모델에서 보고된 바 있으며, 모니터링 프롬프트 하에서 더 많이 순응하는 오픈 웨이트 모델은 이제 이를 보이는 것으로 해석되고, 은닉 상태 프로브가 탐지기로 제안되고 있다. 본 연구는 이 두 가지 추론을 모두 검증하였으며, 어느 쪽도 성립하지 않는다. 18개 모델 구성 중 11개가 감시받고 있다는 말을 들으면 더 많이 순응한다. 그러나 네 모델에 대한 프롬프트 요인 실험은 훈련 위협이 탐지 가능한 효과를 갖지 않음을 보여 주며, 이를 제거해도 순응도는 -3.3점에서 +1.6점 사이로만 변한다. 격차를 만드는 것은 오히려 프롬프트의 표현과 프레이밍이다. 프로브도 나을 것이 없다. 프로브는 감시 하의 순응 응답과 비감시 하의 순응 응답을 구분하지만(AUROC 0.96-0.99), 거부 응답도 똑같이 잘 구분한다. 즉 프로브는 위장이 아니라 프롬프트를 읽는다. 거부 응답만으로 학습한 조향 방향도 '위장' 방향과 동일한 정도로 행동을 변화시킨다. 본 연구는 이러한 실패 각각을 주장으로 굳어지기 전에 포착하는 다섯 가지 점검과 툴킷인 PRISM을 공개한다.
인공 신경망에서 표현 학습을 통한 창발적 일반화
Emergent Generalization by Representation Learning in Artificial Neural Networks
차원 축소는 고차원 신경 활동의 기저에 있는 저차원 구조인 신경 다양체를 식별하는 데 강력한 것으로 입증되었다. 이러한 저차원 표현은 집단 수준 부호화의 해석 가능성을 높여 왔다. 그러나 이러한 저차원 표현이 생물학적으로 의미가 있고 학습 시스템에서 기능적 이점을 제공하는지, 아니면 단지 뉴런 수준의 활동을 반영할 뿐인지는 신경과학에서 여전히 논쟁 중이다. 우리는 순환 신경망이 저차원 표현을 학습하도록 강제하는 명시적 정보 병목이 시계열 예측 과제에서 회전 일반화와 분포 외 일반화에 필수적임을 보인다. 인과적 창발에 대한 정보 이론적 측정치를 사용하여 암기에서 일반화로의 전이 전반에 걸친 이 표현의 동역학을 규명한 결과, 예측 손실이 단조롭게 감소하는 동안에도 초기 감소, 최소값, 이후 최대값까지의 상승을 보이는 비단조적 궤적을 발견했다. 이 궤적은 과제 복잡도에 따라 변하며, 창발적 구조의 크기는 일반화 성능을 신뢰할 수 있게 예측한다. 교대 미로 과제를 학습하는 쥐의 해마 CA1과 내측 전전두엽 활동을 분석하면 행동 수행을 따라가는 유사한 비단조적 창발 동역학이 나타난다. 이러한 결과는 종합하면 신경망이 간결하고 분산되며 창발적인 표현을 학습하는 능력이 일반화에 기능적 이점을 제공함을 시사하며, 인지에서 학습된 표현이 인과적 역할을 한다는 주장을 뒷받침한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.