arXiv:2006.12402

A Neural Network for Determination of Latent Dimensionality in Nonnegative Matrix Factorization

Benjamin T. Nebgen, Raviteja Vangara, Miguel A. Hombrados-Herrera, Svetlana Kuksova, Boian S. Alexandrov

제출 2020-06-22

원문 초록

Non-negative Matrix Factorization (NMF) has proven to be a powerful unsupervised learning method for uncovering hidden features in complex and noisy data sets with applications in data mining, text recognition, dimension reduction, face recognition, anomaly detection, blind source separation, and many other fields. An important input for NMF is the latent dimensionality of the data, that is, the number of hidden features, K, present in the explored data set. Unfortunately, this quantity is rarely known a priori. We utilize a supervised machine learning approach in combination with a recent method for model determination, called NMFk, to determine the number of hidden features automatically. NMFk performs a set of NMF simulations on an ensemble of matrices, obtained by bootstrapping the initial data set, and determines which K produces stable groups of latent features that reconstruct the initial data set well. We then train a Multi-Layer Perceptron (MLP) classifier network to determine the correct number of latent features utilizing the statistics and characteristics of the NMF solutions, obtained from NMFk. In order to train the MLP classifier, a training set of 58,660 matrices with predetermined latent features were factorized with NMFk. The MLP classifier in conjunction with NMFk maintains a greater than 95% success rate when applied to a held out test set. Additionally, when applied to two well-known benchmark data sets, the swimmer and MIT face data, NMFk/MLP correctly recovered the established number of hidden features. Finally, we compared the accuracy of our method to the ARD, AIC and Stability-based methods.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27764v1cs.LG공통 태그 Dimensionality Reduction, Anomaly Detection

기호적 실패 탐지 학습: 머신러닝과 블랙-숄즈 모형의 한계

Learning to Detect Symbolic Failure: Machine Learning and the Limits of Black-Scholes

우리는 옵션 가격 결정을 표현(representation) 문제로 다룬다. 즉, 260만 건의 실제 옵션 계약을 사용하여 머신러닝이 블랙-숄즈(Black-Scholes)로부터의 체계적인 편차를 탐지할 수 있는가? 우리는 세 가지 방식을 비교한다. 학습된 추상 임베딩(커널 PCA), 보존된 도메인 구조(트리 기반 앙상블), 그리고 신경망 검증이다. 트리 기반 방법은 커널 차원 축소보다 21.5%p 높은 성능(93.8% 대 72.3%)을 보였으며, 도메인 전문가가 설계한 특징(그릭스, 머니니스)은 엔지니어링된 특징보다 더 우수한 성능을 보였다. 신경망 기반 편차 레이블과 BS 기반 편차 레이블은 99.9974%의 비율로 일치하며, 이는 편차가 모델의 인위적 결과물이 아니라 시장 구조를 반영함을 시사한다. 우리는 전문가가 설계한 기호적 특징이 존재하는 도메인에서는 추상화를 학습하는 것보다 구조를 보존하는 것이 더 낫다고 결론짓는다. 우리는 활용 가능한 오가격(mispricing)이 존재한다고 주장하지 않는다.

arXiv:2609.22284v1cs.CV공통 태그 Anomaly Detection, Face Recognition

말하는 얼굴 딥페이크 탐지를 위한 상보적 rPPG 유래 및 입술 영역 주파수 단서

Complementary rPPG-Derived and Lip-Region Frequency Cues for Talking-Face Deepfake Detection

말하는 얼굴(talking-face, TF) 딥페이크는 생성기(generator)마다 rPPG 기반 방법의 탐지 성능이 고르지 않다. 우리는 피험자 독립(subject-independent) 프로토콜 하에서 Celeb-DF++의 7가지 TF 방법에 대해, RhythmFormer로 추출한 rPPG 유래 파형과 입술 영역 이산 코사인 변환(discrete cosine transform, DCT) 계수라는 두 가지 경량 시각 전용(visual-only) 단서를 연구한다. 도메인 내(in-domain)에서는 SadTalker를 제외한 모든 방법에서 입술 영역 DCT가 rPPG 유래 1D ResNet과 동등하거나 더 우수하며, Concat 융합은 단일 모달(unimodal) 기준선의 AUC 0.824 및 0.827에 대해 AUC 0.891에 도달한다. 생성기 하나 제외(leave-one-generator-out) 평가에서는 두 단서가 갈라진다: 각각은 보류(hold-out)된 세 방법으로 더 뚜렷이 전이(transfer)되며, IP-LAP은 두 단서 모두에서 거의 무작위(near chance) 수준이다. Concat은 평균 0.798이지만 DCT 전이가 약한 경우 rPPG 단독보다 낮아져, 정적(static) 융합은 이러한 상보성을 부분적으로만 활용한다. 입술 영역 DCT는 7가지 방법 중 6가지에서 전체 얼굴 DCT보다 우수하다. 우리는 rPPG 유래 신호를 경험적(empirical) 단서로 취급하며, 그�이 심장(cardiac) 기원임을 주장하지 않는다.

arXiv:2607.20530v1cs.LG공통 태그 Dimensionality Reduction, Anomaly Detection

CLOE: 이상 탐지를 위한 Christoffel 손실 오토인코더

CLOE: Christoffel Loss Autoencoder for Anomaly Detection

반지도 이상 탐지(semi-supervised anomaly detection)는 공정 모니터링, 의료, 금융 등 다양한 분야에서 핵심적인 역할을 한다. 그러나 경량 방법들은 고차원 데이터에서 종종 어려움을 겪으며, 일반적으로 여러 하이퍼파라미터를 세심하게 조정해야 한다. 기존 접근법 가운데 Christoffel 함수(Christoffel Function) 기반 방법들은 단순성으로 인해 매력적인데, 최대 하나의 하이퍼파라미터만 필요하다. 또한 잘 정립된 이론적 기반의 이점을 누려 데이터 과학에서 여러 흥미로운 결과를 제공한다. 그러나 주요 한계는 고차원 설정에서의 낮은 확장성이다. 본 논문에서는 차원 축소를 위한 오토인코더와 잠재 공간(latent space)에 적용된 Christoffel 함수 기반 탐지기를 결합한 새로운 방법인 CLOE를 제안한다. 표현 학습(representation learning)을 이상 탐지와 더 잘 정렬하기 위해, Christoffel 함수를 활용하여 오토인코더가 정상 데이터 분포의 지지(support)를 더 잘 포착하는 표현을 향하도록 유도하는 새로운 손실 함수를 설계한다. 또한 탐지 임계값을 설정하는 원칙적인 절차와 남은 단 하나의 하이퍼파라미터를 조정하는 효율적인 전략을 제안한다. 여러 고차원 표(tabular) 이상 탐지 벤치마크에서의 실험은 CLOE가 Christoffel 함수 기반 접근법의 경량성과 낮은 튜닝 부담이라는 장점을 유지하면서 기존 방법들 대비 우수한 성능을 달성함을 보여준다.

arXiv:2607.13234v1cs.CV공통 태그 Anomaly Detection, Face Recognition

지속적으로 진화하는 딥페이크 탐지: 동적 탐지 시스템의 아키텍처 및 공개 벤치마크 평가

Continuously Evolving Deepfake Detection: An Architecture and Public-Benchmark Evaluation of a Dynamic Detection System

학술 벤치마크에서 거의 완벽한 점수를 달성하는 딥페이크 탐지기는 실세계 콘텐츠에서는 성능이 급격히 무너집니다. 최근 in-the-wild 평가에서는 최신(state-of-the-art) 오픈소스 모델의 AUC가 45-50% 하락한다고 보고됩니다. 우리는 이 격차가 구조적이라고 주장합니다. 정적 탐지기는 계속 변화하는 생성 프론티어에 대해 한 번만 학습되기 때문입니다. 우리는 Bittensor SN34를 통해 학습된 BitMind Forensics(BMF)를 제안합니다. Bittensor SN34는 학습 분포를 지속적으로 갱신하는 공개 적대적(adversarial) 경쟁입니다. 우리는 이미지, 일반 비디오, 인간 비디오 체크포인트를 포함하는 하나의 특정 시점 export를 19개의 공개 데이터셋에서 평가합니다. 여기에는 표준 face-swap 스위트(FaceForensics++, Celeb-DF v1/v2/++, DFDC, DFD, UADFV, DF40)와 최근 in-the-wild 및 AI 생성 미디어 벤치마크(Sumsub, Deepfake-Eval-2024, WildRF, Community Forensics, AIGCDetectBench, GenImage, AI-GenBench, AIGIBench, RAID, GenVidBench, GenVideo-100K)가 포함됩니다. BMF는 Sumsub의 원본 이미지에서 0.936 AUC를 달성하고, 전체 4조건 조작 배터리(140만 이미지)에 대한 pooled AUC 0.872를 기록합니다. perturbation 하에서도 견고하며(0.855 JPEG, 0.799 downscaled), GPEN enhancement는 탐지 성능을 향상시킵니다(0.996). Deepfake-Eval-2024에서 BMF는 이미지에서 최고의 상용 탐지기와 동등합니다(0.915 vs 0.90)고, 비디오에서는 이를 초과합니다(0.822 vs 0.79). 이는 최고의 오픈소스 탐지기(0.56 및 0.63)보다 훨씬 높습니다. 21개 생성기 AI 이미지 패널에서 0.991 AUC, GenVidBench에서 0.918 AUC를 달성하며, DFDC(0.947 vs 0.843) 및 Celeb-DF v2(0.9985 vs 0.956)에서 FF++로 학습된 frontier를 초과합니다. 둘 다 오염 검증(contamination-audited)되었으며, Celeb-DF++에서는 통계적 동등성을 보입니다. 시간적 연구에서 연속된 특정 시점 export는 정적 기준선의 학습에 없던 생성기의 held-out 미디어에서 성능이 향상됩니다(이미지 0.842→0.902; 비디오 0.864→0.936). 평가 하네스는 공개되어 있으며, 출판 시점에 프로덕션 API는 독립적 검증을 위해 평가된 정확한 스냅샷을 제공합니다.

arXiv:2609.38840v3cs.LG공통 태그 Dimensionality Reduction

scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기

scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning

단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.

arXiv:2607.21776v2cs.LG공통 태그 Anomaly Detection

PulseGuard: 토킹페이스 딥페이크 탐지를 위한 포렌식 모달리티로서의 rPPG 기반 시간 신호

PulseGuard: rPPG-Derived Temporal Signals as a Forensic Modality for Talking-Face Deepfake Detection

토킹페이스(TF) 딥페이크 생성은 정지된 원본 이미지와 음성 신호로부터 사실적인 얼굴 영상을 합성하며, 현재의 이미지 기반 탐지기가 일관되게 식별하지 못하는 위조물을 만들어 낸다. 얼굴 교체 조작과 달리 TF 합성에는 생리적 특성을 물려받을 기반 실제 영상이 없으므로, 이 위조 범주의 탐지 모달리티로 원격 광혈류측정(rPPG)이 동기화된다. 우리는 RhythmFormer로 윈도우별 rPPG 파형을 추출하고 경량 분류기 모음을 학습시켜 실제 신호와 합성 신호를 구분하는 탐지 프레임워크 PulseGuard를 제안한다. 테스트 신원이 학습 신원과 완전히 분리된 엄격한 피험자 독립 프로토콜로 Celeb-DF++의 TF 부분집합에서 평가한 결과, 우리의 1D ResNet은 추출된 시간 신호만으로 동작하면서 EER 25.1%에서 윈도우 수준 AUC 0.826(DeepFakesON-Phys가 평가되는 단위인 영상 수준으로 풀링 시 0.842)을 달성하며, 학습에서 완전히 제외된 생성기에 대해서도 AUC 0.754를 유지한다. 우리는 대표적인 기존 rPPG 탐지기인 DeepFakesON-Phys의 통제된 재현 연구를 제시하여, 기존 얼굴 교체 데이터에서의 AUC 0.999가 Celeb-DF++의 TF 부분집합에서는 0.576으로 저하됨을 보인다. 또한 탐지 난이도가 방법에 크게 의존함을 보이는데, 일곱 개의 TF 생성기에 걸쳐 AUC는 0.937(Real3DPortrait)에서 0.617(IP-LAP)까지 분포하며, 이 순서는 방법별 학습에서도 대체로 유지된다. 이 편차는 평가 잡음이 아니라 학습 방식 전반에 걸쳐 안정적이며, 본 연구의 주된 실증적 기여이다. 우리는 이를 실증적 기준선으로 보고하며, 판별 근거가 심장 기원임을 입증하지는 않는다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.