구별 불가능한 어트랙터 구별하기: 리저버 컴퓨터를 활용한 비지도 이상 탐지
Distinguishing indistinguishable attractors: Unsupervised anomaly detection with reservoir computers
한국어 초록
비선형 동역학 시스템이 정상 체제를 벗어나는 시점을 탐지하는 것은 심장학에서 기후 및 에너지 시스템에 이르기까지 과학 전반에 걸쳐 반복적으로 등장하는 문제이다. 우리는 리저버 컴퓨터의 출력 가중치에 대한 매우 단순한 콜모고로프-스미르노프 검정이, 고전적인 비선형 측도와 최신 딥러닝 탐지기 모두에 보이지 않는 경우를 포함하여, 비선형 동역학 시스템의 체제 변화에 매우 민감하다는 것을 보인다. 우리 알고리즘의 핵심 아이디어는 리저버 컴퓨터의 출력층을 입력 동역학의 표현으로 취급하는 것이다. 입력 매핑과 리저버 자체는 무작위로 고정되어 있으므로, 학습된 출력 가중치만이 해당 시스템을 인코딩하는 유일한 객체이다. 우리는 출력 가중치의 경험적 누적 분포 함수를 통해 이 지문을 요약하고, 학습 데이터로부터 구축된 참조 구간과 비교한다. 이 비지도 온라인 탐지기는 시각적으로 구별 불가능한 두 개의 나비 형태 어트랙터를 구별하고, 가장 강력한 딥러닝 기준선보다 7배 더 작은 매개변수 드리프트를 해소하며, 신호 대비 4자릿수 낮은 잡음을 표시하고, 임상 심전도(ECG) 기록에서 심실 조동을 식별한다. 더 나아가, 우리는 학습된 출력 가중치를 단순히 예측의 수단으로 보는 것이 아니라 학습된 시스템의 표현 그 자체로 취급하는, 리저버 컴퓨터에 대한 새로운 관점을 확립하고자 한다.
원문 초록
Detecting when a nonlinear dynamical system departs from its normal regime is a recurring problem across the sciences, from cardiology to climate and energy systems. We show that a very simple Kolmogorov--Smirnov test on the output weights of a reservoir computer is highly sensitive to regime changes in nonlinear dynamical systems, including those invisible to both classical nonlinear measures and modern deep-learning detectors. The core idea of our algorithm is to treat the readout layer of a reservoir computer as a representation of the input dynamics. Since the input mapping and the reservoir itself are random and fixed, the trained output weights are the only object encoding the system at hand. We summarize this fingerprint by the empirical cumulative distribution function of the readout weights and compare it to a reference band built from the training data. This unsupervised, online detector distinguishes two visually indistinguishable butterfly-shaped attractors, resolves parameter drifts seven times smaller than the strongest deep-learning baseline, flags noise four orders of magnitude below the signal, and identifies ventricular flutter in a clinical ECG recording. More broadly, we aim to establish a perspective on reservoir computers in which the trained output weights are treated as a representation of the learned system in their own right, rather than merely as a means to forecasting.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.21322v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ECGGuard: Deep Watermarking of Electrocardiogram Signals With Error-Correcting
PulseGuard: rPPG-Derived Temporal Signals as a Forensic Modality for Talking-Face Deepfake Detection
실제 클라우드 텔레메트리 환경에서의 이상 탐지를 위한 심층 학습 모델 벤치마킹
Benchmarking Deep Learning Models for Anomaly Detection in Real-World Cloud Telemetry
현대 클라우드 플랫폼은 수천 개의 마이크로서비스로부터 고차원적이고 노이즈가 많은 텔레메트리를 생성한다. 기존의 고전적인 이상 탐지 벤치마크와 달리, 클라우드 이상(anomaly)은 지속 시간이 짧고 불규칙하며 대체로 비주기적이어서 시기적절한 탐지가 어렵다. 우리는 실제 IBM Cloud Console 데이터셋을 사용하여 이상 탐지를 위한 심층 학습 모델들에 대한 경험적 벤치마크를 제시한다. 우리는 조기 탐지와 오탐(false alarm)을 고려하는 시간 인식 지표인 Numenta Anomaly Benchmark(NAB)를 사용하여 GRU, 트랜스포머, TimesNet, Autoformer 아키텍처를 평가한다. TimesNet은 강력한 조기 탐지 민감도로 인해 가장 높은 NAB 점수를 달성한다. 트랜스포머 모델 또한 이상을 조기에 탐지하지만 더 높은 거짓 양성률(false-positive rate)을 보인다. 강건한 점수화(scoring)와 지속성 규칙(persistence rules)을 결합한 개선된 GRU 오토인코더(autoencoder)는 더 안정적인 오탐 프로파일과 함께 경쟁력 있는 성능을 달성한다. 전반적으로, 성능 차이가 크지 않다는 점은 실제 클라우드 이상이 지속적인 주기적 구조보다는 단기적 편차(deviation)에 의해 좌우된다는 것을 시사하며, 이는 시간 인식 평가와 강건한 후처리(post-processing)의 중요성을 강조한다.
임상적 예후 예측을 위한 이종 근거 통합 기반 검색 증강 다중 모달 언어 모델
Retrieval-Augmented Multimodal Language Model with Heterogeneous Evidence Integration for Clinical Prognosis
임상적 예후 예측은 정형 측정치, 생체 신호 파형, 시계열적 과거 이력, 그리고 환자군 맥락의 통합을 필요로 한다. 본 연구에서는 특징(feature)별 수치 토큰화(tokenization), 시계열 심전도(ECG)의 최신성 가중 집계, 이중 모달 환자군 메모리 뱅크를 결합한 다중 모달 언어 모델(language model)인 PRISM(Population-Retrieved Inference for Structured Multimodal Prognosis)을 소개한다. 검색은 표현 공간에서 수행된다. 즉, 모델(model)은 유사한 학습(training) 코호트 진료의 평균 풀링(mean-pooled) 임베딩을 전달받으며, 검색된 개별 기록은 프롬프트(prompt)에 직접 입력되지 않는다. 1,443개 태스크로 구성된 MDS-ED 벤치마크에서 PRISM은 진단 86.2%, 악화 93.1%, 중환자실(ICU) 입원 91.8%, 사망률 92.8%의 AUROC를 달성한다. 이 결과는 기존 베이스라인에서는 사용할 수 없었던 내원 전 96시간 윈도우를 활용한 것이다. 벤치마크 표준 윈도우 입력만 사용했을 때 PRISM은 0.8895의 AUROC를 기록하며, 이는 UniPACT의 0.8937 및 MDS-ED의 0.8889와 비견된다. 동일한 5개 근거 스트림과 고정된(frozen) 인코더를 사용하는 입력 매칭 컴팩트 융합 모델이 0.7652 AUROC를 달성한 것에 비해 PRISM은 0.9092를 달성한다. 수치형 전자건강기록(EHR) 인코딩을 텍스트 직렬화로 대체하면 AUROC가 3.66포인트 감소하고, 내원 전 이력을 제거하면 1.97포인트 감소하며, 검색을 제거(zeroing)하면 0.99포인트 감소한다. 실제 검색은 무작위 이웃 검색 대비 매크로 평균 0.97포인트 앞서지만, 대응 태스크 수준 부호 검정에서는 일관된 우위를 확립하지 못했다(p=0.067). 외부 MC-MED 코호트에서 지도 미세조정(supervised fine-tuning)은 0.8611 AUROC를 기록하여, 로컬에서 학습된 그래디언트(gradient) 부스팅의 0.8227 및 소스 코호트 전용 PRISM의 0.7841보다 우수했다. 이러한 결과는 구조 인지적 다중 모달 통합 및 지도 외부 적응의 효용을 뒷받침한다.
이상 탐지를 위한 연합 경량 헤드 기반 시계열 트랜스포머 CAN 인코더
Temporal transformer CAN encoder with federated lightweight heads for anomaly detection
현대 차량은 CAN(Controller Area Network) 버스를 통해 지속적으로 정보를 교환하는 수많은 전자제어장치(ECU)에 의존합니다. 이러한 통신의 신속성, 구조, 반복성으로 인해 타이밍, 페이로드 값, 메시지 패턴의 미세한 변화조차도 비정상적인 활동을 나타낼 수 있습니다. 오류, 오작동, 의도적인 간섭 등 원인에 관계없이 이러한 이상 현상은 매우 미묘하여, 메시지를 개별적으로 처리하거나 수작업으로 생성된 규칙에 의존하는 기존 방식으로는 식별하기 어렵습니다. 이러한 한계점을 해결하기 위해, 본 논문에서는 이러한 불규칙성을 더 효과적으로 포착할 수 있도록 연합 경량 헤드를 갖춘 시계열 트랜스포머 CAN 인코더 기반의 차량 내 네트워크 이상 탐지용 프라이버시 보존 프레임워크를 제안합니다. 이 신호들이 시간에 따라 어떻게 변화하는지 학습하는 경량 트랜스포머 인코더를 통해 미묘한 시계열 및 문맥적 이상 현상의 탐지가 가능해지며, 연합학습(federated learning) 메커니즘을 통해 여러 차량이나 ECU가 원시 CAN 데이터를 교환하지 않고도 협력하여 공유 모델을 개선할 수 있습니다. 오픈소스 데이터셋을 대상으로 수행한 실험에 따르면, 이러한 연합학습과 시계열 시퀀스 모델링의 결합은 효율성과 프라이버시를 유지하면서도 견고한 이상 탐지 성능을 제공합니다.
PPG에 '누구인가'가 아닌 '어떠한 상태인가'를 가르치기: ECG로부터의 고정효과 지식 증류
Teaching PPG How not Who: Fixed-Effects Distillation from ECG
ECG는 PPG 전용 모델을 학습시키는 데 널리 사용되지만, 모델에 구체적으로 무엇이 전달되는지는 규명되지 않았습니다. 웨어러블 기기는 개인의 심혈관 상태 변화 추적에 유용하게 쓰이지만, ECG에서 PPG로의 지식 증류(distillation)는 주로 대상자가 누구인지에 대한 신원 정보를 학습합니다. 기록 단위의 평균인 '특질(trait)'은 고정된 ECG 교사 모델 타깃의 40~59%를 차지하며, 풀링된 학생 모델은 이를 새로운 기록으로 일반화하지 못한 채 단순히 암기합니다. 상수 예측기만으로도 코사인 유사도가 0.793을 기록하기 때문에, 단순 정렬 코사인 지표는 이러한 문제를 포착하지 못합니다. 34회의 실험 전반에서 학생 모델이 신원 정보를 더 많이 암기할수록 상태에 대해 학습하는 양은 줄어들었습니다. 고정효과 지식 증류(Fixed-effects distillation)는 예측값과 타깃에서 각 기록의 평균을 차감하여 특질 성분을 상쇄하는 동시에, 풀링된 앵커를 통해 이를 유지합니다. 그 결과 상태 일치도가 2배 이상 증가하였고, 연령 및 성별 성능은 변함없이 개인 내 레이블 예측 성능만 향상되었으며, 이러한 성능 향상은 두 개의 백본 및 두 개의 추가 데이터베이스에서도 일관되게 유지되었습니다. 기록에 조건을 부여함으로써 지식 증류가 웨어러블 기기가 모니터링하는 개인 내 변화를 학습하도록 유도할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.