arXiv:1905.09876

Deep density ratio estimation for change point detection

Haidar Khan, Lara Marcuse, Bülent Yener

제출 2019-05-23

원문 초록

In this work, we propose new objective functions to train deep neural network based density ratio estimators and apply it to a change point detection problem. Existing methods use linear combinations of kernels to approximate the density ratio function by solving a convex constrained minimization problem. Approximating the density ratio function using a deep neural network requires defining a suitable objective function to optimize. We formulate and compare objective functions that can be minimized using gradient descent and show that the network can effectively learn to approximate the density ratio function. Using our deep density ratio estimation objective function results in better performance on a seizure detection task than other (kernel and neural network based) density ratio estimation methods and other window-based change point detection algorithms. We also show that the method can still support other neural network architectures, such as convolutional networks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2505.04608v5cs.LG공통 태그 Change Point Detection공식 코드 · Papers with Code

WATCH: 가중 컨포멀 마팅게일을 통한 AI 배포 적응형 모니터링

WATCH: Adaptive Monitoring for AI Deployments via Weighted-Conformal Martingales

고위험(high-stakes) 환경에서 인공지능(AI)/기계학습(ML) 시스템을 책임 있게 배포하려면, 시스템 신뢰성에 대한 입증뿐 아니라 배포 후(post-deployment) 지속적인 모니터링을 통해 비안전(unsafe) 행동을 신속히 탐지하고 대응하는 것이 요구된다고 볼 수 있다. 비모수 순차 검定(nonparametric sequential testing)—특히 컨포멀 테스트 마팅게일(conformal test martingales, CTM)과 anytime-valid 추론—은 이러한 모니터링 과제에 유망한 도구를 제공한다. 그러나 기존 접근법은 제한된 가설 클래스나 「알람 기준」(alarm criteria)(예: 특정 교환성(exchangeability) 또는 IID 가정을 위반하는 데이터 분포 변화(data shift)의 탐지)만을 모니터링하도록 제한되거나, 분포 변화에 대한 온라인 적응(online adaptation)을 허용하지 않거나, 성능 저하나 알람의 원인을 진단하지 못한다. 본 논문에서는 컨포멀 테스트 마팅게일의 가중 일반화(WCTM, weighted conformal test martingales)를 제안하여 이러한 한계를 해결하며, WCTM은 거짓 알람(false-alarm)을 제어하면서 데이터 분포의 예기치 않은 변화점(changepoint)에 대한 온라인 모니터링의 이론적 토대를 제공한다. 실용적 응용을 위해, 경미한 공변량 이동(한계 입력 분포상의 covariate shift)에 온라인으로 적응하고, 유해한 분포 변화를 신속히 탐지하며, 그 유해한 변화를 개념 이동(조건부 레이블 분포상의 concept shift) 또는 쉽게 적응하기 어려운 극단적(지원 밖, out-of-support) 공변량 이동으로 진단하는 구체적인 WCTM 알고리즘을 제안한다. 실세계 데이터셋에서 최신(state-of-the-art) 기준선(baseline) 대비 향상된 성능을 입증한다.

arXiv:2505.06835v5cs.LG공통 태그 Change Point Detection공식 코드 · Papers with Code

스트리밍 슬라이스 최적 수송

Streaming Sliced Optimal Transport

슬라이스 최적 수송(SOT), 즉 슬라이스 Wasserstein(SW) 거리는 통계적·계산적 확장성(scalability)으로 널리 알려져 있다. 본 연구에서는 샘플 스트림으로부터 SW를 추정하는 최초의 방법인 스트리밍 슬라이스 Wasserstein(Stream-SW)을 제안하여 계산적 확장성을 더욱 향상시킨다. Stream-SW를 정의하기 위해, 먼저 일차원 Wasserstein 거리(1DW)의 스트리밍 추정량을 도입한다. 1DW는 비교하는 분포들의 분위 함수(quantile function) 간 절대 차이의 적분으로 주어지는 폐형(closed-form) 표현을 갖기 때문에, 샘플 스트림에 대한 분위 근사 기법을 활용하여 스트리밍 1DW 추정량을 정의한다. 모든 투영(projection)에 스트리밍 1DW를 적용함으로써 Stream-SW를 얻는다. Stream-SW의 핵심 장점은 근사 오차에 대한 이론적 보장을 제공하면서도 메모리 복잡도가 낮다는 점이다. 스트리밍 샘플로부터 가우시안 분포 및 가우시안 혼합분포를 비교할 때, Stream-SW가 무작위 부분 샘플링(random subsampling)보다 더 정확한 SW 근사를 더 낮은 메모리 소비로 달성함을 보인다. 또한 포인트 클라우드 분류, 포인트 클라우드 그래디언트 흐름, 스트리밍 변화점 탐지(change point detection) 실험을 수행하여 제안한 Stream-SW의 우수한 성능을 추가로 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.