FlowFake: 오디오 딥페이크 탐지를 위한 액체 네트워크
FlowFake: Liquid Networks for Audio Deepfake Detection
한국어 초록
신경망 기반 텍스트 음성 변환 및 보이스 클로닝 시스템에 의해 생성된 오디오 딥페이크는 대규모 화자 확인과 공론을 위협합니다. 핵심 과제는 데이터셋 간 일반화입니다. 즉, 하나의 합성 파이프라인에서 학습된 탐지기는 보지 못한 위조 데이터에서 붕괴합니다. 우리는 이러한 실패가 주로 다중 시간 척도 궤적 이상치인 구조적 합성 음성 인공물 때문이라고 주장합니다. 모든 기존 탐지기는 고정 윈도우 프레임 통계를 집계하지만, 이는 아키텍처와 신호 간의 정렬을 어긋나게 합니다. 우리는 FlowFake를 제안합니다. 이는 학습된 상미분 방정식(ODE)을 통해 은닉 상태가 진화하는 Liquid Time-Constant (LTC) 아키텍처로, 뉴런별 적응형 시간 상수를 통해 스펙트럼(10ms) 및 운율(2s) 단서를 동시에 해결합니다. 단 34K 매개변수로 FlowFake는 형식적 BIBO 안정성과 O(dt^4) 적분 오차를 달성합니다. 4개 데이터셋 교차 도메인 벤치마크(ASVspoof2019-LA, FakeOrReal, InTheWild, MLAAD)에서 FlowFake는 FakeOrReal에서만 학습되었을 때 ASVspoof2019에서 75.29%에 도달하고, MLAAD에서만 학습되었을 때 79.97%에 도달합니다. 이는 평가된 모든 쌍에서 RawGAT-ST 및 Whisper-DF를 능가하며, 매개변수 수의 0.01%로 300배 더 큰 SSL Wav2vec2와 대등한 성능을 보입니다. 소스 코드는 다음에서 확인할 수 있습니다: https://github.com/GhostRider2023/FlowFake
원문 초록
Audio deepfakes generated by neural text-to-speech and voice-cloning systems threaten speaker verification and public discourse at scale. The core challenge is cross-dataset generalization: detectors trained on one synthesis pipeline collapse on unseen forgeries. We argue that this failure is primarily because of structural synthetic speech artifacts which are multi-timescale trajectory anomalies. Though every existing detector aggregates a fixed-window frame statistics, this misaligns the architecture with the signal. We propose FlowFake, a Liquid Time-Constant (LTC) architecture whose hidden state evolves via a learned ODE, with per-neuron adaptive time constants simultaneously resolving spectral (10ms) and prosodic (2s) cues. At only 34K parameters FlowFake achieves formal BIBO stability and O(dt^4) integration error. On a four-dataset cross domain benchmark (ASVspoof2019-LA, FakeOrReal, InTheWild, MLAAD), FlowFake reaches 75.29% on ASVspoof2019 trained only on FakeOrReal and 79.97% trained only on MLAAD. It outperforms RawGAT-ST and Whisper-DF on every evaluated pair and matching SSL Wav2vec2 (300x larger) at 0.01% of its parameter count. The source code is available on : https://github.com/GhostRider2023/FlowFake
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.19579v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
실제 클라우드 텔레메트리 환경에서의 이상 탐지를 위한 심층 학습 모델 벤치마킹
Benchmarking Deep Learning Models for Anomaly Detection in Real-World Cloud Telemetry
현대 클라우드 플랫폼은 수천 개의 마이크로서비스로부터 고차원적이고 노이즈가 많은 텔레메트리를 생성한다. 기존의 고전적인 이상 탐지 벤치마크와 달리, 클라우드 이상(anomaly)은 지속 시간이 짧고 불규칙하며 대체로 비주기적이어서 시기적절한 탐지가 어렵다. 우리는 실제 IBM Cloud Console 데이터셋을 사용하여 이상 탐지를 위한 심층 학습 모델들에 대한 경험적 벤치마크를 제시한다. 우리는 조기 탐지와 오탐(false alarm)을 고려하는 시간 인식 지표인 Numenta Anomaly Benchmark(NAB)를 사용하여 GRU, 트랜스포머, TimesNet, Autoformer 아키텍처를 평가한다. TimesNet은 강력한 조기 탐지 민감도로 인해 가장 높은 NAB 점수를 달성한다. 트랜스포머 모델 또한 이상을 조기에 탐지하지만 더 높은 거짓 양성률(false-positive rate)을 보인다. 강건한 점수화(scoring)와 지속성 규칙(persistence rules)을 결합한 개선된 GRU 오토인코더(autoencoder)는 더 안정적인 오탐 프로파일과 함께 경쟁력 있는 성능을 달성한다. 전반적으로, 성능 차이가 크지 않다는 점은 실제 클라우드 이상이 지속적인 주기적 구조보다는 단기적 편차(deviation)에 의해 좌우된다는 것을 시사하며, 이는 시간 인식 평가와 강건한 후처리(post-processing)의 중요성을 강조한다.
이상 탐지를 위한 연합 경량 헤드 기반 시계열 트랜스포머 CAN 인코더
Temporal transformer CAN encoder with federated lightweight heads for anomaly detection
현대 차량은 CAN(Controller Area Network) 버스를 통해 지속적으로 정보를 교환하는 수많은 전자제어장치(ECU)에 의존합니다. 이러한 통신의 신속성, 구조, 반복성으로 인해 타이밍, 페이로드 값, 메시지 패턴의 미세한 변화조차도 비정상적인 활동을 나타낼 수 있습니다. 오류, 오작동, 의도적인 간섭 등 원인에 관계없이 이러한 이상 현상은 매우 미묘하여, 메시지를 개별적으로 처리하거나 수작업으로 생성된 규칙에 의존하는 기존 방식으로는 식별하기 어렵습니다. 이러한 한계점을 해결하기 위해, 본 논문에서는 이러한 불규칙성을 더 효과적으로 포착할 수 있도록 연합 경량 헤드를 갖춘 시계열 트랜스포머 CAN 인코더 기반의 차량 내 네트워크 이상 탐지용 프라이버시 보존 프레임워크를 제안합니다. 이 신호들이 시간에 따라 어떻게 변화하는지 학습하는 경량 트랜스포머 인코더를 통해 미묘한 시계열 및 문맥적 이상 현상의 탐지가 가능해지며, 연합학습(federated learning) 메커니즘을 통해 여러 차량이나 ECU가 원시 CAN 데이터를 교환하지 않고도 협력하여 공유 모델을 개선할 수 있습니다. 오픈소스 데이터셋을 대상으로 수행한 실험에 따르면, 이러한 연합학습과 시계열 시퀀스 모델링의 결합은 효율성과 프라이버시를 유지하면서도 견고한 이상 탐지 성능을 제공합니다.
알츠하이머병 탐지를 위한 온라인 필기에서의 세그먼트 수준 위험 발견
Segment-Level Risk Discovery in Online Handwriting for Alzheimer's Disease Detection
온라인 필기는 인지 계획과 미세 운동 제어를 모두 반영하므로 알츠하이머병(AD) 탐지를 위한 비침습적이며 저비용의 행동 바이오마커를 제공합니다. 기존의 필기 기반 AD 탐지 방법들은 대체로 전역 궤적 특징이나 전체 샘플 표현에 의존하는데, 이는 개인의 필체 스타일, 과제별 변동성, 획득 잡음에 크게 영향을 받을 수 있습니다. 본 논문에서는 온라인 필기로부터 해석 가능한 AD 탐지를 수행하기 위해 건강 대조군 규범 기반 Paper-Air 선택적 궤적 상태공간 위험 네트워크인 NormPaST-Risk를 제안합니다. 전체 궤적을 단일한 총체적 표현으로 다루는 대신, 제안 방법은 AD 필기 탐지를 국소적인 질환 관련 세그먼트 발견 문제로 재구성합니다. 구체적으로, 다중 스케일 시간 인코더가 서로 다른 시간 해상도에서 획 역학을 포착하는 한편, 선택적 Paper-Air 상태공간 인코더는 장기 필기 진행 과정을 모델링하고 지면 위(on-paper) 운동 실행과 공중(in-air) 계획 및 전환 행동을 구분합니다. 비정상적 편차를 명시적으로 특성화하기 위해 건강 규범 브랜치가 건강 대조군으로부터 정상적인 필기 역학을 학습하며, 과제 인식 다중 전문가 세그먼트 위험 모듈이 은닉 상태 변화와 규범 편차로 보정된 세그먼트 수준 AD 위험을 추정합니다. 또한 약지도 세그먼트 수준 목적 함수를 통해 수동 세그먼트 주석 없이도 고위험 세그먼트를 발견할 수 있도록 합니다. DARWIN 벤치마크에 대한 실험은 제안된 프레임워크가 기존 방법들에 비해 우수한 AD/HC 분류(classification) 성능을 달성함을 입증합니다. 아울러 발견된 고위험 세그먼트는 원래 필기 궤적으로 역투영될 수 있어, AD 관련 필기 변동과 연관된 해석 가능한 근거를 제공합니다.
AIGS: 비정상 데이터 스트림에서의 온라인 표현 학습을 위한 적응형 점진적 게이팅 시스템
AIGS: Adaptive Incremental Gating System for Online Representation Learning in Non-Stationary Data Streams
사물 웹(WoT) 및 엣지 컴퓨팅 환경의 실시간 데이터 스트림은 잠재적인 체제 변화(regime changes)를 거치며 진화하는 경우가 많습니다. 엄격한 계산 제약 하의 온라인 표현 학습(online representation learning)에서 핵심 문제는 유용한 과거 지식을 유지하면서 개념 드리프트(concept drift)에 신속하게 반응하는 안정성-가소성 딜레마(stability-plasticity dilemma)를 해결하는 것입니다. 기존 방법들은 고정된 업데이트 일정이나 롤링 윈도우를 사용합니다. 그러나 이러한 방식은 급격한 변화가 발생할 때 매개변수 경직화(parameter ossification)를 겪고, 스트림이 안정적으로 유지될 때는 계산 자원을 낭비합니다. 본 논문에서는 경량 폐루프 상태 인지 적응 프레임워크인 적응형 점진적 게이팅 시스템(AIGS, Adaptive Incremental Gating System)을 제안합니다. AIGS는 최근 변동성에 대해 현재 재구성 오차를 정규화하는 내생적 잔차 피드백 메커니즘인 Shock Ratio를 도입합니다. 이 신호는 학습 가소성과 기억 유지 사이를 부드럽게 보간하는 연속 가소성 컨트롤러(Continuous Plasticity Controller)를 구동합니다. 표현 학습을 폐루프 제어 메커니즘으로 다룸으로써, AIGS는 치명적 망각(catastrophic forgetting)을 방지하고 지연 시간에 민감한 엣지 디바이스에 적합한 스텝당 엄격한 선형 복잡도 $\mathcal{O}\left(k\cdot d\right)$를 유지합니다. 교통 네트워크, 기상 시스템, 산업 인프라를 아우르는 실제 스마트 시티 동적 스트림에 대한 실험은 도메인에 따라 뚜렷한 이점을 보여줍니다. Electricity Transformer Temperature 데이터셋에서 AIGS는 점진적인 성능 저하 상황에서 8.31(ETTm1) 및 9.88(ETTm2) 스텝의 예방적 조기 경보 리드 타임을 달성합니다. Performance Measurement System 교통 데이터셋에서는 급격한 변화 이후 훨씬 빠른 변화 후 회복 속도를 보입니다. 노이즈가 매우 심한 Weather 데이터셋에서는 확률적 노이즈 과적합을 방지하면서 이상치 재현율을 향상시킵니다. 이러한 결과는 AIGS가 자원 제약이 있는 엣지 모니터링 시스템을 위한 실용적인 플러그 앤 플레이 어댑터임을 입증합니다.
GLASS: 전이 가능한 그래프 수준 이상치 탐지를 위한 구면 점수화 기반 그래프-언어 정렬
GLASS: Graph-Language Alignment with Spherical Scoring for Transferable Graph-Level Anomaly Detection
본 논문에서는 단위 초구(unit hypersphere) 상의 그래프-언어 정렬을 통해 강력한 도메인 간 전이 가능성(cross-domain transferability)을 달성하는 그래프 수준 이상치 탐지(GLAD) 프레임워크인 GLASS를 소개합니다. GLASS는 다중 슬라이스 소프트 코사인 목적 함수(multi-slice soft cosine objective)를 통해 구조 인지 그래프 인코더와 지시 인지(instruction-aware) 텍스트 임베딩을 정렬하여 통합된 표현 공간을 구축합니다. 본 프레임워크는 국소적, 전역적, 의미론적 그래프 속성을 압축된 그래프 기술자 프롬프트(GraphDP)로 직렬화하여 도메인에 구애받지 않는 이상치 점수화를 가능하게 하는 텍스트 가교를 만듭니다. 마트료시카 표현 슬라이스(Matryoshka representation slices)를 통해 다중 스케일 일관성을 강제함으로써, 모델은 다양한 입도 수준에서 이상 편차를 포착합니다. 우리는 이상치 탐지를 정렬된 초구 상에서의 밀도 추정 문제로 정식화하고, 그래프 및 텍스트 임베딩 공간 모두에서 폰 미제스-피셔(von Mises-Fisher) 커널 밀도 추정기를 인스턴스화하는 구면 멀티모달 점수화(SMS)를 도입합니다. 이러한 확률론적 정식화는 고밀집 극한(high-concentration limit)에서 각도 기반 1-최근접 이웃 점수화를 복원하고, 실용적인 평균 k-최근접 이웃 점수 계산기에 이론적 동기를 부여하며, 구조적 및 의미론적 이상 신호의 원칙적인 융합을 제공합니다. 공유된 텍스트 임베딩 공간은 도메인 간 가교 역할도 수행합니다. 타깃 도메인 학습 데이터 없이도 타깃 도메인의 GraphDP를 인코딩하여 제로샷(zero-shot) 이상치 탐지를 수행하며, 소수의 정상 예시만으로 참조 세트 보정(reference-set calibration)을 통한 퓨샷(few-shot) 적응을 수행합니다. 프라이버시에 민감한 배포 환경을 위해, 우리는 프라이빗 타깃 참조와 무관하게 인코더를 고정한 상태로 유지하면서 그래프 레코드 차분 프라이버시(differential privacy)를 제공하는 유계 결합 그래프-텍스트 커널 요약으로 참조 세트 보정을 확장합니다. 12개의 벤치마크와 3개의 메타 도메인에 걸친 실험에서, GLASS는 최신 고급 GLAD 베이스라인들과 비교해 최고의 평균 AUROC 및 순위를 달성하며 효과적인 도메인 간 전이를 가능하게 합니다.
부분적 센서 중첩 하의 기계 간 CNC 전이를 위한 월드 모델
World Models for Cross-Machine CNC Transfer under Partial Sensor Overlap
산업용 월드 모델은 동역학, 센싱 인터페이스, 명령 규약이 서로 다른 기계 사이를 옮겨 다녀야 한다. 본 연구는 미래 샘플을 재구성하는 대신 공정의 미래 표현을 예측하도록 학습된 명령 조건부 잠재 월드 모델이 한 번도 보지 못한 기계에서도 가치를 유지하는지를 묻는다. 소스 CNC 기계는 17개 센서 채널을 제공하고, 타깃은 그중 10개를 공유한다. 모든 모델 선택은 소스 데이터만 사용하며, 확정된 구성은 타깃에서 한 번만 평가한다. 두 가지 결과가 뒤따른다. 첫째, 잠재 예측 사전학습은 처음부터 맞춘 학습과 동등한 설정에서 도메인 내 예측 향상을 가져오지 않으므로, 소스 정확도만으로는 그러한 표현의 가치를 알 수 없다. 둘째, 전이된 모델은 보지 못한 기계에서 지속(persistence) 예측을 이기지만(타깃 평균 대비 $R^2\approx0.01$) 각 입력 윈도우를 자체 통계로 정규화하는 공식 예측기에는 뒤처진다. 실행 전에 선언된 잠금 후 ablation은 이 입력 정규화만으로 격차를 메운다는 것을 보여 주며, 격차를 메우는 데는 예측 보정(calibration) 비용이 든다. 따라서 부분적 센서 중첩 하의 기계 간 전이는 명령 조건부 월드 모델을 위한 별도의 평가 축이다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.