arXiv:2412.11292

Grassmannian Geometry Meets Dynamic Mode Decomposition in DMD-GEN: A New Metric for Mode Collapse in Time Series Generative Models

Amime Mohamed Aboussalah, Yassine Abbahaddou

제출 2024-12-15

원문 초록

Generative models like Generative Adversarial Networks (GANs) and Variational Autoencoders (VAEs) often fail to capture the full diversity of their training data, leading to mode collapse. While this issue is well-explored in image generation, it remains underinvestigated for time series data. We introduce a new definition of mode collapse specific to time series and propose a novel metric, DMD-GEN, to quantify its severity. Our metric utilizes Dynamic Mode Decomposition (DMD), a data-driven technique for identifying coherent spatiotemporal patterns, and employs Optimal Transport between DMD eigenvectors to assess discrepancies between the underlying dynamics of the original and generated data. This approach not only quantifies the preservation of essential dynamic characteristics but also provides interpretability by pinpointing which modes have collapsed. We validate DMD-GEN on both synthetic and real-world datasets using various generative models, including TimeGAN, TimeVAE, and DiffusionTS. The results demonstrate that DMD-GEN correlates well with traditional evaluation metrics for static data while offering the advantage of applicability to dynamic data. This work offers for the first time a definition of mode collapse for time series, improving understanding, and forming the basis of our tool for assessing and improving generative models in the time series domain.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13357v5eess.SP공통 태그 Time Series

ECGGuard: 오류 정정 부호를 활용한 심전도 신호의 딥러닝 워터마킹

ECGGuard: Deep Watermarking of Electrocardiogram Signals With Error-Correcting Codes

웨어러블 심전도(ECG) 기록은 자동 판독에 이르기 전에 여러 네트워크와 시스템을 거치므로 환자 메타데이터가 유실되기 쉽다. 디지털 워터마킹은 이 메타데이터를 신호에 삽입할 수 있으나, 기존 방법은 시간 이동에 취약하며 파형 유사도가 높다고 해서 하류 진단이 동일하게 유지되는 것은 아니다. 본 논문은 단일 리드 ECG를 위한 딥러닝 워터마킹 프레임워크인 \rev{ECGGuard}를 제안한다. 완전 합성곱 생성기는 신호 양자화 없이 페이로드를 삽입하고, 검출기는 프레임 단위로 메시지를 복호화하며 워터마크의 존재 여부를 확인한다. 학습 중에는 고정된 부정맥 분류기가 자신의 예측을 바꾸는 변화를 억제하도록 페널티를 부과한다. 높은 비트 정확도가 전체 메시지의 복원을 보장하지 않으므로, 페이로드는 확장 해밍 부호, \rev{검증 데이터로 선택한 채널 순서}, 그리고 소프트 결정 복호화로 보호된다. MIT-BIH 부정맥 데이터베이스에서 \rev{세 번의 학습 실행을 평균했을 때 ECGGuard}는 10~50 샘플의 시간 이동에서도 비트 정확도를 \rev{98\%} 이상으로 유지하는 반면, 변환 영역 기반 기준 방법은 무작위 수준으로 떨어진다. 부호화된 16비트 페이로드는 깨끗한 구간의 \rev{99.95\%}에서 정확히 복원되며\rev{, 시간 이동, 10\% 샘플 삭제 또는 10\% 패킷 손실 조건에서도 96\% 이상}, \rev{처음 보는 피험자에 대해서는 99.1\%}에서 복원된다. \rev{가이드 역할을 하는 분류기에 대해, 진단 손실은 테스트 기록에서 심실 박동 민감도의 하락을 1.6 퍼센트포인트로 제한하고(이를 사용하지 않으면 35.0), 처음 보는 피험자에서는 12.2 포인트로 제한한다(사용하지 않으면 67.0). 독립적으로 학습된 분류기에서는 하락이 10.3 포인트로 커지며, 이 보호 효과는 외부 데이터베이스로는 전이되지 않는다.} \rev{ECGGuard}는 0.56백만 개의 파라미터를 가지며 데스크톱 CPU에서 구간당 약 \rev{19}~ms가 소요된다.

arXiv:2607.21776v2cs.LG공통 태그 Time Series

PulseGuard: 토킹페이스 딥페이크 탐지를 위한 포렌식 모달리티로서의 rPPG 기반 시간 신호

PulseGuard: rPPG-Derived Temporal Signals as a Forensic Modality for Talking-Face Deepfake Detection

토킹페이스(TF) 딥페이크 생성은 정지된 원본 이미지와 음성 신호로부터 사실적인 얼굴 영상을 합성하며, 현재의 이미지 기반 탐지기가 일관되게 식별하지 못하는 위조물을 만들어 낸다. 얼굴 교체 조작과 달리 TF 합성에는 생리적 특성을 물려받을 기반 실제 영상이 없으므로, 이 위조 범주의 탐지 모달리티로 원격 광혈류측정(rPPG)이 동기화된다. 우리는 RhythmFormer로 윈도우별 rPPG 파형을 추출하고 경량 분류기 모음을 학습시켜 실제 신호와 합성 신호를 구분하는 탐지 프레임워크 PulseGuard를 제안한다. 테스트 신원이 학습 신원과 완전히 분리된 엄격한 피험자 독립 프로토콜로 Celeb-DF++의 TF 부분집합에서 평가한 결과, 우리의 1D ResNet은 추출된 시간 신호만으로 동작하면서 EER 25.1%에서 윈도우 수준 AUC 0.826(DeepFakesON-Phys가 평가되는 단위인 영상 수준으로 풀링 시 0.842)을 달성하며, 학습에서 완전히 제외된 생성기에 대해서도 AUC 0.754를 유지한다. 우리는 대표적인 기존 rPPG 탐지기인 DeepFakesON-Phys의 통제된 재현 연구를 제시하여, 기존 얼굴 교체 데이터에서의 AUC 0.999가 Celeb-DF++의 TF 부분집합에서는 0.576으로 저하됨을 보인다. 또한 탐지 난이도가 방법에 크게 의존함을 보이는데, 일곱 개의 TF 생성기에 걸쳐 AUC는 0.937(Real3DPortrait)에서 0.617(IP-LAP)까지 분포하며, 이 순서는 방법별 학습에서도 대체로 유지된다. 이 편차는 평가 잡음이 아니라 학습 방식 전반에 걸쳐 안정적이며, 본 연구의 주된 실증적 기여이다. 우리는 이를 실증적 기준선으로 보고하며, 판별 근거가 심장 기원임을 입증하지는 않는다.

arXiv:2609.14856v3cs.CV공통 태그 Image Generation

RAIN: 시맨틱 워터마크 추출을 위한 영역 인식 역전 네트워크

RAIN: Region-Aware Inversion Network for Semantic Watermark Extraction

확산 모델을 위한 시맨틱 워터마크는 시각적 품질을 보존하면서 생성 과정에 소유권 정보를 삽입하지만, 전통적으로 Gaussian-Shading 추출은 초기 노이즈를 복구하기 위해 다단계 확산 역전(multi-step diffusion inversion)을 필요로 합니다. 최근의 1단계(one-step) 방식들은 이러한 비용을 크게 줄일 수 있음을 보여줍니다. 본 연구에서는 확장된 플로우 매칭(extended flow matching)과 조건부 회귀(conditional regression)를 통해 이 문제를 다룹니다. 핵심 관찰은 높은 신호 대 잡음비(high-SNR) 이미지 종점 근처에서 고 SNR 영역의 확장된 플로우 매칭 첫 단계 출력으로 주어지는 유용한 노이즈 통계량을 복구하는 것이 전체 역전 궤적(inverse trajectory)을 재구성하는 것보다 훨씬 단순하며, Gaussian Shading은 복구된 잠재 변수(latent)가 올바른 워터마크 결정 영역 내에 유지되기만 하면 된다는 점입니다. 이러한 관찰을 바탕으로, 종점 복구를 이미지와 유사한 앵커와 노이즈 지향적 잔차로 분해하여 GPU 병렬 연산 활용 능력을 향상시키는 경량 프롬프트-프리 추출기를 제안합니다. 이를 통해 얻어진 방법은 반복적인 역전과 확산 규모 U-Net의 반복 평가(evaluation)를 피함으로써, 간결한 이론적 해석을 갖춘 효율적인 1단계 추출 파이프라인을 제공합니다. 노이즈 추출의 연산 비용은 OSI와 FARI 모두보다 낮습니다. GitHub 저장소는 https://github.com/TheLovesOfLadyPurple/RAIN-lightweight-NN-for-one-step-semantic-watermark-extraction 에서 확인할 수 있습니다.

arXiv:2607.20790v2cs.CV공통 태그 Image Generation

가상현실을 위한 안구 검증

Ocular Verification for Virtual Reality

가상현실(VR) 헤드셋(예: Meta Quest, Apple Vision Pro)은 시뮬레이션 환경에서 물리 세계와 빠르고 마찰 없는 상호작용을 제공하여 매끄러운 사용자 경험을 제공한다. 이러한 헤드셋에서 사용자 인증은 홍채와 같은 생체 단서에 의존한다. 그러나 기존의 홍채 인식 프로토콜은 VR 기반 데이터의 전형적 특성인 비제약 환경 획득의 경우에는 충분하지 않을 수 있다. 본 연구에서는 세 가지 핵심 측면을 검토한다. (1) VRBiom 데이터셋에서 ISO/IEC 29794-6 홍채 품질 지표를 평가하고 그 한계를 분석하며, (2) 생성 모델을 사용하여 축 이탈 시선, 불균일 조명, 정반사와 같은 데이터 특유의 문제를 해결하고, (3) 단일 모달(홍채, 눈 주위) 인식과 다중 모달 점수 수준 융합(홍채 + 눈 주위)을 수행한다. 일부 지표(예: 마진 적절성)는 VR로 획득한 데이터에서 실패하는 반면, 이미지 보정은 주로 눈 주위 인식에 도움이 되며, 다중 모달 융합은 단일 모달 홍채 인식 성능 대비 EER을 약 11% 낮춘다는 것을 관찰하였다. 재현성을 위해 논문 채택 시 평가 스크립트를 공개할 예정이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.