arXiv:2311.04128

Generative learning for nonlinear dynamics

William Gilpin

제출 2023-11-07

원문 초록

Modern generative machine learning models demonstrate surprising ability to create realistic outputs far beyond their training data, such as photorealistic artwork, accurate protein structures, or conversational text. These successes suggest that generative models learn to effectively parametrize and sample arbitrarily complex distributions. Beginning half a century ago, foundational works in nonlinear dynamics used tools from information theory to infer properties of chaotic attractors from time series, motivating the development of algorithms for parametrizing chaos in real datasets. In this perspective, we aim to connect these classical works to emerging themes in large-scale generative statistical learning. We first consider classical attractor reconstruction, which mirrors constraints on latent representations learned by state space models of time series. We next revisit early efforts to use symbolic approximations to compare minimal discrete generators underlying complex processes, a problem relevant to modern efforts to distill and interpret black-box statistical models. Emerging interdisciplinary works bridge nonlinear dynamics and learning theory, such as operator-theoretic methods for complex fluid flows, or detection of broken detailed balance in biological datasets. We anticipate that future machine learning techniques may revisit other classical concepts from nonlinear dynamics, such as transinformation decay and complexity-entropy tradeoffs.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28273v1eess.SY공통 태그 Time Series, State Space Models

Mamba-3에서 입력-의존적 저순위 업데이트를 통한 비가환 상태 추적

Non-Commutative State Tracking with Input-Dependent Low-Rank Updates in Mamba-3

순차적 관측으로부터 상태를 추적(state tracking)하는 과정에서는 정보를 유지하는 것과 관측된 연산들을 합성하여 정보를 갱신하는 것이 모두 요구될 수 있다. 본 논문에서는 연산의 순서가 중요한 비가환(non-commutative) 상태 추적을 지원하기 위해, Mamba-3의 대각 전이(diagonal transition)를 입력-의존적(input-dependent) 저순위(low-rank) 반사 항으로 확장한다. 이 랭크-1(rank-one) 업데이트는 입력에 의존적인 방향을 따라 상태 좌표들을 결합하여, 단일 Mamba-3 블록 내에서 비대각(non-diagonal) 상태 전이를 가능하게 한다. 이러한 확장은 Mamba-3의 지수-사다리꼴 이산화(exponential-trapezoidal discretization), 회전 임베딩(RoPE), 판독(readout)을 그대로 보존한다. 학습(training)을 위해, 제안된 순환(recurrence)을 각 청크 내에서 병렬화하도록 청크 단위 연산(chunkwise computation)을 적용한다. 실험은 이산 입력을 사용하는 군 단어 문제(group word problem)와 행동 복제(behavioral cloning)로 정책을 학습하는 연속 관측 기반의 야바위 게임(shell game)을 다룬다. 고정된 타이밍에서 우수한 성능을 보여 선택된 모델(model)들 중, 제안된 모델은 타이밍 지터(timing jitter)가 있는 연속 관측 환경의 야바위 게임에서 더 긴 맞바꿈 시퀀스(swap sequence)에 대해 더 높은 추적 성공률을 유지한다. 이러한 실험들은 제안된 방법이 평가된 비가환 추적 태스크에서 높은 정확도를 달성하며 표준 Mamba-3 대비 성능을 개선함을 보여준다. 따라서 본 확장은 비가환 상태 추적을 위한 Mamba-3 기반의 접근 방식을 제공한다.

arXiv:2607.10244v1cs.LG공통 태그 Time Series, State Space Models

DSSMs: 지연 미분 방정식을 통한 명시적 메모리를 갖는 상태 공간 모델

DSSMs: State Space Models with Explicit Memory via Delay Differential Equations

상태 공간 모델(SSM)은 효율적인 장문 시퀀스 모델링을 위한 강력한 패러다임으로 부상했으며, 병렬 학습과 빠른 선형 시간 순환 추론을 제공한다. 그러나 다른 순환 아키텍처와 마찬가지로, SSM은 무한한 이력을 고정 크기 상태로 압축해야 하므로 컨텍스트 보존이 제한되고 장거리 컨텍스트에서의 정밀한 검색이 본질적으로 어렵다. 이러한 한계를 극복하기 위해, 우리는 지연 상태 공간 모델(DSSM)을 제안한다. DSSM은 지연 미분 방정식(DDE)에서 착안한 대각 SSM의 확장으로, 이산 SSM 순환에 명시적 지연 상태 피드백을 추가한다. 명시적 지연 피드백을 실용적으로 구현하려면 새로운 안정성 매개변수화, 이력 관리, FFT 학습 도구가 필요하다. 우리는 단순한 지연 독립적 안정성 조건에 기반한 실용적인 이산화 및 매개변수화를 통해 이러한 과제를 해결한다. 시간 영역 커널 직접 구성을 우회하기 위해 DSSM 전달 함수를 유도하고 주파수 영역에서 커널을 계산하며, 커널 등고선 이동을 사용하여 앨리어싱을 억제하고 정확한 FFT 학습을 복원한다. 실험적으로, DSSM은 목표 지연 검색 태스크에서 성능을 크게 향상시키는 동시에 대부분의 표준 시퀀스 지표에서 S4D를 능가하며 나머지 지표에서도 근접한 성능을 유지한다.

arXiv:2610.13357v5eess.SP공통 태그 Time Series

ECGGuard: 오류 정정 부호를 활용한 심전도 신호의 딥러닝 워터마킹

ECGGuard: Deep Watermarking of Electrocardiogram Signals With Error-Correcting Codes

웨어러블 심전도(ECG) 기록은 자동 판독에 이르기 전에 여러 네트워크와 시스템을 거치므로 환자 메타데이터가 유실되기 쉽다. 디지털 워터마킹은 이 메타데이터를 신호에 삽입할 수 있으나, 기존 방법은 시간 이동에 취약하며 파형 유사도가 높다고 해서 하류 진단이 동일하게 유지되는 것은 아니다. 본 논문은 단일 리드 ECG를 위한 딥러닝 워터마킹 프레임워크인 \rev{ECGGuard}를 제안한다. 완전 합성곱 생성기는 신호 양자화 없이 페이로드를 삽입하고, 검출기는 프레임 단위로 메시지를 복호화하며 워터마크의 존재 여부를 확인한다. 학습 중에는 고정된 부정맥 분류기가 자신의 예측을 바꾸는 변화를 억제하도록 페널티를 부과한다. 높은 비트 정확도가 전체 메시지의 복원을 보장하지 않으므로, 페이로드는 확장 해밍 부호, \rev{검증 데이터로 선택한 채널 순서}, 그리고 소프트 결정 복호화로 보호된다. MIT-BIH 부정맥 데이터베이스에서 \rev{세 번의 학습 실행을 평균했을 때 ECGGuard}는 10~50 샘플의 시간 이동에서도 비트 정확도를 \rev{98\%} 이상으로 유지하는 반면, 변환 영역 기반 기준 방법은 무작위 수준으로 떨어진다. 부호화된 16비트 페이로드는 깨끗한 구간의 \rev{99.95\%}에서 정확히 복원되며\rev{, 시간 이동, 10\% 샘플 삭제 또는 10\% 패킷 손실 조건에서도 96\% 이상}, \rev{처음 보는 피험자에 대해서는 99.1\%}에서 복원된다. \rev{가이드 역할을 하는 분류기에 대해, 진단 손실은 테스트 기록에서 심실 박동 민감도의 하락을 1.6 퍼센트포인트로 제한하고(이를 사용하지 않으면 35.0), 처음 보는 피험자에서는 12.2 포인트로 제한한다(사용하지 않으면 67.0). 독립적으로 학습된 분류기에서는 하락이 10.3 포인트로 커지며, 이 보호 효과는 외부 데이터베이스로는 전이되지 않는다.} \rev{ECGGuard}는 0.56백만 개의 파라미터를 가지며 데스크톱 CPU에서 구간당 약 \rev{19}~ms가 소요된다.

arXiv:2607.21776v2cs.LG공통 태그 Time Series

PulseGuard: 토킹페이스 딥페이크 탐지를 위한 포렌식 모달리티로서의 rPPG 기반 시간 신호

PulseGuard: rPPG-Derived Temporal Signals as a Forensic Modality for Talking-Face Deepfake Detection

토킹페이스(TF) 딥페이크 생성은 정지된 원본 이미지와 음성 신호로부터 사실적인 얼굴 영상을 합성하며, 현재의 이미지 기반 탐지기가 일관되게 식별하지 못하는 위조물을 만들어 낸다. 얼굴 교체 조작과 달리 TF 합성에는 생리적 특성을 물려받을 기반 실제 영상이 없으므로, 이 위조 범주의 탐지 모달리티로 원격 광혈류측정(rPPG)이 동기화된다. 우리는 RhythmFormer로 윈도우별 rPPG 파형을 추출하고 경량 분류기 모음을 학습시켜 실제 신호와 합성 신호를 구분하는 탐지 프레임워크 PulseGuard를 제안한다. 테스트 신원이 학습 신원과 완전히 분리된 엄격한 피험자 독립 프로토콜로 Celeb-DF++의 TF 부분집합에서 평가한 결과, 우리의 1D ResNet은 추출된 시간 신호만으로 동작하면서 EER 25.1%에서 윈도우 수준 AUC 0.826(DeepFakesON-Phys가 평가되는 단위인 영상 수준으로 풀링 시 0.842)을 달성하며, 학습에서 완전히 제외된 생성기에 대해서도 AUC 0.754를 유지한다. 우리는 대표적인 기존 rPPG 탐지기인 DeepFakesON-Phys의 통제된 재현 연구를 제시하여, 기존 얼굴 교체 데이터에서의 AUC 0.999가 Celeb-DF++의 TF 부분집합에서는 0.576으로 저하됨을 보인다. 또한 탐지 난이도가 방법에 크게 의존함을 보이는데, 일곱 개의 TF 생성기에 걸쳐 AUC는 0.937(Real3DPortrait)에서 0.617(IP-LAP)까지 분포하며, 이 순서는 방법별 학습에서도 대체로 유지된다. 이 편차는 평가 잡음이 아니라 학습 방식 전반에 걸쳐 안정적이며, 본 연구의 주된 실증적 기여이다. 우리는 이를 실증적 기준선으로 보고하며, 판별 근거가 심장 기원임을 입증하지는 않는다.

arXiv:2607.09745v2cs.AI공통 태그 Time Series

SupplyNetPy: 임의 공급망 및 재고 네트워크의 고충실도 모델링과 시뮬레이션을 위한 오픈소스 Python 라이브러리

SupplyNetPy: An Open-Source Python Library for High-Fidelity Modeling and Simulation of Arbitrary Supply Chain and Inventory Networks

본 논문은 임의의 다단계 구조를 갖는 공급망 네트워크의 모델링 및 이산 사건 시뮬레이션을 위한 오픈소스 Python 라이브러리인 SupplyNetPy를 소개한다. 이 라이브러리는 다양한 보충 정책, 부패 가능 재고, 노드(node) 장애, 확률적 수요 및 리드 타임을 지원한다. 모든 컴포넌트는 상속을 통해 확장 가능하다. 사용자는 노드와 링크 속성을 가진 그래프로 공급망을 기술하며, 라이브러리는 시뮬레이션을 처리하고 로그 및 노드·네트워크 수준의 상세 성능 보고서를 제공한다. 본 논문은 SupplyNetPy의 개발 동기, 설계, 주요 기능, 아키텍처와 함께 상세한 검증(validation) 결과(분석적 벤치마크, 상용 도구, 발표된 사례 연구와의 비교)를 제시한다. SupplyNetPy 개발의 핵심 동기는 복잡한 모델의 프로그래밍 방식 생성 및 시뮬레이션으로, 설계 공간 탐험(exploration), 가상 시나리오 분석, 학습(training) 데이터 생성, 공급망 디지털 트윈을 가능하게 하는 데 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.