On Tuning Neural ODE for Stability, Consistency and Faster Convergence
원문 초록
Neural-ODE parameterize a differential equation using continuous depth neural network and solve it using numerical ODE-integrator. These models offer a constant memory cost compared to models with discrete sequence of hidden layers in which memory cost increases linearly with the number of layers. In addition to memory efficiency, other benefits of neural-ode include adaptability of evaluation approach to input, and flexibility to choose numerical precision or fast training. However, despite having all these benefits, it still has some limitations. We identify the ODE-integrator (also called ODE-solver) as the weakest link in the chain as it may have stability, consistency and convergence (CCS) issues and may suffer from slower convergence or may not converge at all. We propose a first-order Nesterov's accelerated gradient (NAG) based ODE-solver which is proven to be tuned vis-a-vis CCS conditions. We empirically demonstrate the efficacy of our approach by training faster, while achieving better or comparable performance against neural-ode employing other fixed-step explicit ODE-solvers as well discrete depth models such as ResNet in three different tasks including supervised classification, density estimation, and time-series modelling.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
DYSANOS: 동적이고 매끄러우며 차익거래가 없는 비모수적 생성 옵션 표면
DYSANOS Generative Dynamic Smooth Arbitrage-free Non-parametric Option Surfaces
본 논문은 정적 차익거래(static arbitrage)가 없으며 모든 행사가격과 만기에 대해 매끄러운 SANOS 옵션 표면을 생성하는 최초의 시장 모델(market model)인 DYSANOS를 제시합니다. 본 모델은 향후 수년간의 일별 기초자산 가격과 옵션 가격의 전체 경로를 생성하도록 설계되었습니다. 저자들은 다소 단순할 수 있지만 견고하고 유용한 기준선(baseline)으로서 AR(1) 형태의 모델을 제시합니다. 모델 설정, 데이터 파이프라인 및 학습을 논의하고 시장 재구성, 안정성, 꼬리 위험(tail behavior) 특성을 조사합니다. 2022년 1월 3일부터 2025년 8월 29일까지의 Option Metrics IvyDB S&P Index 표면 891개에 대한 모델 성능을 실증합니다. 또한 위험중립밀도(risk-neutral density)를 수치적으로 구성하는 방법을 제시합니다. 그 일환으로 주어진 측도 하에서 조건부 평균이 0인지 확인하는 새로운 검정법을 개발합니다. 100,000개의 시뮬레이션 경로에 대해 48개 옵션과 기초자산으로 구성된 거래 유니버스가 수치적으로 동적 차익거래가 없음을 보여줍니다.
일반화된 랑주뱅 역학을 위한 메모리 조건부 확산 모델
Memory-Conditioned Diffusion Model for Generalized Langevin Dynamics
일반화된 랑주뱅 방정식(Generalized Langevin equation)은 분해된 변수(resolved variable)의 진화가 과거에 의존하는 비마르코프 역학(non-Markovian dynamics)을 설명합니다. 본 연구에서는 메모리 커널(memory kernel)을 식별하거나 미분해 변수(unresolved variable)를 재구성하지 않고도, 관측된 궤적으로부터 이러한 역학의 확률적 흐름 맵(stochastic flow map)을 학습하기 위한 메모리 조건부 확산 기법을 제안합니다. 컴팩트하고 재귀적으로 업데이트되는 지수 필터 뱅크(bank of exponential filters)를 통해 흐름 맵은 긴 관측 윈도우에 조건을 부여하지 않고도 여러 시간 척도에 걸쳐 예측 이력을 유지할 수 있습니다. 다음 단계 분포는 현재 관측값과 이 메모리 상태를 조건으로 하며, 고정된 뱅크 크기에서 메모리 상태의 저장 및 업데이트 비용은 이력 길이와 무관합니다. 예측 기준을 통해 메모리 예산을 결정하고 벡터 벤치마크에서는 참조 지원 선택을 활용하며, 선택적 선형 투영을 통해 조건부 차원을 더욱 축소합니다. 커널 기반 스코어 추정기는 스코어 네트워크를 학습(training)시키지 않고도 조건부 샘플을 생성하며, 이 샘플들은 자기회귀 시뮬레이션을 위한 신경 흐름 맵을 학습하는 데 사용됩니다. 세 가지 수치 예제를 통해 작은 조건부 차원에서의 긴 메모리 유지력, 결합된 벡터 역학에서의 예측 압축, 비가우스 조건부 분포 및 간헐적 이벤트를 평가(evaluation)합니다. 비가우스 예제는 플라스마 스크레이프-오프 층(plasma scrape-off layer)의 확률적 모델에서 조건부 비대칭성과 버스트 통계를 재현합니다.
VAIOM: 연속 입력·이산 출력 디코더 전용 금융 시퀀스 모델링
VAIOM: Continuous-Input, Discrete-Output Decoder-Only Financial Sequence Modeling
금융 관측값은 연속적이고 이질적이며 노이즈가 많은 반면, 디코더 전용 next-token 모델은 보통 이산적 기호 입력을 중심으로 구축된다. 우리는 1시간 외환 바에서 다음 수익률의 확률적 모델링을 위한 디코더 전용 트랜스포머인 순서형 수익률 모델링을 위한 벡터 입력 자회귀 추론(Vector-Input Autoregressive Inference for Ordinal-Return Modeling, VAIOM)을 제안한다. VAIOM은 입력 표현과 출력 가능도를 분리한다. 연속 다변량 금융 이벤트 벡터는 입력에서 수치 구조를 보존하고, 다음 변동성 정규화 수익률 버킷에 대한 범주형 분포는 교차 엔트로피 학습과 가능도 평가를 지원한다. 선별된 0.9M Hybrid Continuous Input 모델은 연속 이벤트 특징과 범주형 자산 메타데이터, Mixture-of-Market-States 수익률 헤드, Gap·변동성 체제·Ordinal 보조 목적 함수, 및 전체 시퀀스 지도 학습을 결합한다. 모델과 전처리는 2024년 이전 Train 데이터로 적합되며, 모델은 2024H2 Validation에서 선택되고 두 2025 Test 기간에서 재적합 없이 평가된다. 세 개의 독립적 학습 시드에 걸쳐 모든 모델은 두 Test 반기 모두에서 고정 단일 바 LightGBM 기준선을 능가한다. 표준 체크포인트에서 LightGBM 대비 쌍(pair) 이득은 이벤트당 0.029 및 0.043비트이다. 검증 실험은 동일한 범주형 수익률 목적 함수 하에서 연속 입력이 이산 토큰 입력보다 우수하고, 전체 시퀀스 지도 학습이 마지막 위치 학습보다 우수하며, 통제된 비교에서 보조 표현 형성과 혼합 구조화 수익률 헤드가 수익률 가능도를 향상시킴을 보여준다. 뒷받침 용량 연구는 현재 코퍼스에서 평가된 가장 작은 완전 아키텍처 단계가 가장 높은 검증 가능도를 달성함을 밝힌다.
Diachronic Sample Integration: Robust Tail-Risk Estimation with Generative Models
A Better Alternative to Piecewise Linear Time Series Segmentation
ECGGuard: 오류 정정 부호를 활용한 심전도 신호의 딥러닝 워터마킹
ECGGuard: Deep Watermarking of Electrocardiogram Signals With Error-Correcting Codes
웨어러블 심전도(ECG) 기록은 자동 판독에 이르기 전에 여러 네트워크와 시스템을 거치므로 환자 메타데이터가 유실되기 쉽다. 디지털 워터마킹은 이 메타데이터를 신호에 삽입할 수 있으나, 기존 방법은 시간 이동에 취약하며 파형 유사도가 높다고 해서 하류 진단이 동일하게 유지되는 것은 아니다. 본 논문은 단일 리드 ECG를 위한 딥러닝 워터마킹 프레임워크인 \rev{ECGGuard}를 제안한다. 완전 합성곱 생성기는 신호 양자화 없이 페이로드를 삽입하고, 검출기는 프레임 단위로 메시지를 복호화하며 워터마크의 존재 여부를 확인한다. 학습 중에는 고정된 부정맥 분류기가 자신의 예측을 바꾸는 변화를 억제하도록 페널티를 부과한다. 높은 비트 정확도가 전체 메시지의 복원을 보장하지 않으므로, 페이로드는 확장 해밍 부호, \rev{검증 데이터로 선택한 채널 순서}, 그리고 소프트 결정 복호화로 보호된다. MIT-BIH 부정맥 데이터베이스에서 \rev{세 번의 학습 실행을 평균했을 때 ECGGuard}는 10~50 샘플의 시간 이동에서도 비트 정확도를 \rev{98\%} 이상으로 유지하는 반면, 변환 영역 기반 기준 방법은 무작위 수준으로 떨어진다. 부호화된 16비트 페이로드는 깨끗한 구간의 \rev{99.95\%}에서 정확히 복원되며\rev{, 시간 이동, 10\% 샘플 삭제 또는 10\% 패킷 손실 조건에서도 96\% 이상}, \rev{처음 보는 피험자에 대해서는 99.1\%}에서 복원된다. \rev{가이드 역할을 하는 분류기에 대해, 진단 손실은 테스트 기록에서 심실 박동 민감도의 하락을 1.6 퍼센트포인트로 제한하고(이를 사용하지 않으면 35.0), 처음 보는 피험자에서는 12.2 포인트로 제한한다(사용하지 않으면 67.0). 독립적으로 학습된 분류기에서는 하락이 10.3 포인트로 커지며, 이 보호 효과는 외부 데이터베이스로는 전이되지 않는다.} \rev{ECGGuard}는 0.56백만 개의 파라미터를 가지며 데스크톱 CPU에서 구간당 약 \rev{19}~ms가 소요된다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.