스펙트럼 신뢰성을 통한 동적 시스템 학습에서의 잠재 차원 스케일링 이해
Understanding Latent-Dimension Scaling in Dynamical-System Learning through Spectral Reliability
한국어 초록
심층 학습(deep learning)에서 근사 이론은 표현 크기를 늘리는 동기가 됩니다. 본 연구에서는 이러한 이점이 자기회귀 예측을 통한 역학(dynamics) 학습에도 확장되는지 질문을 던집니다. 우리는 쿠프만 연산자(Koopman operator)의 고유구조(eigenstructure)를 통해 학습된 시간 변화를 분석하며, 1단계 예측 오차가 감소하더라도 발생하는 가짜 고유쌍(spurious eigenpair)을 탐지하기 위해 상대 잔차(relative residual)를 사용합니다. 유계 쿠프만 연산자에 대해, 학습된 딕셔너리 공간이 관측 가능 공간을 $L^2$에서 근사함에 따라 해당 공간에서의 최소 잔차가 전체 공간의 잔차로 점별 수렴함을 보입니다. 우리의 가설은 쿠프만 스펙트럼 신뢰성이 차원 증가에 따라 롤아웃(rollout) 오차가 얼마나 일관되게 감소하는지 설명하는 데 도움이 된다는 것입니다. 우리는 잠재 예측 손실(잠재 좌표계에서의 1단계 예측 오차) 또는 스펙트럼 잔차 손실(후보 고유쌍의 상대 잔차)을 사용하여 재구성 및 잠재 시간 변화에 대해 번갈아 학습된 공유 쿠프만 오토인코더의 두 모델을 비교합니다. 6개의 혼돈 시스템 전반에서, 두 모델 모두 최소 차원에서 최대 차원으로 갈수록 윈도우 롤아웃 오차의 중앙값을 감소시켰습니다. 스펙트럼 잔차 모델은 모든 시스템 및 차원에서 잠재 예측 모델보다 더 낮은 중앙값을 달성했으며, 모든 시스템에서 그 중앙값이 더 큰 비율로 감소했습니다. 스펙트럼 잔차 모델의 중앙값은 4개 시스템에서 차원에 따라 단조 감소한 반면, 잠재 예측 모델은 1개 시스템에 그쳤습니다. 4개의 기준선(baseline) 군과 비교했을 때, 스펙트럼 잔차 모델의 평균 유효 예측 시간은 거의 항상 더 길었습니다. 2단계 학습의 최대 차원에서 각 학습된 딕셔너리의 잔차 등고선과 고유값 위치를 비교했습니다. 스펙트럼 잔차 고유값은 잔차가 낮은 영역에 집중된 반면, 잠재 예측 고유값은 잔차가 높은 영역에도 나타나 가설과 일치함을 확인했습니다.
원문 초록
In deep learning, approximation theory motivates increasing representation size. We ask whether this benefit extends to dynamics learning through autoregressive prediction. We analyze the learned time evolution through the eigenstructure of Koopman operators, using relative residuals to detect spurious eigenpairs arising even as one-step error falls. For bounded Koopman operators, we show that minimal residuals over learned dictionary spaces converge pointwise to their full-space counterparts as these spaces approximate the observable space in $L^2$. Our hypothesis is that Koopman spectral reliability helps explain how consistently rollout error decreases with increasing dimension. We compare two models of a shared Koopman autoencoder trained alternately for reconstruction and latent evolution, using latent-prediction loss (one-step prediction errors in latent coordinates) or spectral-residual loss (relative residuals of candidate eigenpairs). Across six chaotic systems, both models reduced median windowed rollout error from smallest to largest dimension. The spectral-residual model achieved lower medians than the latent-prediction model for all systems and dimensions, and its median fell by a larger factor in every system. Its median decreased monotonically with dimension in four systems, against one for latent prediction. Against four baseline families, its mean valid prediction times were nearly always longer. At the largest dimension under two-stage training, we compared eigenvalue positions with each learned dictionary's residual contours. Spectral-residual eigenvalues concentrated in low-residual regions, whereas latent-prediction eigenvalues also appeared in high-residual regions, consistent with the hypothesis.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.