arXiv:2004.07623

Recognizing Long Grammatical Sequences Using Recurrent Networks Augmented With An External Differentiable Stack

Ankur Mali, Alexander Ororbia, Daniel Kifer, Clyde Lee Giles

제출 2020-04-04

원문 초록

Recurrent neural networks (RNNs) are a widely used deep architecture for sequence modeling, generation, and prediction. Despite success in applications such as machine translation and voice recognition, these stateful models have several critical shortcomings. Specifically, RNNs generalize poorly over very long sequences, which limits their applicability to many important temporal processing and time series forecasting problems. For example, RNNs struggle in recognizing complex context free languages (CFLs), never reaching 100% accuracy on training. One way to address these shortcomings is to couple an RNN with an external, differentiable memory structure, such as a stack. However, differentiable memories in prior work have neither been extensively studied on CFLs nor tested on sequences longer than those seen in training. The few efforts that have studied them have shown that continuous differentiable memory structures yield poor generalization for complex CFLs, making the RNN less interpretable. In this paper, we improve the memory-augmented RNN with important architectural and state updating mechanisms that ensure that the model learns to properly balance the use of its latent states with external memory. Our improved RNN models exhibit better generalization performance and are able to classify long strings generated by complex hierarchical context free grammars (CFGs). We evaluate our models on CGGs, including the Dyck languages, as well as on the Penn Treebank language modelling task, and achieve stable, robust performance across these benchmarks. Furthermore, we show that only our memory-augmented networks are capable of retaining memory for a longer duration up to strings of length 160.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15760v1cs.LG공통 태그 Time Series Analysis, Time Series Forecasting

학습 가능한 분해 및 다양체 역학을 활용한 쌍곡 시계열 예측

Hyperbolic Time Series Forecasting with Learnable Decomposition and Manifold Dynamics

다중 스케일(multiscale) 구조는 시계열 예측의 핵심입니다. 시간 신호는 천천히 변화하는 트렌드, 중간 수준의 계절적 패턴, 그리고 고주파수 잔차를 포함합니다. 기존 예측 모델은 이러한 다중 스케일 구조를 유클리드 공간에서 모델링하여, 구성 요소들 사이에 유도되는 순서를 표현하지 못합니다. 본 연구에서는 종속 분해(cascaded decomposition)가 구성 요소들을 고유 주파수에 따라 정렬하여 자연스러운 주파수 계층을 형성함을 확인했습니다. 이 계층 구조는 반경에 따라 표현 용량이 증가하고 중첩된 계층 구조를 자연스럽게 수용하는 쌍곡 공간(hyperbolic space)의 지수적 부피 증가 특성과 잘 부합합니다. 이에 따라 본 연구에서는 쌍곡 공간에서 작동하는 최초의 장기 시계열 예측(LTSF) 프레임워크인 HyperForecast를 제안합니다. HyperForecast는 원점 근처의 저주파수 성분부터 경계 근처의 고주파수 성분에 이르기까지 반지름 거리가 이러한 중첩 구조를 포착하도록, 분해된 시간 구간을 푸앵카레 공(Poincaré ball) 위에 임베딩합니다. 또한 측지선 속도(geodesic velocity)를 두 가지 다양체 역학(manifold dynamics) 변형을 통해 모델링합니다: (a) 푸앵카레 잔차 역학을 통한 자기회귀 예측, (b) 모든 미래 구간을 병렬로 예측하는 비자기회귀 예측입니다. HyperForecast는 11개 장기 예측 벤치마크 중 9개에서 기존 및 최고 수준(SOTA)의 베이스라인 모델을 일관되게 능가하며, 긴 예측 구간에서 평균 제곱 오차(MSE)를 최대 58%까지 낮췄습니다. 추가 분석을 통해 학습된 반경 임베딩이 주파수 계층을 성공적으로 복원하며, 쌍곡 기하학이 예측 성능에 실질적으로 기여함을 밝혔습니다.

arXiv:2610.13676v1cs.LG공통 태그 Time Series Analysis, Time Series Forecasting

공변량 기반 시계열 파운데이션 모델에서의 캘린더 특성 인코딩에 관하여

On the Encoding of Calendar Features in Covariate-Informed Time Series Foundation Models

시계열 파운데이션 모델(TSFM)은 점점 더 공변량 지원을 제공하고 있으며, 캘린더 정보는 모든 시점에서 이용 가능하다는 점에서 실제로 가장 흔한 유형의 범주형 공변량이다. 그러나 이러한 특성이 어떻게 인코딩되는지는 사전학습된 모델이 추론 시점에 남겨둔 몇 가지 설계 선택 중 하나임에도 불구하고, 연구 대상이 아니라 구현상의 세부사항으로 취급되는 경우가 많다. 본 연구에서는 정보가 모델에 전달되는 방식이 TSFM의 예측 정확도에 상당한 영향을 미친다는 것을 보인다. 이를 위해 우리는 세 가지 전통적인 타겟 비의존적(target-agnostic) 표현(순서형, 원-핫, 주기형)과 네 가지 타겟 인코딩을 포함한 일곱 가지 캘린더 인코딩을, 여러 도메인의 9개 데이터셋에 대해 네 가지 최신 TSFM을 대상으로 제로샷 롤링 평가에서 체계적으로 비교한다. 이 9개 데이터셋은 주말과 공휴일과 같은 사회적 활동의 영향을 받으므로, 캘린더 정보가 예측에 특히 중요하다. 우리는 인코딩 선택이 모든 모델에서 예측 정확도에 영향을 미치며, 단일 모델 내에서 비공휴일에는 최대 9.9%, 공휴일에는 최대 83%의 MASE 차이가 발생함을 확인했다. 효과와 활용도는 모델 간에 상당히 다르다. 개선은 주로 공휴일 주변에 집중되는데, 이는 캘린더 정보가 타겟 이력(target history)으로부터는 얻을 수 없는 신호를 제공하기 때문이며, 일부 모델-인코딩 조합은 비공휴일 예측도 개선시킨다. SHAP 기반 기여도 분석은 자기회귀 성분에 대한 공변량의 기여를 규명하고, 일부 모델-인코딩 조합이 성능을 저하시키는 이유를 설명한다. 우리의 연구 결과는 공변량 기반 TSFM을 위한 현재의 벤치마크가 고정된 인코딩 전략을 강제함으로써 모델 비교를 왜곡할 수 있음을 시사한다.

arXiv:2609.07756v2cs.LG공통 태그 Language Modelling, Time Series Forecasting

관성 가둠 핵융합 예측을 위한 분해 유도 확산 언어 모델

Decomposition-Guided Diffusion Language Models for Inertial Confinement Fusion Prediction

관성 가둠 핵융합(ICF)은 청정에너지를 향한 유력한 경로이지만, 국립점화시설(National Ignition Facility)에서의 샷(shot)당 비용이 수백만 달러에 달하여 정확한 AI 대리 모델(surrogate) 개발은 가치가 매우 높은 목표입니다. 본 논문에서는 과거 반응 관측 없이 레이저 펄스와 타깃 설계 파라미터로부터 512단계의 중성자 발생률 진단을 직접 추론해야 하는 외생 변수 기반 ICF 파형(waveform) 예측을 연구합니다. 이러한 체계는 시간적 희소성(sparsity, 나노초 단위 윈도우 내 피코초 단위 피크), 입출력 스케일 불일치(300회 미만의 실제 샷), 피크 민감도(피코초 단위 타이밍)로 인해 기존 시계열 예측 모델에 큰 부담을 줍니다. 이에 본 연구는 우리가 아는 한 최초의 언어 모델 기반 ICF 예측기인 ICF-DLM을 제안합니다. 이 모델은 (i) 수율 $Y_{DT}$, 피크 타이밍 $t_{\mathrm{peak}}$, 국소 파형 $w_{\mathrm{local}}$로의 물리 유형화된 분해, (ii) 피크 위치에 대한 결정을 유예하는 양방향 노이즈 제거(denoising), (iii) 숫자 토큰 전반에 걸쳐 메트릭 구조를 재주입하는 물리 기반 PPO 보상(reward)을 결합합니다. ICFBench(5만 개 시뮬레이션 + 232개 실험 샷)에서 ICF-DLM은 동일 조건의 자기회귀 LLaMA-3-8B 대비 피크 타이밍 오차를 11.6스텝에서 9.2스텝으로 줄였으며, 기존 시퀀스 모델 및 LLM 기반 시계열 예측 모델보다 우수한 성능을 보였습니다. ICF를 넘어, 본 방법론은 데이터가 적고 희소한 이벤트가 발생하는 과학 분야 문제를 해결할 잠재력을 보여줍니다.

arXiv:2609.27867v1cs.LG공통 태그 Time Series Analysis, Time Series Forecasting

평가 선택이 예측 리더보드를 결정한다: 실제 운영 마켓플레이스 패널로부터의 증거

Evaluation Choices Decide the Forecasting Leaderboard: Evidence from a Production Marketplace Panel

예측 벤치마크는 어떤 방법이 이겼는지를 보고한다. 우리는 그 답이 모델을 학습하기도 전에 평가자의 선택에 의해 정해진다는 점을 보인다. 우리는 2025년대의 시계열 파운데이션 모델(time series foundation model) 6종을 포함한 24가지 예측 방법과 교과서적 기준 방법 하나를, 67개월에 걸친 1,887개 기업 고객으로 구성된 실제 운영 마켓플레이스 패널에서 벤치마크한다. 데이터, 예측 구간(horizon), 기간은 고정하고 평가 설계만 변화시킨다. 세 가지 선택은 각각 핵심 결론을 뒤집거나 무효화한다. 분석 단위를 시장 전체에서 개별 고객으로 바꾸면, 우리의 운영 기준선(baseline)은 19개 중 2위이며 어떤 방법에도 지지 않던 상태에서 25개 중 23위로 이동한다. 이 경우 24개 도전 방법 중 19개가 기준선을 능가한다. 오차를 얼마나 풀링(pooling)하는지에 따라 Diebold-Mariano 검정이 무언가를 발견하는지 여부 자체가 달라진다. 점 예측 대신 예측 구간을 평가하면 순위가 거의 완전히 뒤바뀌며, 간헐적 수요(intermittent demand)에서 순위 상관은 0.02이다. 이어서 실제 배포된 시스템이 이로부터 무엇을 얻는지 측정한다. 이 시스템의 선택 규칙은 아무것도 하지 않는 경우와 사후적 이점(hindsight)을 활용해 선택하는 경우 사이의 거리 중 55%를 확보한다. 이러한 순위 역전은 우리 데이터만의 특이한 현상이 아니다. 우리는 공개된 프로토콜을 수정 없이 공개 M5 소매 패널에서 실행했다. 동일한 형태의 기준선은 시장 전체 수준에서는 1위, 시계열별 수준에서는 모든 방법에 뒤지는 꼴찌를 기록하며, 재현 실행한 선택 규칙은 그곳에서 동일한 하한-상한 간 거리의 64.7%를 메운다. 그 후보군에 제로샷(zero-shot) 파운데이션 모델 5종을 추가하면 전체 수준의 우승자는 바뀌지만 이러한 양상은 바뀌지 않는다. 예측 구간의 사각지대 역시 그대로 나타나, 컨포멀(conformal) 구간은 가장 변동이 심한 품목에서 커버리지가 가장 크게 부족하다. 우리 패널을 점점 더 작은 그룹으로 나누면 이 대비는 하나의 곡선이 되며, 세분화 수준이 높아질 때마다 기준선의 순위는 악화된다. 우리는 평가 프로토콜을 공개하며, 발견하기 전까지 결과를 뒤집어 놓았던 우리 자신의 오류도 함께 보고한다.

arXiv:2609.27877v1nlin.CD공통 태그 Time Series Analysis, Time Series Forecasting

혼돈 역학에서 극한 사건의 예측 지평에 걸친 잡음 유발 예측가능성 재분배

Noise-Induced Predictability Redistribution Across Forecast Horizons of Extreme Events in Chaotic Dynamics

혼돈 역학에서 극한 사건(EE)은 드물게 나타나는 넓은 이탈 excursion이며, 동역학적 잡음에 의해 그 예측 가능성이 달라질 수 있다. 우리는 3차 자율 혼돈 유동에서 잡음이 예측 지평에 걸쳐 EE 발생과 예측 성능을 어떻게 바꾸는지 조사한다. 모든 realization에 대해 단일 clean-data 임계값을 고정하고, broad event는 excursion당 하나의 maximum으로 정의하며, 시간순 데이터 분리를 적용한 HistGradientBoosting으로 15 time unit 이력으로부터 미래 윈도우 W=15를 예측한다. 관측 이력과 미래 사건 윈도우 사이의 예측 간격 G가 커질수록 clean Matthews correlation coefficient(MCC)는 G=0에서 0.641에서 G=15에서 0.165로 감소한다. 잡음 의존성은 8개 진폭에서 10개의 paired realization으로 평가한다. 평균 단기 지평 점수는 clean data에서 0.456에서 sigma=0.007에서 0.546으로 증가하며, paired gain은 0.0895(95% CI 0.0494-0.1295; Holm-adjusted p=0.0234)이다. 잡음은 EE 발생을 크게 증가시키는 반면 사건 amplitude와 width는 비교적 안정적으로 유지된다. 잡음 수준별 양성 학습(training) 샘플 수를 균등화하면 단기 지평 이득이 상당히 약해지고, 강한 잡음은 중기 지평 예측 성능을 낮춘다. 우리는 예측 성능의 이러한 지평 의존적·비균일한 변화를 잡음 유발 예측가능성 재분배(noise-induced predictability redistribution, NIPR)라고 부른다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.