한국어 초록
시계열 파운데이션 모델(Time Series Foundation Models, TSFMs)은 수치 예측에는 뛰어나지만, 정성적 추론이 부족한 블랙박스로 작동합니다. 반대로, LLM을 시계열 데이터에 직접 적용하면 모달리티 간 격차가 생깁니다. 텍스트 토크나이저가 연속적인 수치 값을 분절하면서 수학적 관계가 약화되고 시퀀스 길이가 급증해 계산 오버헤드가 커집니다. 이러한 문제를 해결하기 위해, 우리는 STRIDE(증류된 임베딩을 통해 주입된 전략적 시계열 추론, Strategic Time-series Reasoning Injected via Distilled Embeddings)를 제안합니다. 이는 LLM의 추론을 TSFM의 연속 임베딩 공간에 네이티브하게 통합하는 새로운 프레임워크입니다. STRIDE는 이산 토큰 대신 추론 흔적을 경량 LLM으로 증류하고, 그 평균 풀링된 은닉 상태를 동적으로 대상 수치 인코더에 대한 교차모달 사전지식으로 투영합니다. 이 아키텍처는 교차 엔트로피 손실과 분위수 손실을 함께 사용해 공동 최적화됩니다. 평가 결과, STRIDE는 TSFM들과 비교했을 때 GIFT-Eval에서 최고 수준의 수치 예측 성능(0.674 MASE, 0.454 CRPS)을 달성했으며, TFRBench에서는 도메인 내 및 도메인 외 수치 성능과 추론 성능 모두에서 더 뛰어난 성능을 보였습니다. 특히 STRIDE는 플러그 앤 플레이 방식의 향상 기법으로 작동하여, 다양한 LLM 구성 전반에서 Chronos-2, Timer-S1과 같은 여러 TSFM의 성능을 일관되게 개선합니다. 따라서 의미론적 추론을 연속적인 사전지식으로 주입하면 TSFM에 사람이 해석할 수 있는 추론 능력을 부여하는 동시에 예측 정확도를 근본적으로 향상시킬 수 있습니다.
요약
시계열 예측 분야에서는 높은 수치 정확도를 제공하는 시계열 파운데이션 모델(Time Series Foundation Models, TSFMs)이 빠르게 발전해 왔지만, 예측 결과가 왜 그렇게 나왔는지에 대한 질적 추론과 설명 가능성은 여전히 충분히 확보되지 못했습니다. 반면 대규모 언어 모델(Large Language Models, LLMs)은 풍부한 추론 능력을 갖추고 있으나, 연속적인 시계열 값을 그대로 다루면 토크나이저가 수치를 잘게 분절하면서 수학적 관계가 훼손되고 시퀀스 길이가 과도하게 늘어나는 문제가 발생합니다. 이러한 한계를 해결하기 위해 STRIDE(Strategic Time-series Reasoning Injected via Distilled Embeddings)는 LLM의 추론 능력을 이산 토큰이 아니라 연속 임베딩 공간으로 주입하는 새로운 학습 프레임워크를 제안합니다. 핵심 아이디어는 추론 흔적(reasoning traces)을 경량 LLM으로 증류한 뒤, 평균 풀링된 은닉 상태(mean-pooled hidden states)를 목표 시계열 인코더에 대한 교차모달 사전(cross-modal prior)으로 동적으로 투영하는 것입니다. 이를 통해 언어적 추론을 단순한 설명 텍스트로 소비하는 대신, 실제 예측 모델이 활용할 수 있는 표현적 신호로 변환합니다. 이 접근의 중요한 장점은 시계열과 언어 사이의 모달리티 간 간극(modality gap)을 줄이면서도, 기존 TSFM의 연속 표현 체계를 해치지 않는다는 점입니다. 특히 STRIDE는 Chronos-2.0이나 Timer-S1과 같은 다양한 시계열 파운데이션 모델에 플러그앤플레이 방식으로 결합될 수 있어, 모델 구조를 크게 변경하지 않고도 추론 정보를 주입할 수 있습니다. 학습 과정에서는 교차 엔트로피 손실(cross-entropy loss)과 분위수 손실(quantile loss)을 공동으로 최적화하여, 추론 표현의 안정성과 수치 예측의 분포적 정확성을 동시에 확보합니다. 이러한 설계는 단순히 언어모델을 보조적으로 사용하는 수준을 넘어, 예측 인코더 내부의 잠재표현 자체를 개선하는 방향으로 기능합니다. 다시 말해, STRIDE는 언어적 reasoning을 시계열 예측의 외부 설명으로 두는 것이 아니라, 예측 성능을 직접 끌어올리는 구조적 사전으로 통합합니다. 실험 결과는 이러한 설계의 타당성을 분명하게 뒷받침합니다. GIFT-Eval에서 STRIDE는 0.674 MASE와 0.454 CRPS를 기록하며 기존 TSFM 계열보다 우수한 정량 성능을 보였고, TFRBench에서도 in-domain과 out-of-domain 모두에서 강한 예측력을 입증했습니다. 특히 in-domain 평가에서는 다섯 데이터셋 전체에서 평균 MASE 0.615를 달성해 Chronos-2.0의 0.708보다 개선되었으며, out-of-domain에서도 평균 MASE 0.724로 0.778보다 낮은 값을 기록해 분포 이동 상황에서도 견고한 일반화 가능성을 보여주었습니다. 개별 데이터셋 수준에서는 일부 반례가 존재하지만, 전반적으로는 다양한 도메인에서 일관된 향상을 제공한다는 점이 중요합니다. 이러한 결과는 단순히 더 큰 LLM을 사용하는 것이 아니라, 추론 정보를 연속 임베딩으로 정교하게 증류해 주입하는 방식이 성능 향상의 핵심임을 시사합니다. 무엇보다도 이 연구는 해석 가능성과 예측 정확도를 상충하는 목표로 보지 않고, 하나의 통합된 프레임워크 안에서 함께 다루었다는 점에서 의미가 큽니다. STRIDE는 인간이 이해할 수 있는 추론 구조를 유지하면서도, 시계열 모델이 실제로 활용할 수 있는 표현적 prior로 변환함으로써, 설명 가능한 예측과 고정밀 예측 사이의 간극을 좁힙니다. 따라서 이 방법은 시계열 예측에서 reasoning-aware training이 실제로 유효한 개선 축이 될 수 있음을 보여주는 실용적인 제안으로 평가할 수 있습니다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.