arXiv:2404.11757

Language Models Still Struggle to Zero-shot Reason about Time Series

Mike A. Merrill, Mingtian Tan, Vinayak Gupta, Tom Hartvigsen, Tim Althoff

제출 2024-04-17

원문 초록

Time series are critical for decision-making in fields like finance and healthcare. Their importance has driven a recent influx of works passing time series into language models, leading to non-trivial forecasting on some datasets. But it remains unknown whether non-trivial forecasting implies that language models can reason about time series. To address this gap, we generate a first-of-its-kind evaluation framework for time series reasoning, including formal tasks and a corresponding dataset of multi-scale time series paired with text captions across ten domains. Using these data, we probe whether language models achieve three forms of reasoning: (1) Etiological Reasoning - given an input time series, can the language model identify the scenario that most likely created it? (2) Question Answering - can a language model answer factual questions about time series? (3) Context-Aided Forecasting - does highly relevant textual context improve a language model's time series forecasts? We find that otherwise highly-capable language models demonstrate surprisingly limited time series reasoning: they score marginally above random on etiological and question answering tasks (up to 30 percentage points worse than humans) and show modest success in using context to improve forecasting. These weakness showcase that time series reasoning is an impactful, yet deeply underdeveloped direction for language model research. We also make our datasets and code public at to support further research in this direction at https://github.com/behavioral-data/TSandLanguage

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13722v1cs.CL공통 태그 Question Answering, Language Modeling

지식 그래프 기반 멀티태스크 사전학습을 통한 사전학습 언어 모델의 법률 추론 능력 향상

Enhancing Legal Reasoning in Pre-trained Language Models via Knowledge Graph-Guided Multi-Task Pre-training

법률 언어 이해는 반정형 규제 문서에 대한 추론을 요구하지만, 표준 사전학습(pre-training) 목표는 이러한 구조적 역량을 명시적으로 겨냥하지 않습니다. 현재의 법률 언어 모델은 마스크 언어 모델링에만 의존하기 때문에, 법령 텍스트를 단순한 평면 토큰(token) 시퀀스로 취급하고 그 이면에 있는 계층적 제약 조건을 무시합니다. 이러한 격차를 해소하기 위해 본 연구에서는 독일 도로교통법(StVO)을 대상으로 한 멀티태스크 사전학습 방식을 제시합니다. 우리의 접근법은 다음 문장 예측(NSP), 지식 그래프(KG) 기반 클러스터링(CLU), 그리고 지식 그래프 인식 단락 분류(CLS)라는 세 가지 상호보완적인 목표를 결합합니다. 이 접근법은 구조화된 법률 지식을 모델 가중치에 직접 명시적으로 인코딩합니다. 이러한 인코딩을 통해 추론(inference) 시점에 제로샷(zero-shot) 법률 추론이 가능해지며 이산적인 그래프 순회의 필요성을 없앱니다. 우리는 9개의 트랜스포머(Transformer) 기반 인코더와 324회의 실험적 실행을 통해 제안 방식을 평가합니다. 합성 StVO 질의응답에서 본 연구의 모델은 베이스라인 대비 10.3%에서 155.0% 사이의 일관된 상대적 성능 향상을 보여줍니다. 나아가 기존에 확립된 LexGLUE 베이스라인(Chalkidis et al., 2022)과 비교하여 7개 법률 벤치마크 중 4개에서 이전 결과를 개선합니다. 또한 오스트리아 운전 규정에 대해서도 3.4%에서 15.8% 사이의 일관된 제로샷 전이 이득을 달성합니다. 이러한 실험 결과는 우리의 학습(training) 방식이 초기 학습 법률 도메인을 넘어 성공적으로 일반화됨을 나타냅니다.

arXiv:2609.40265v2cs.LG공통 태그 Language Modeling, Time Series

OpenTSLM TeeMoE: 시계열 예측, 문맥 조건부 예측 및 추론을 위한 통합 시계열 언어 모델

OpenTSLM TeeMoE: A Unified Time-Series Language Model for Forecasting, Contextual Prediction, and Reasoning

실제 환경의 시계열 애플리케이션에서는 시계열 예측, 문맥 조건부 예측, 그리고 언어 기반의 시간적 추론을 모두 처리할 수 있는 모델이 점점 더 많이 요구되고 있습니다. 그러나 현재의 시계열 파운데이션 모델들은 이러한 역량 전반에 걸쳐 여전히 파편화되어 있습니다. 수치 특화 모델은 흔히 가장 강력한 예측 성능을 제공하는 반면, 언어 기반 모델은 더 넓은 문맥 이해와 분석 기능을 제공합니다. 핵심 과제는 이러한 이종의 역량들을 각각의 성능 저하 없이 하나로 통합하는 것입니다. 본 논문에서는 관측된 시계열로부터 직접 예측을 수행하고, 텍스트 문맥과 시간적 패턴에 걸쳐 추론하며, 외부 수치 예측 전문 모델들의 예측값을 종합 및 정제할 수 있는 범용 시계열 언어 모델인 OpenTSLM TeeMoE를 소개합니다. 우리는 공유 백본 상에서 예측 종합, 자체 예측, 시간적 분석을 위한 세 개의 저순위(low-rank) 전문가를 독립적으로 학습합니다. 그런 다음 학습된 LoRA 전문가 혼합(MoE) 컨트롤러가 각 요청에 대해 고정된 이들의 매개변수 업데이트에 가중치를 부여합니다. 제안된 모델은 시계열 예측, 문맥 조건부 예측, 언어 기반 시간적 추론 분야의 널리 사용되는 벤치마크에서 우수한 성능을 달성하여, 평균 MASE 순위 기준 GIFT-Eval, RCRPS 기준 Context is Key, 정확도 기준 TimeSeriesExam에서 상위 3위 이내에 올랐습니다.

arXiv:2609.27233v1cs.CL공통 태그 Question Answering, Language Modeling

트랜스포머 언어 모델의 순차 연산 증류

Distilling Sequential Computation in Transformer Language Models

트랜스포머 언어 모델은 자기회귀적으로 시퀀스를 토큰 단위로 처리하므로, 컨텍스트가 길어질수록 비용이 점점 커진다. 그러나 인접한 많은 토큰 구간은 예측 가능성이 높거나 안정적인 단위로 자주 등장하여, 이들의 표현은 압축 가능할 수 있음을 시사한다. 우리는 입력 토큰 구간을 경량 merge 모듈이 즉석에서 계산하는 축약 표현으로 대체함으로써 순차 연산을 증류하는 방법을 제안한다. 이 모듈은 정적 토큰 임베딩 시퀀스로부터 여러 토큰의 기능적 역할을 포착하는 단일 대리 임베딩을 생성하여, 사전학습된 모델이 아키텍처 변경이나 재학습 없이 압축된 입력으로 동작할 수 있게 한다. 이 접근법을 추론 시 프롬프트와 중간 디코딩 단계 모두를 압축하는 데 적용하며, 롤백 메커니즘으로 저장된 다중 토큰 KV 캐시 항목을 단일 단계 대리 표현으로 대체한다. 다양한 모델에 걸친 실험에서 merge 모듈을 사용하면 언어 모델링 평가와 질의응답, 요약, 상식 추론, 장문 수학적 추론 등 다운스트림 과제에서 정확도 저하를 최소화하면서 유효 시퀀스 길이를 최대 40%까지 줄일 수 있음을 보였다. merge 모듈에 대한 추가적인 경량 적응은 일부 설정에서 정확도-압축 트레이드오프를 더욱 개선한다. 이 결과는 트랜스포머에서의 순차적 토큰 연산이 모델 갱신 없이 원래 동작을 근사하는 응축된 대리 표현을 통해 효과적으로 근사될 수 있음을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.