arXiv:2608.20024v2 cs.LG

지역난방 네트워크의 제로샷 열부하 예측을 위한 TabPFN-TS 및 Chronos-2의 체계적 평가

Systematic Evaluation of TabPFN-TS and Chronos-2 for Zero-Shot Heat Load Forecasting in District Heating Networks

Ben Spoek, Karim K. Ben Hicham, Kai Derzsi, Philipp Althaus, Alexander Mitsos, Dirk Müller

제출 2026-08-20

저자 비고

arXiv Comments

43 pages, 10 figures; Supplementary Information included. Revised following peer review, with expanded evaluation and uncertainty analysis

한국어 초록

지역난방 에너지 허브는 효율적인 운영 스케줄링을 위해 신뢰할 수 있는 열부하 예측을 필요로 합니다. 과거 데이터로 학습(training)된 예측 모델(model)은 네트워크가 발전함에 따라 재학습이 필요할 수 있습니다. 따라서 제로샷(zero-shot) 시계열 파운데이션 모델과 문맥 내 예측(in-context forecasting)은 유망한 대안을 제시합니다. 즉, 반복적인 재학습 대신 최근 관측값으로부터 추론(inference) 시점에 적응할 수 있습니다. 본 연구는 독일의 두 지역난방 네트워크에서 확률적 열부하 예측을 위해 TabPFN-TS와 Chronos-2를 체계적으로 평가하고, 이를 학습된 베이스라인들과 비교합니다. 기본 모델이 시계열 데이터가 아닌 합성 표 형식(tabular) 데이터만으로 사전학습(pre-training)된 TabPFN-TS가 복잡한 지역난방 동역학을 포착할 수 있는지 평가합니다. 선정된 운영 주간을 대상으로 공변량 선택, 컨텍스트 길이, 시간 해상도, 예측 구간(forecast horizon)을 분석하고, 선정된 구성을 1년 전체에 걸쳐 평가하며, 네트워크 간 전이(cross-network transfer)를 평가합니다. 주요 벤치마크(benchmark)는 완벽한 기상 예보를 가정하며, 별도의 민감도 분석에서는 사후적 기상 예측을 사용합니다. 12주 롤링 컨텍스트와 외기 온도를 활용한 1시간 단위 24시간 예측이 간결한 구성을 제공하며, 더 긴 컨텍스트 윈도우(context window)가 정확도를 향상시키지는 않습니다. 연간 전체 벤치마크에서 두 시계열 파운데이션 모델(TSFM) 모두 결정론적 정확도에서 학습된 모든 베이스라인을 능가합니다. Chronos-2가 가장 우수한 결정론적 점수를 달성하고 TabPFN-TS가 그 뒤를 바짝 따릅니다. 주요 데이터셋(dataset)에서 두 모델의 CVRMSE 값은 각각 12.48%와 13.07%입니다. Chronos-2는 두 네트워크 모두에서 더 낮은 연속 순위 확률 점수(CRPS)를 달성하며, TabPFN-TS 역시 근접한 성능을 유지합니다. TSFM 기반 다중 해상도 잔차 수정 예측기(Multi-Resolution Residual-Correction Forecaster)는 1시간 단위 기본 예측과 단기 고해상도 수정을 결합합니다. 직접적인 고해상도 예측과 비교했을 때, 이는 12시간 기간 동안의 총 열 수요 및 기록된 예측 시간 전반에서 오차를 전반적으로 줄입니다.

원문 초록

District heating energy hubs require reliable heat load forecasts for efficient operational scheduling. Forecasting models trained on historical data may require retraining as networks evolve. Zero-shot time-series foundation models and in-context forecasting therefore offer a promising alternative: they can adapt at inference time from recent observations rather than by repeated retraining. This study systematically evaluates TabPFN-TS and Chronos-2 for probabilistic heat load forecasting in two German district heating networks and compares them with trained baselines. We assess whether TabPFN-TS, whose underlying model is pretrained entirely on synthetic tabular rather than time-series data, can capture complex district heating dynamics. We analyze covariate choice, context length, temporal resolution, and forecast horizon on selected operating weeks, evaluate the selected configuration over the full year, and assess cross-network transfer. The principal benchmark assumes perfect weather forecasts; a separate sensitivity analysis uses retrospective weather predictions. Hourly 24-hour forecasting with a 12-week rolling context and ambient temperature provides a parsimonious configuration; longer context windows do not improve accuracy. Both TSFMs outperform all trained baselines in deterministic accuracy in the full-year benchmarks. Chronos-2 achieves the best deterministic scores, with TabPFN-TS remaining close: their CVRMSE values on the main data set are 12.48% and 13.07%, respectively. Chronos-2 also achieves lower continuous ranked probability scores in both networks, with TabPFN-TS remaining close. a TSFM-based Multi-Resolution Residual-Correction Forecaster combines an hourly base forecast with short-term high-resolution corrections. Relative to direct high-resolution forecasting, it generally reduces errors in total heat demand over 12-hour periods and recorded prediction times.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.20024v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.14937v1cs.LG공통 태그 Zero-Shot Learning, Time Series Forecasting, In-Context Learning

동역학 시스템의 제로샷 재구성을 위한 최소 해석 가능 아키텍처

A Minimal Interpretable Architecture for Zero-Shot Reconstruction of Dynamical Systems

동역학 시스템(DS)의 제로샷 재구성을 위한 최근 파운데이션 모델(FM)은 강력한 도메인 외 일반화를 달성하지만, 그 예측을 뒷받침하는 메커니즘에 대한 통찰은 거의 제공하지 않는다. 이러한 이해는 과도하게 복잡한 FM 아키텍처를 본질적 핵심으로 축소하고, DS 도메인에서의 문맥 내 학습(ICL)에 대한 최소 요구사항을 드러내는 데 도움이 될 수 있다. 이 목표를 향해, 우리는 DS 재구성을 위한 최근의 강력한 SOTA 모델인 DynaMix(Hemmer & Durstewitz, 2025)를 반복적으로 축소하여, DynaBase라고 명명한 최소의 해석 가능한 두 매개변수 형태로 만들었다. DynaBase는 현재 잠재 상태와 가장 가까운 문맥 내 이웃 및 그 시간적 후속 상태의 선형 혼합을 통해 예측을 생성한다. 놀랍게도, 극도의 단순함에도 불구하고 DynaBase는 카오스 및 순환 시스템 전반에서 매우 경쟁력 있는 제로샷 DS 재구성을 생성하며, 다른 FM보다 수 많은 차수만큼 낮은 무시할 만한 수준의 매개변수 부담을 갖는다. 더 나아가, 이러한 극도의 단순함은 DS 재구성 지표에 대한 직접적인 모델 최적화뿐만 아니라 예측 MSE에 대한 폐형식 일(step) 해석적 해까지 가능하게 한다. DynaBase에 대한 이론적 및 경험적 분석은 더 나아가 1-매개변수 사상(map) 군으로 이어지며, 한쪽 끝에서는 (Zhang & Gilpin, 2026)의 문맥 패러팅(context-parroting) 알고리즘이 복원되고, 다른 끝에서는 카오스적(발산하지만 유계인) 거동이 나타난다. 우리는 또한 서로 다른 학습 전략이 단기 예측에 최적인 모델 또는 DS 재구성에 최적인 모델로 이어지는 방식을 보여준다. 따라서 DynaBase는 제로샷 DS 재구성을 생성하는 데 필요한 최소 메커니즘을 드러낼 뿐만 아니라, 접근 가능한 수학적 틀 안에서 문헌의 상이한 관측 결과들을 조화시킨다.

arXiv:2610.13676v1cs.LG공통 태그 Zero-Shot Learning, Time Series Forecasting

공변량 기반 시계열 파운데이션 모델에서의 캘린더 특성 인코딩에 관하여

On the Encoding of Calendar Features in Covariate-Informed Time Series Foundation Models

시계열 파운데이션 모델(TSFM)은 점점 더 공변량 지원을 제공하고 있으며, 캘린더 정보는 모든 시점에서 이용 가능하다는 점에서 실제로 가장 흔한 유형의 범주형 공변량이다. 그러나 이러한 특성이 어떻게 인코딩되는지는 사전학습된 모델이 추론 시점에 남겨둔 몇 가지 설계 선택 중 하나임에도 불구하고, 연구 대상이 아니라 구현상의 세부사항으로 취급되는 경우가 많다. 본 연구에서는 정보가 모델에 전달되는 방식이 TSFM의 예측 정확도에 상당한 영향을 미친다는 것을 보인다. 이를 위해 우리는 세 가지 전통적인 타겟 비의존적(target-agnostic) 표현(순서형, 원-핫, 주기형)과 네 가지 타겟 인코딩을 포함한 일곱 가지 캘린더 인코딩을, 여러 도메인의 9개 데이터셋에 대해 네 가지 최신 TSFM을 대상으로 제로샷 롤링 평가에서 체계적으로 비교한다. 이 9개 데이터셋은 주말과 공휴일과 같은 사회적 활동의 영향을 받으므로, 캘린더 정보가 예측에 특히 중요하다. 우리는 인코딩 선택이 모든 모델에서 예측 정확도에 영향을 미치며, 단일 모델 내에서 비공휴일에는 최대 9.9%, 공휴일에는 최대 83%의 MASE 차이가 발생함을 확인했다. 효과와 활용도는 모델 간에 상당히 다르다. 개선은 주로 공휴일 주변에 집중되는데, 이는 캘린더 정보가 타겟 이력(target history)으로부터는 얻을 수 없는 신호를 제공하기 때문이며, 일부 모델-인코딩 조합은 비공휴일 예측도 개선시킨다. SHAP 기반 기여도 분석은 자기회귀 성분에 대한 공변량의 기여를 규명하고, 일부 모델-인코딩 조합이 성능을 저하시키는 이유를 설명한다. 우리의 연구 결과는 공변량 기반 TSFM을 위한 현재의 벤치마크가 고정된 인코딩 전략을 강제함으로써 모델 비교를 왜곡할 수 있음을 시사한다.

arXiv:2609.33935v2cs.CV공통 태그 Zero-Shot Learning, In-Context Learning

시공간 유추를 통한 비디오 태스크의 통합

Unifying Video Tasks via Spatiotemporal Analogy

비디오 모델을 새로운 태스크에 적용하려면 일반적으로 전용 데이터 큐레이션과 미세조정(fine-tuning)이 필요합니다. 시각적 유추(visual analogy)는 문맥 내(in-context)에서 태스크를 지정함으로써 별도의 학습(training)이 필요 없는 대안을 제공하지만, 여전히 이미지 도메인에 국한되어 있습니다. 본 논문에서는 유추 기반 방식이 다양한 비디오 태스크를 통합하고 분포 외(out-of-distribution) 시나리오로 일반화될 수 있는지를 탐구하기 위해, 시공간 캔버스 완성(spatiotemporal canvas completion)을 통해 시각적 문맥 내 학습을 비디오 도메인으로 확장하는 프레임워크인 ViGeo를 소개합니다. 엄격한 학습-테스트 분할을 적용한 다양한 태스크 분류 체계에서 평가한 결과, ViGeo는 학습 시 보지 못한 비디오 조작 및 제로샷(zero-shot) 모달리티(예: 이벤트 카메라)로 일반화됩니다. 마지막으로, 사전학습된 태스크와 연관된 쿼리 형식이 시연(demonstration)을 무시하는 현상인 태스크 내재화(task internalization)를 식별하고, 태스크와 무관한 소량의 데이터를 통해 이러한 지름길(shortcut)을 제거할 수 있음을 보여줌으로써 프롬프트(prompt) 형식과 태스크 정체성 간의 상관관계를 분리할 필요성을 강조합니다.

arXiv:2609.28245v1cs.CL공통 태그 Zero-Shot Learning, In-Context Learning

시를 넘어서: 대규모 언어 모델(LLM)은 아랍 고전 문학 마카마를 생성할 수 있는가?

Beyond Poetry: Can Large Language Models Generate Classical Arabic Maqamat?

대규모 언어 모델(LLM)은 창의적인 텍스트 생성에서 뛰어난 성능을 보여주었으나, 문화적으로 그라운딩(grounding)되고 문체적 제약이 있는 문학 형식을 생성하는 능력은 여전히 충분히 연구되지 않았다. 선행 연구는 주로 현대 언어 변종과 시에 집중되었으며, 마카마(maqama)와 같은 고전 산문 전통은 거의 연구되지 않은 채로 남아 있다. 마카마는 각운 산문(saj), 빽빽한 수사적 장식, 일화적 서사 구조를 특징으로 하는 고전 문학 장르로, LLM이 표면적 유창성을 넘어 더 깊은 문학적 역량으로 나아갈 수 있는지를 평가하는 도전적인 테스트베드가 된다. 본 논문에서는 LLM을 활용한 마카마 생성에 대한 최초의 통제된 평가 연구를 제시하며, 제로샷(zero-shot), 퓨샷(few-shot), 규칙 기반 프롬프트 조건에서 5개 모델을 비교하고, 인적 주석과 LLM-as-a-judge 프레임워크를 모두 활용하여 수사적 풍부함, saj 밀도, 구조적 일관성, 문체적 진정성 등의 차원에서 출력을 평가한다. 실험 결과에 따르면 프롬프트 전략이 문체적 품질에 중요한 역할을 하는 것으로 나타났다. 퓨샷 프롬프트는 saj 밀도를 가장 일관되게 향상시키는 반면 수사와 일관성에 미치는 영향은 모델마다 달랐으며, 가장 성능이 뛰어난 모델들(GPT-4o 및 GPT-5.4-mini)은 이러한 차원에서 규칙 기반 프롬프트로부터 가장 큰 이점을 얻었으나, 전체 5개 모델 종합 점수에서는 제로샷 프롬프트가 가장 높은 점수를 기록했다. 나아가 아랍 마카마 관습과의 문체적 정렬(alignment)에서 모델 간에 체계적인 차이가 있음을 관찰했으며, 두 번째 독립적 LLM 평가자, 대응 표본 통계적 유의성 검정, 비 LLM 기반 saj 대리 지표를 통해 연구 결과를 입증했다.

arXiv:2609.27867v1cs.LG공통 태그 Zero-Shot Learning, Time Series Forecasting

평가 선택이 예측 리더보드를 결정한다: 실제 운영 마켓플레이스 패널로부터의 증거

Evaluation Choices Decide the Forecasting Leaderboard: Evidence from a Production Marketplace Panel

예측 벤치마크는 어떤 방법이 이겼는지를 보고한다. 우리는 그 답이 모델을 학습하기도 전에 평가자의 선택에 의해 정해진다는 점을 보인다. 우리는 2025년대의 시계열 파운데이션 모델(time series foundation model) 6종을 포함한 24가지 예측 방법과 교과서적 기준 방법 하나를, 67개월에 걸친 1,887개 기업 고객으로 구성된 실제 운영 마켓플레이스 패널에서 벤치마크한다. 데이터, 예측 구간(horizon), 기간은 고정하고 평가 설계만 변화시킨다. 세 가지 선택은 각각 핵심 결론을 뒤집거나 무효화한다. 분석 단위를 시장 전체에서 개별 고객으로 바꾸면, 우리의 운영 기준선(baseline)은 19개 중 2위이며 어떤 방법에도 지지 않던 상태에서 25개 중 23위로 이동한다. 이 경우 24개 도전 방법 중 19개가 기준선을 능가한다. 오차를 얼마나 풀링(pooling)하는지에 따라 Diebold-Mariano 검정이 무언가를 발견하는지 여부 자체가 달라진다. 점 예측 대신 예측 구간을 평가하면 순위가 거의 완전히 뒤바뀌며, 간헐적 수요(intermittent demand)에서 순위 상관은 0.02이다. 이어서 실제 배포된 시스템이 이로부터 무엇을 얻는지 측정한다. 이 시스템의 선택 규칙은 아무것도 하지 않는 경우와 사후적 이점(hindsight)을 활용해 선택하는 경우 사이의 거리 중 55%를 확보한다. 이러한 순위 역전은 우리 데이터만의 특이한 현상이 아니다. 우리는 공개된 프로토콜을 수정 없이 공개 M5 소매 패널에서 실행했다. 동일한 형태의 기준선은 시장 전체 수준에서는 1위, 시계열별 수준에서는 모든 방법에 뒤지는 꼴찌를 기록하며, 재현 실행한 선택 규칙은 그곳에서 동일한 하한-상한 간 거리의 64.7%를 메운다. 그 후보군에 제로샷(zero-shot) 파운데이션 모델 5종을 추가하면 전체 수준의 우승자는 바뀌지만 이러한 양상은 바뀌지 않는다. 예측 구간의 사각지대 역시 그대로 나타나, 컨포멀(conformal) 구간은 가장 변동이 심한 품목에서 커버리지가 가장 크게 부족하다. 우리 패널을 점점 더 작은 그룹으로 나누면 이 대비는 하나의 곡선이 되며, 세분화 수준이 높아질 때마다 기준선의 순위는 악화된다. 우리는 평가 프로토콜을 공개하며, 발견하기 전까지 결과를 뒤집어 놓았던 우리 자신의 오류도 함께 보고한다.

arXiv:2607.23146v1cs.LG공통 태그 Zero-Shot Learning, Time Series Forecasting

파운데이션 모델과 미세조정: 시계열 예측을 위한 차세대 모델

Foundation Models and Fine-Tuning: Toward a New Generation of Models for Time Series Forecasting

자연어 처리(NLP) 분야의 대규모 언어 모델(LLM) 최근 돌파구에서 영감을 받아, 파운데이션 모델은 제로샷 시계열 예측을 위한 유망한 패러다임으로 등장했으며, 사전학습 중 한 번도 접하지 않은 데이터셋에서도 정확한 예측을 가능하게 한다. 수천만에서 수억 개에 이르는 파라미터 규모의 이러한 모델은 방대하고 다양한 시계열 컬렉션에 대해 사전학습되어, 점 예측과 확률적 예측을 모두 지원하는 일반화 가능한 표현을 학습한다. 이 접근법은 데이터셋별 모델 설계와 수동 튜닝의 필요성을 줄여, 다양한 예측 문제에 대한 통합 솔루션을 제공한다. 본 연구에서는 이러한 모델의 기반이 되는 주요 아키텍처, 사전학습 전략, 최적화 방법을 검토한다. 또한 특정 데이터셋에서의 성능 향상을 위해 선정된 파운데이션 모델의 사전학습 후 미세조정을 조사한다. 실증 결과는 이 단계가 제로샷 기준선 대비 예측 정확도를 일관되게 향상시킴을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.