arXiv:2610.01842v1 cs.AI

시계열 월드 모델에서 정확도와 메커니즘 일관성의 괴리에 대하여

On the Divergence of Accuracy and Mechanism Consistency in Time Series World Models

Haochen Zhang, Jiaheng Guo, Zhen Xu, Zachary Plotkin, Nicholas Konz, Zhen Tan, Tianlong Chen

제출 2026-10-01

한국어 초록

시계열 월드 모델(TSWM)은 제어 대상 시스템의 관측된 과거 이력과 계획된 행동 및 외생적 입력을 바탕으로 시스템의 상태를 예측한다. 기존 접근법들은 행동을 공변량으로 취급하는 예측 모델을 구축하며, 실행된 계획 하에서의 예측 오차를 기준으로 학습되고 평가된다. 그러나 월드 모델은 실행되지 않은 계획들을 비교해야 함에도 불구하고, 변경된 계획에 대한 모델의 반응은 아직 검증되지 않은 상태로 남아 있다. 본 연구에서는 어떠한 설계 선택이 중요하며, 정확한 예측 모델이 실제 시스템처럼 변경된 계획에 반응하는지 묻는다. 우리는 정형화(formalization)와 벤치마크를 통해 두 질문을 모두 다룬다. 정형화 과정에서는 상태, 행동, 외생적 입력을 분리하고, 연속형·모드형·이벤트형 행동을 구분하며, 혈관수축제가 혈압을 상승시키는 것과 같이 방향성이 알려진 선언된 행동-상태 관계를 기반으로 구축된 지표인 메커니즘 일관성(mechanism consistency)을 도입한다. 이는 행동을 변화시켰을 때 예측 결과가 선언된 방향으로 움직이는지를 점검한다. 벤치마크는 공학 인프라 및 임상 치료 분야의 실제 행동을 포함하는 8개의 공개 데이터셋을 통합하고, 7개의 백본과 5개의 시드에 걸쳐 예측 공간, 계획 융합(plan fusion), 계획 인코딩을 다양하게 변화시킨다. 첫째, 동결된 잠재 예측 공간은 관측 공간 대비 평균 절대 오차(MAE)를 평균 9.9% 낮추고, 게이트 출력 융합은 입력 연결 대비 MAE를 평균 12.7% 낮추며, 두 방식 모두 8개 데이터셋 전체에서 성능을 개선한다. 반면 시간적 계획 인코딩에 따른 평균 MAE 변화는 최대 2.2%에 불과하다. 둘째, 예측 오차와 메커니즘 일관성은 서로 괴리를 보인다. 오차가 가장 낮은 구성조차 선언된 메커니즘이 있는 5개 데이터셋 중 4개에서 일관성이 무작위 수준(chance) 이하에 머물렀으며, 어떠한 설계 선택으로도 이를 피할 수 없었다. 마지막으로, 변화된 행동에 대한 반응 중 잘못된 부호(wrong-signed)를 갖는 부분에 페널티를 부여하는 손실 함수인 방향성 지도(directional supervision)는 MAE의 변화 없이 페널티가 적용된 메커니즘의 일관성을 크게 향상시킨다. 종합하면, 본 연구는 정확도를 위한 동결된 잠재 공간 및 출력단 융합, 그리고 메커니즘 일관성을 위한 학습 목표라는 TSWM을 위한 레시피를 제공한다.

원문 초록

A time series world model (TSWM) predicts a controlled system's state from its observed history and planned actions and exogenous inputs. Current approaches build forecasters with actions as covariates, trained and evaluated on prediction error under the executed plan. Yet world models compare unexecuted plans, but their responses to changed plans remain untested. We ask which design choices matter and whether accurate forecasters respond to changed plans as real systems do. We address both with a formalization and benchmark. The formalization separates state, actions and exogenous inputs, distinguishes continuous, mode and event actions, and introduces mechanism consistency, a metric built on declared action-state relations with known directions, such as a vasopressor raising blood pressure: it checks whether shifting an action moves the forecast in the declared direction. The benchmark consolidates eight public datasets with real actions from engineered infrastructure and clinical care, varying prediction space, plan fusion and plan encoding across seven backbones and five seeds. First, a frozen latent prediction space lowers MAE by 9.9% over observation space and gated output fusion lowers it by 12.7% over input concatenation on average, with both improving all eight datasets; temporal plan encoding changes average MAE by at most 2.2%. Second, prediction error and mechanism consistency diverge: the lowest-error configuration is at or below chance in consistency on four of five datasets with declared mechanisms, and no design choice avoids this. Finally, directional supervision, a loss penalizing the wrong-signed part of the response to a shifted action, significantly raises consistency on penalized mechanisms with no change in MAE. Together they give TSWMs a recipe: a frozen latent space and output-side fusion for accuracy, and a training objective for mechanism consistency.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.01842v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13730v1cs.LG공통 태그 Benchmarking, Time Series Forecasting

SeoulMMOD: 대규모 멀티모달 출발지-목적지 흐름 벤치마크

SeoulMMOD: A Large-Scale Multimodal Origin-Destination Flow Benchmark

출발지-목적지(OD) 흐름 예측(forecasting)은 도시 전역에서 인간 이동의 규모와 패턴을 예측하여 도시 모빌리티(mobility) 의사결정을 지원한다. 기존의 공개 OD 벤치마크 대부분은 단일 교통 서비스 또는 최대 두 가지 수단(mode)만을 다루어, 도시 전역 모빌리티에 대한 부분적인 관점만을 제공한다. 수단 범위가 부분적이면, 관측된 수요 변화를 교통 수단 간 이동(shift)과 전체 이동량(total travel)의 변화로 분리하기 어렵다. 우리는 서울의 도시 전역 멀티모달 모빌리티를 위한 대규모 공개 벤치마크인 SeoulMMOD를 소개한다. SeoulMMOD는 25개 자치구(district)와 426개 행정동(sub-district)에 걸친 6가지 도시 이동 수단에 대한 전체 모빌리티를 추정하는 3년간의 시간 단위 OD 흐름 데이터를, 이동 시간, 이동 거리, 캘린더(calendar), 강우량, 관심 지점(POI, point-of-interest) 신호와 함께 제공한다. SeoulMMOD를 사용하여 우리는 공통 프로토콜 하에서 14개의 예측 베이스라인(baseline)을 벤치마킹하고, 공간적 스케일링(spatial scaling), 결합 학습(joint training) 대 수단별 분리 학습(mode-separate training), 그리고 연도 간 일반화(cross-year generalization)의 효과를 분석한다. 결과는 자치구 수준에서 작동하는 여러 시공간(spatio-temporal) 모델이 행정동 수준 OD 예측으로는 확장되지 않으며, 단순한(naive) 결합 멀티모달 학습이 정확도를 일관되게 향상시키지는 않음을 보여준다. 종합적으로, 이 데이터셋과 벤치마크는 도시 규모에서 다중 수단, 다년도 OD 예측을 위한 재현 가능한 테스트베드(testbed)를 구축한다.

arXiv:2610.10727v1q-fin.CP공통 태그 Benchmarking, Time Series Forecasting

중고 전자기기의 다중 시계열 가격 예측을 위한 심층 학습 대 통계 모델: 체계적 벤치마크

Deep Learning vs. Statistical Models for Multi-Horizon Price Forecasting of Second-Hand Electronics: A Systematic Benchmark

중고 전자기기의 재판매 가격 예측은 가격 책정 오류가 곧바로 위험으로 이어지는 구독 기반 플랫폼에 매우 중요합니다. 구조화된 금융 시장과 달리 중고 전자기기는 높은 변동성, 희소한 매물 등록 이력, 비정규 가격 역학을 보이지만, 이 영역에 대한 체계적인 시계열 벤치마크(benchmark)는 존재하지 않습니다. 본 논문에서는 중고 전자기기 가격 예측을 위한 통계 및 심층 학습(deep learning) 예측 모델의 첫 다중 시계열(multi-horizon) 벤치마크를 제시합니다. 폴란드 온라인 마켓플레이스의 일별 가격 매물 대규모 데이터셋(2022년 1월부터 2025년 3월까지, 100개 이상의 스마트폰 및 노트북 모델)을 사용하며, 고전적 기법(ARIMA, ETS, Theta), 순환 및 합성곱 네트워크(LSTM, TCN), 현대 심층 아키텍처(N-BEATS, N-HiTS, TFT, PatchTST, Informer)를 포괄하는 11개 모델을 1일부터 365일까지 6개 예측 구간(horizon)에 걸쳐 평가합니다. 세 가지 상호보완적 평가 프로토콜은 궤적 적합도, 단발성(one-shot) 종단점 정확도, 시계열 간 전이(cross-horizon transfer)를 측정합니다. N-BEATS는 30일 이후에서 가장 낮은 MAPE를 달성하여 365일에서 8.51%에 도달했으며, 이는 최고 성능 통계 기준선(baseline)의 14.94% 대비 43% 감소한 수치입니다. 단기 예측 구간(1-7일)에서는 모든 모델이 약 0.72% MAPE로 수렴하며 나이브 기준선도 경쟁력을 유지합니다. 365일 기준으로 학습된 단일 N-BEATS 모델은 더 짧은 모든 예측 구간으로 일반화되어 구간별 맞춤형 모델의 필요성을 없앱니다. 또한 N-BEATS와 N-HiTS는 뛰어난 하이퍼파라미터 안정성을 보여줍니다.

arXiv:2610.02255v1cs.LG공통 태그 Causal Inference, Time Series Forecasting

MACTS-EM: 창발적 메모리를 활용한 다중 에이전트 협업 시계열 예측

MACTS-EM: Multi-Agent Collaborative Time Series Forecasting with Emergent Memory

시계열 예측(time series forecasting)은 여러 분야에서 여전히 중요한 과제로 남아 있다. 상당한 발전이 있었음에도, 기존 접근법들은 체제 전환(regime shift), 도메인 간 지식 전이, 멀티모달 데이터 통합과 같은 복잡한 현상을 다루는 데 어려움을 겪는다. 본 논문은 전문화된 에이전트들이 협업하여 우수한 예측 성능을 달성하는 새로운 프레임워크인 창발적 메모리를 활용한 다중 에이전트 협업 시계열 예측(Multi-Agent Collaborative Time Series Forecasting with Emergent Memory, MACTS-EM)을 소개한다. MACTS-EM 아키텍처는 다음을 통합한다: (1) 패턴 인식, 이상 탐지, 인과 추론, 불확실성 정량화를 위한 도메인 특화 예측 에이전트; (2) 동적 에이전트 할당을 위한 메타인지 층(meta-cognitive layer); (3) 도메인 간 패턴 전이를 가능하게 하는 창발적 메모리 메커니즘; (4) 멀티모달 맥락 통합; (5) 적대적 강건성(adversarial robustness) 구성 요소. 금융 시장, 기후 패턴, 에너지 소비, 전염병 확산에 대한 평가 결과, MACTS-EM은 대부분의 시나리오에서 기존 접근법을 능가하며, 예측 정확도에서 8-12%의 향상, 제로샷 전이 능력에서 22-27%의 개선, 체제 전환 시 복원력에서 16-21%의 강화, 분포 변화 이후 회복 속도에서 15-18%의 향상을 보였다. 본 연구 결과는 시계열 예측에 대한 협업적이고 에이전트 기반(agentic)인 접근법이 전통적인 아키텍처를 넘어서는 유망한 방향임을 시사하며, 다중 해상도의 시간적 이해와 맥락적 적응을 요구하는 복잡한 실세계 시나리오에서 특히 그렇다.

arXiv:2610.02256v1cs.LG공통 태그 Benchmarking, Time Series Forecasting

TRACE: 공식 운영 텍스트를 활용한 전력 가격 예측을 위한 재현 가능한 벤치마크

TRACE: A Reproducible Benchmark for Electricity Price Forecasting with Official Operational Text

전력 가격 예측(EPF)은 전력 시장에서의 일정 수립, 입찰, 위험 관리를 지원하지만, 기존 벤치마크는 주로 수치형 입력에 집중하여 예측 시점의 텍스트 컨텍스트가 지닌 예측 가치는 충분히 평가되지 못했습니다. 우리는 미국 주요 시장의 5개 구역 가격과 예측 마감 시점에 이용 가능한 공식 운영 텍스트를 결합한 7,300개 구역-일(zone--day) 인스턴스로 구성된 재현 가능한 벤치마크인 TRACE를 소개합니다. TRACE는 각 마감 시점의 공식 운영 텍스트를 재구성하여 마감 이후 정보의 누수를 방지합니다. 우리는 TRACE의 의미론적 정렬(semantic alignment)과 예측 가치를 평가합니다. 의미론적 평가는 실측 가격의 중심 추세 변동 및 양쪽 꼬리 위험과 일치하며, 특히 상위 꼬리 가격 위험에서 가장 일관되게 나타납니다. 예측 가치는 시계열 파운데이션 모델 전반에서 상위 꼬리 핀볼 손실(pinball loss)이 중앙값 기준 7.4% 감소하는 결과로 입증됩니다. 통제된 일간 텍스트 불일치(cross-day text-mismatch) 절제 실험을 수행하면 이러한 성능 향상이 반전되어 텍스트를 사용하지 않은 기준선보다 낮아집니다.

arXiv:2610.02366v1cs.LG공통 태그 Benchmarking, Model Predictive Control

Co-Design Gym: 신체 구조-정책 공동최적화를 위한 통합 벤치마크

Co-design Gym: A Unified Benchmark for Embodiment-Policy Co-optimization

주어진 환경(environment) 내에서 최적의 행동 정책(policy)을 찾는 것은 게임, 로보틱스, 에너지 인프라, 통신 네트워크, 다중 에이전트(agent) 시스템 등 다양한 분야에서 널리 연구되어 온 문제이다. 이러한 연구를 지원하기 위해 수많은 벤치마크가 개발되었지만, 대다수는 에이전트의 신체 구조(embodiment, 설계)가 고정되어 있다고 가정하고 정책 학습(policy learning)에만 초점을 맞춘다. 이 가정을 제거하면, 신체 구조와 정책을 개별적으로 최적화하는 것이 최적에 크게 못 미치는(highly suboptimal) 더 넓은 범주의 문제들이 드러난다. 에이전트의 신체 구조는 어떤 제어 정책을 발견할 수 있는지를 강하게 좌우하며, 반대로 최적의 신체 구조는 그것이 허용하는 정책들에 의해 정의된다. 연구 커뮤니티가 이러한 범주의 문제를 명시적이고 체계적으로 연구할 수 있도록 돕기 위해, 우리는 신체 구조와 정책을 공동으로 최적화하기 위한 벤치마크 환경 모음인 Co-Design Gym을 소개한다. 우리의 환경은 로봇 조작(manipulation) 및 이동(locomotion), 다중 로봇 협력, 변형 가능하고 유연한(deformable and soft) 동역학, 비디오 게임, 전력망, 무선 네트워크, F1 레이싱, 다중 에이전트 창고, 최적 제어(optimal control) 등의 분야를 포괄하며, 총 20개의 환경 군(도메인)에서 85개 이상의 서로 다른 공동 설계(co-design) 프리셋을 제공한다. 우리는 또한 대표적인 공동 설계 알고리즘들에 대한 체계적인 평가를 수행하여 현재 기술 수준(state of the art)을 규명한다. 이러한 기여들은 공동 설계 분야에서 누적적이고 비교 가능한 발전을 위한 토대를 마련한다.

arXiv:2610.02608v1cs.AI공통 태그 Benchmarking, Time Series Forecasting

시계열 예측 벤치마크에는 시나리오 기반 스트레스 테스트가 필요하다

Time Series Forecasting Benchmarks Need Scenario-Grounded Stress Testing

시계열 예측(Time Series Forecasting, TSF)은 교통, 에너지, 금융, 헬스케어, 인프라 전반의 의사결정을 점점 더 주도하고 있으나, 현재의 평가는 지나치게 협소한 상태에 머물러 있습니다. 표준 벤치마크는 낮은 홀드아웃(held-out) 오차에 보상을 부여하는 반면, 강건성 연구는 일반적으로 실패를 가우시안 노이즈, 무작위 마스킹, 또는 제한된 적대적 섭동으로 단순화합니다. 이는 배포된 예측 시스템의 실제 실패 모드를 가립니다. 입력 측 이상치는 단순히 더 노이즈가 많은 입력에 그치지 않으며, 시계열 역학을 바꾸고, 변수 간 의존성을 깨뜨리며, 체제 변화(regime shift)를 유발하거나 결함이 있는 센서에서 다운스트림 의사결정으로 전파되는 구조화된 이벤트를 반영하는 경우가 많습니다. 이러한 시맨틱, 인과적, 시스템 수준의 실패는 독립동일분포(i.i.d.) 섭동만으로는 충실하게 포착될 수 없습니다. 감사가 불가능한 사전학습 말뭉치로 인해 홀드아웃 일반화의 신뢰성이 점차 떨어지면서, TSF 파운데이션 모델의 등장은 이러한 평가 격차를 더욱 시급한 문제로 만듭니다. 따라서 우리는 시나리오 기반 스트레스 테스트를 제안합니다. 각 테스트 인스턴스는 과거 입력과 미래 타깃뿐만 아니라 시맨틱 시나리오, 명시적인 실패 연산자, 측정 가능한 난이도를 포함해야 합니다. 이러한 변화는 평가를 해석 가능하고, 원인 규명이 가능하며, 배포에 적합하고 친화적으로 만들어, 커뮤니티가 어떤 모델이 정확한지뿐만 아니라 어떤 조건에서 왜 실패하는지까지 질문할 수 있도록 합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.