arXiv:2610.13730v1 cs.LG

SeoulMMOD: 대규모 멀티모달 출발지-목적지 흐름 벤치마크

SeoulMMOD: A Large-Scale Multimodal Origin-Destination Flow Benchmark

Taeyoung Yu, Seonbin Jo, Jiwon Kim, Junyoung Byun

제출 2026-10-09

한국어 초록

출발지-목적지(OD) 흐름 예측(forecasting)은 도시 전역에서 인간 이동의 규모와 패턴을 예측하여 도시 모빌리티(mobility) 의사결정을 지원한다. 기존의 공개 OD 벤치마크 대부분은 단일 교통 서비스 또는 최대 두 가지 수단(mode)만을 다루어, 도시 전역 모빌리티에 대한 부분적인 관점만을 제공한다. 수단 범위가 부분적이면, 관측된 수요 변화를 교통 수단 간 이동(shift)과 전체 이동량(total travel)의 변화로 분리하기 어렵다. 우리는 서울의 도시 전역 멀티모달 모빌리티를 위한 대규모 공개 벤치마크인 SeoulMMOD를 소개한다. SeoulMMOD는 25개 자치구(district)와 426개 행정동(sub-district)에 걸친 6가지 도시 이동 수단에 대한 전체 모빌리티를 추정하는 3년간의 시간 단위 OD 흐름 데이터를, 이동 시간, 이동 거리, 캘린더(calendar), 강우량, 관심 지점(POI, point-of-interest) 신호와 함께 제공한다. SeoulMMOD를 사용하여 우리는 공통 프로토콜 하에서 14개의 예측 베이스라인(baseline)을 벤치마킹하고, 공간적 스케일링(spatial scaling), 결합 학습(joint training) 대 수단별 분리 학습(mode-separate training), 그리고 연도 간 일반화(cross-year generalization)의 효과를 분석한다. 결과는 자치구 수준에서 작동하는 여러 시공간(spatio-temporal) 모델이 행정동 수준 OD 예측으로는 확장되지 않으며, 단순한(naive) 결합 멀티모달 학습이 정확도를 일관되게 향상시키지는 않음을 보여준다. 종합적으로, 이 데이터셋과 벤치마크는 도시 규모에서 다중 수단, 다년도 OD 예측을 위한 재현 가능한 테스트베드(testbed)를 구축한다.

원문 초록

Origin-destination (OD) flow forecasting supports urban mobility decisions by predicting the volume and patterns of human movement across a city. Most existing public OD benchmarks provide only a partial view of citywide mobility, covering a single transport service or at most two modes. With partial mode coverage, observed demand changes are difficult to separate into shifts across transport modes and changes in total travel. We introduce SeoulMMOD, a large-scale public benchmark for citywide multimodal mobility in Seoul. SeoulMMOD provides three years of hourly OD flows estimating total mobility for 6 urban travel modes across 25 districts and 426 sub-districts, together with travel-time, travel-distance, calendar, rainfall, and point-of-interest (POI) signals. Using SeoulMMOD, we benchmark 14 forecasting baselines under a common protocol and analyse the effects of spatial scaling, joint versus mode-separate training, and cross-year generalization. Results show that several spatio-temporal models that work at district level do not scale to sub-district OD forecasting, and that naive joint multi-mode training does not consistently improve accuracy. Together, the dataset and benchmark establish a reproducible testbed for multi-mode, multi-year OD forecasting at the city scale.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.13730v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10727v1q-fin.CP공통 태그 Benchmarking, Time Series Forecasting

중고 전자기기의 다중 시계열 가격 예측을 위한 심층 학습 대 통계 모델: 체계적 벤치마크

Deep Learning vs. Statistical Models for Multi-Horizon Price Forecasting of Second-Hand Electronics: A Systematic Benchmark

중고 전자기기의 재판매 가격 예측은 가격 책정 오류가 곧바로 위험으로 이어지는 구독 기반 플랫폼에 매우 중요합니다. 구조화된 금융 시장과 달리 중고 전자기기는 높은 변동성, 희소한 매물 등록 이력, 비정규 가격 역학을 보이지만, 이 영역에 대한 체계적인 시계열 벤치마크(benchmark)는 존재하지 않습니다. 본 논문에서는 중고 전자기기 가격 예측을 위한 통계 및 심층 학습(deep learning) 예측 모델의 첫 다중 시계열(multi-horizon) 벤치마크를 제시합니다. 폴란드 온라인 마켓플레이스의 일별 가격 매물 대규모 데이터셋(2022년 1월부터 2025년 3월까지, 100개 이상의 스마트폰 및 노트북 모델)을 사용하며, 고전적 기법(ARIMA, ETS, Theta), 순환 및 합성곱 네트워크(LSTM, TCN), 현대 심층 아키텍처(N-BEATS, N-HiTS, TFT, PatchTST, Informer)를 포괄하는 11개 모델을 1일부터 365일까지 6개 예측 구간(horizon)에 걸쳐 평가합니다. 세 가지 상호보완적 평가 프로토콜은 궤적 적합도, 단발성(one-shot) 종단점 정확도, 시계열 간 전이(cross-horizon transfer)를 측정합니다. N-BEATS는 30일 이후에서 가장 낮은 MAPE를 달성하여 365일에서 8.51%에 도달했으며, 이는 최고 성능 통계 기준선(baseline)의 14.94% 대비 43% 감소한 수치입니다. 단기 예측 구간(1-7일)에서는 모든 모델이 약 0.72% MAPE로 수렴하며 나이브 기준선도 경쟁력을 유지합니다. 365일 기준으로 학습된 단일 N-BEATS 모델은 더 짧은 모든 예측 구간으로 일반화되어 구간별 맞춤형 모델의 필요성을 없앱니다. 또한 N-BEATS와 N-HiTS는 뛰어난 하이퍼파라미터 안정성을 보여줍니다.

arXiv:2610.02256v1cs.LG공통 태그 Benchmarking, Time Series Forecasting

TRACE: 공식 운영 텍스트를 활용한 전력 가격 예측을 위한 재현 가능한 벤치마크

TRACE: A Reproducible Benchmark for Electricity Price Forecasting with Official Operational Text

전력 가격 예측(EPF)은 전력 시장에서의 일정 수립, 입찰, 위험 관리를 지원하지만, 기존 벤치마크는 주로 수치형 입력에 집중하여 예측 시점의 텍스트 컨텍스트가 지닌 예측 가치는 충분히 평가되지 못했습니다. 우리는 미국 주요 시장의 5개 구역 가격과 예측 마감 시점에 이용 가능한 공식 운영 텍스트를 결합한 7,300개 구역-일(zone--day) 인스턴스로 구성된 재현 가능한 벤치마크인 TRACE를 소개합니다. TRACE는 각 마감 시점의 공식 운영 텍스트를 재구성하여 마감 이후 정보의 누수를 방지합니다. 우리는 TRACE의 의미론적 정렬(semantic alignment)과 예측 가치를 평가합니다. 의미론적 평가는 실측 가격의 중심 추세 변동 및 양쪽 꼬리 위험과 일치하며, 특히 상위 꼬리 가격 위험에서 가장 일관되게 나타납니다. 예측 가치는 시계열 파운데이션 모델 전반에서 상위 꼬리 핀볼 손실(pinball loss)이 중앙값 기준 7.4% 감소하는 결과로 입증됩니다. 통제된 일간 텍스트 불일치(cross-day text-mismatch) 절제 실험을 수행하면 이러한 성능 향상이 반전되어 텍스트를 사용하지 않은 기준선보다 낮아집니다.

arXiv:2610.02608v1cs.AI공통 태그 Benchmarking, Time Series Forecasting

시계열 예측 벤치마크에는 시나리오 기반 스트레스 테스트가 필요하다

Time Series Forecasting Benchmarks Need Scenario-Grounded Stress Testing

시계열 예측(Time Series Forecasting, TSF)은 교통, 에너지, 금융, 헬스케어, 인프라 전반의 의사결정을 점점 더 주도하고 있으나, 현재의 평가는 지나치게 협소한 상태에 머물러 있습니다. 표준 벤치마크는 낮은 홀드아웃(held-out) 오차에 보상을 부여하는 반면, 강건성 연구는 일반적으로 실패를 가우시안 노이즈, 무작위 마스킹, 또는 제한된 적대적 섭동으로 단순화합니다. 이는 배포된 예측 시스템의 실제 실패 모드를 가립니다. 입력 측 이상치는 단순히 더 노이즈가 많은 입력에 그치지 않으며, 시계열 역학을 바꾸고, 변수 간 의존성을 깨뜨리며, 체제 변화(regime shift)를 유발하거나 결함이 있는 센서에서 다운스트림 의사결정으로 전파되는 구조화된 이벤트를 반영하는 경우가 많습니다. 이러한 시맨틱, 인과적, 시스템 수준의 실패는 독립동일분포(i.i.d.) 섭동만으로는 충실하게 포착될 수 없습니다. 감사가 불가능한 사전학습 말뭉치로 인해 홀드아웃 일반화의 신뢰성이 점차 떨어지면서, TSF 파운데이션 모델의 등장은 이러한 평가 격차를 더욱 시급한 문제로 만듭니다. 따라서 우리는 시나리오 기반 스트레스 테스트를 제안합니다. 각 테스트 인스턴스는 과거 입력과 미래 타깃뿐만 아니라 시맨틱 시나리오, 명시적인 실패 연산자, 측정 가능한 난이도를 포함해야 합니다. 이러한 변화는 평가를 해석 가능하고, 원인 규명이 가능하며, 배포에 적합하고 친화적으로 만들어, 커뮤니티가 어떤 모델이 정확한지뿐만 아니라 어떤 조건에서 왜 실패하는지까지 질문할 수 있도록 합니다.

arXiv:2609.28607v3cs.LG공통 태그 Benchmarking, Time Series Forecasting

fable.intermittent: 간헐적 시계열을 위한 확률론적 예측 기법 벤치마킹

fable.intermittent: benchmarking probabilistic forecasting methods for intermittent time series

간헐적 시계열(intermittent time series)은 예비 부품 수요나 소매 판매에서 흔히 발생합니다. 예측 오차의 비용이 일반적으로 비대칭적이므로, 재고 관리와 같은 의사결정에는 점 예측(point forecast)보다는 완전한 예측 분포가 필요합니다. 다양한 확률론적 예측 기법이 제안되었지만, 그 구현체들이 서로 다른 소프트웨어 프레임워크에 흩어져 있어 체계적으로 비교하기 어려웠습니다. 본 논문에서는 fable 프레임워크 내에서 간헐적 시계열을 위한 여러 확률론적 예측 기법을 구현한 R 패키지 fable.intermittent를 소개합니다. 이 패키지를 사용하면 단일하고 단순한 예측 파이프라인을 통해 일련의 시계열에 대해 여러 모델을 적합(fit)하고 평가할 수 있습니다. 또한 트위디(Tweedie) 예측 분포를 사용하는 새로운 지수 평활 모델인 TWEES를 소개합니다. TWEES를 적합하려면 계산 비용이 큰 트위디 밀도를 반복적으로 평가해야 합니다. 이에 따라 동일한 수치적 정확도를 유지하면서도 기존 구현체보다 실질적으로 훨씬 빠른 트위디 분포 구현체인 R 패키지 tweedieDistr도 함께 공개합니다. 마지막으로 패키지에 함께 포함되어 공개된 4개의 데이터셋에서 fable.intermittent에 구현된 기법들을 평가합니다.

arXiv:2610.01842v1cs.AI공통 태그 Benchmarking, Time Series Forecasting

시계열 월드 모델에서 정확도와 메커니즘 일관성의 괴리에 대하여

On the Divergence of Accuracy and Mechanism Consistency in Time Series World Models

시계열 월드 모델(TSWM)은 제어 대상 시스템의 관측된 과거 이력과 계획된 행동 및 외생적 입력을 바탕으로 시스템의 상태를 예측한다. 기존 접근법들은 행동을 공변량으로 취급하는 예측 모델을 구축하며, 실행된 계획 하에서의 예측 오차를 기준으로 학습되고 평가된다. 그러나 월드 모델은 실행되지 않은 계획들을 비교해야 함에도 불구하고, 변경된 계획에 대한 모델의 반응은 아직 검증되지 않은 상태로 남아 있다. 본 연구에서는 어떠한 설계 선택이 중요하며, 정확한 예측 모델이 실제 시스템처럼 변경된 계획에 반응하는지 묻는다. 우리는 정형화(formalization)와 벤치마크를 통해 두 질문을 모두 다룬다. 정형화 과정에서는 상태, 행동, 외생적 입력을 분리하고, 연속형·모드형·이벤트형 행동을 구분하며, 혈관수축제가 혈압을 상승시키는 것과 같이 방향성이 알려진 선언된 행동-상태 관계를 기반으로 구축된 지표인 메커니즘 일관성(mechanism consistency)을 도입한다. 이는 행동을 변화시켰을 때 예측 결과가 선언된 방향으로 움직이는지를 점검한다. 벤치마크는 공학 인프라 및 임상 치료 분야의 실제 행동을 포함하는 8개의 공개 데이터셋을 통합하고, 7개의 백본과 5개의 시드에 걸쳐 예측 공간, 계획 융합(plan fusion), 계획 인코딩을 다양하게 변화시킨다. 첫째, 동결된 잠재 예측 공간은 관측 공간 대비 평균 절대 오차(MAE)를 평균 9.9% 낮추고, 게이트 출력 융합은 입력 연결 대비 MAE를 평균 12.7% 낮추며, 두 방식 모두 8개 데이터셋 전체에서 성능을 개선한다. 반면 시간적 계획 인코딩에 따른 평균 MAE 변화는 최대 2.2%에 불과하다. 둘째, 예측 오차와 메커니즘 일관성은 서로 괴리를 보인다. 오차가 가장 낮은 구성조차 선언된 메커니즘이 있는 5개 데이터셋 중 4개에서 일관성이 무작위 수준(chance) 이하에 머물렀으며, 어떠한 설계 선택으로도 이를 피할 수 없었다. 마지막으로, 변화된 행동에 대한 반응 중 잘못된 부호(wrong-signed)를 갖는 부분에 페널티를 부여하는 손실 함수인 방향성 지도(directional supervision)는 MAE의 변화 없이 페널티가 적용된 메커니즘의 일관성을 크게 향상시킨다. 종합하면, 본 연구는 정확도를 위한 동결된 잠재 공간 및 출력단 융합, 그리고 메커니즘 일관성을 위한 학습 목표라는 TSWM을 위한 레시피를 제공한다.

arXiv:2610.00224v2cs.AI공통 태그 Benchmarking

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.