arXiv:2603.17433v2 cs.LG

The Phasor Transformer: Resolving Attention Bottlenecks on the Unit Circle

Dibakar Sigdel

제출 2026-03-18

한국어 초록

트랜스포머 모델은 시퀀스 학습을 재정의했지만, 점곱 셀프-어텐션은 긴 컨텍스트 시계열에 대해 이차적인 토큰 혼합 병목을 초래한다. 본 논문에서는 단위원 다양체 $S^1$ 위에서 시퀀스 상태를 표현하는 위상 네이티브 대안인 페이저 트랜스포머(Phasor Transformer) 블록을 소개한다. 각 블록은 경량의 학습 가능한 위상 이동과 매개변수가 없는 이산 푸리에 변환(DFT) 토큰 결합을 결합하여, 명시적인 어텐션 맵 없이 전역적인 $\mathcal{O}(N\log N)$ 혼합을 달성한다. 이러한 블록을 쌓으면 대규모 페이저 모델(LPM, Large Phasor Model)이 정의된다. 우리는 합성 다중 주파수 벤치마크에서 정직한 기준선들과 비교하는 자기회귀 시계열 예측을 통해 LPM을 검증한다: LPM은 매개변수가 없는 퍼시스턴스 기준선을 능가하며, 수정된 그래디언트 경로를 사용할 경우 포화 전까지 깊이에 따라 단조롭게 개선되고, 매개변수 수의 일부만으로 셀프-어텐션에 경쟁력 있는(하지만 우월하지는 않은) 성능을 유지한다. 본 결과는 명확한 효율성-정확도 프론티어를 확립하여, 진동 도메인에서의 확장 가능한 시간적 모델링이 결정론적 전역 결합을 갖는 기하학적으로 제약된 위상 계산으로부터 창발할 수 있음을 보인다.

원문 초록

Transformer models have redefined sequence learning, yet dot-product self-attention introduces a quadratic token-mixing bottleneck for long-context time-series. We introduce the Phasor Transformer block, a phase-native alternative representing sequence states on the unit-circle manifold $S^1$. Each block combines lightweight trainable phase-shifts with parameter-free Discrete Fourier Transform (DFT) token coupling, achieving global $\mathcal{O}(N\log N)$ mixing without explicit attention maps. Stacking these blocks defines the Large Phasor Model (LPM). We validate LPM on autoregressive time-series prediction over synthetic multi-frequency benchmarks against honest baselines: it beats a zero-parameter persistence baseline and, with the corrected gradient path, improves monotonically with depth before saturating, while remaining competitive-but-not-superior to self-attention at a fraction of the parameter count. Our results establish an explicit efficiency--accuracy frontier, showing that scalable temporal modeling in oscillatory domains can emerge from geometry-constrained phase computation with deterministic global coupling.

요약

단위원 다양체 $S^1$ 위에서 시퀀스 상태를 위상(phase)으로 표현하는 Phasor Transformer 블록을 제안하며, 학습 가능한 위상 이동과 파라미터 없는 이산 푸리에 변환(DFT) 토큰 결합을 조합해 명시적 어텐션 맵 없이 $\mathcal{O}(N\log N)$ 전역 토큰 혼합을 달성한다. 이를 쌓아 구성한 Large Phasor Model(LPM)은 합성 다중 주파수 시계열 벤치마크에서 셀프-어텐션 대비 훨씬 적은 파라미터로 경쟁력 있는 성능을 보이며, 진동 도메인에서의 확장 가능한 시간적 모델링에 대한 효율성-정확도 프론티어를 제시한다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2603.17433v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15760v1cs.LG공통 태그 Time Series, Time Series Analysis, Time Series Forecasting

학습 가능한 분해 및 다양체 역학을 활용한 쌍곡 시계열 예측

Hyperbolic Time Series Forecasting with Learnable Decomposition and Manifold Dynamics

다중 스케일(multiscale) 구조는 시계열 예측의 핵심입니다. 시간 신호는 천천히 변화하는 트렌드, 중간 수준의 계절적 패턴, 그리고 고주파수 잔차를 포함합니다. 기존 예측 모델은 이러한 다중 스케일 구조를 유클리드 공간에서 모델링하여, 구성 요소들 사이에 유도되는 순서를 표현하지 못합니다. 본 연구에서는 종속 분해(cascaded decomposition)가 구성 요소들을 고유 주파수에 따라 정렬하여 자연스러운 주파수 계층을 형성함을 확인했습니다. 이 계층 구조는 반경에 따라 표현 용량이 증가하고 중첩된 계층 구조를 자연스럽게 수용하는 쌍곡 공간(hyperbolic space)의 지수적 부피 증가 특성과 잘 부합합니다. 이에 따라 본 연구에서는 쌍곡 공간에서 작동하는 최초의 장기 시계열 예측(LTSF) 프레임워크인 HyperForecast를 제안합니다. HyperForecast는 원점 근처의 저주파수 성분부터 경계 근처의 고주파수 성분에 이르기까지 반지름 거리가 이러한 중첩 구조를 포착하도록, 분해된 시간 구간을 푸앵카레 공(Poincaré ball) 위에 임베딩합니다. 또한 측지선 속도(geodesic velocity)를 두 가지 다양체 역학(manifold dynamics) 변형을 통해 모델링합니다: (a) 푸앵카레 잔차 역학을 통한 자기회귀 예측, (b) 모든 미래 구간을 병렬로 예측하는 비자기회귀 예측입니다. HyperForecast는 11개 장기 예측 벤치마크 중 9개에서 기존 및 최고 수준(SOTA)의 베이스라인 모델을 일관되게 능가하며, 긴 예측 구간에서 평균 제곱 오차(MSE)를 최대 58%까지 낮췄습니다. 추가 분석을 통해 학습된 반경 임베딩이 주파수 계층을 성공적으로 복원하며, 쌍곡 기하학이 예측 성능에 실질적으로 기여함을 밝혔습니다.

arXiv:2609.27867v1cs.LG공통 태그 Time Series, Time Series Analysis, Time Series Forecasting

평가 선택이 예측 리더보드를 결정한다: 실제 운영 마켓플레이스 패널로부터의 증거

Evaluation Choices Decide the Forecasting Leaderboard: Evidence from a Production Marketplace Panel

예측 벤치마크는 어떤 방법이 이겼는지를 보고한다. 우리는 그 답이 모델을 학습하기도 전에 평가자의 선택에 의해 정해진다는 점을 보인다. 우리는 2025년대의 시계열 파운데이션 모델(time series foundation model) 6종을 포함한 24가지 예측 방법과 교과서적 기준 방법 하나를, 67개월에 걸친 1,887개 기업 고객으로 구성된 실제 운영 마켓플레이스 패널에서 벤치마크한다. 데이터, 예측 구간(horizon), 기간은 고정하고 평가 설계만 변화시킨다. 세 가지 선택은 각각 핵심 결론을 뒤집거나 무효화한다. 분석 단위를 시장 전체에서 개별 고객으로 바꾸면, 우리의 운영 기준선(baseline)은 19개 중 2위이며 어떤 방법에도 지지 않던 상태에서 25개 중 23위로 이동한다. 이 경우 24개 도전 방법 중 19개가 기준선을 능가한다. 오차를 얼마나 풀링(pooling)하는지에 따라 Diebold-Mariano 검정이 무언가를 발견하는지 여부 자체가 달라진다. 점 예측 대신 예측 구간을 평가하면 순위가 거의 완전히 뒤바뀌며, 간헐적 수요(intermittent demand)에서 순위 상관은 0.02이다. 이어서 실제 배포된 시스템이 이로부터 무엇을 얻는지 측정한다. 이 시스템의 선택 규칙은 아무것도 하지 않는 경우와 사후적 이점(hindsight)을 활용해 선택하는 경우 사이의 거리 중 55%를 확보한다. 이러한 순위 역전은 우리 데이터만의 특이한 현상이 아니다. 우리는 공개된 프로토콜을 수정 없이 공개 M5 소매 패널에서 실행했다. 동일한 형태의 기준선은 시장 전체 수준에서는 1위, 시계열별 수준에서는 모든 방법에 뒤지는 꼴찌를 기록하며, 재현 실행한 선택 규칙은 그곳에서 동일한 하한-상한 간 거리의 64.7%를 메운다. 그 후보군에 제로샷(zero-shot) 파운데이션 모델 5종을 추가하면 전체 수준의 우승자는 바뀌지만 이러한 양상은 바뀌지 않는다. 예측 구간의 사각지대 역시 그대로 나타나, 컨포멀(conformal) 구간은 가장 변동이 심한 품목에서 커버리지가 가장 크게 부족하다. 우리 패널을 점점 더 작은 그룹으로 나누면 이 대비는 하나의 곡선이 되며, 세분화 수준이 높아질 때마다 기준선의 순위는 악화된다. 우리는 평가 프로토콜을 공개하며, 발견하기 전까지 결과를 뒤집어 놓았던 우리 자신의 오류도 함께 보고한다.

arXiv:2609.27912v1cs.LG공통 태그 Time Series, Time Series Analysis, Time Series Forecasting

글로벌 트리 예측 모델은 계층적 집계 수준에서 붕괴한다: 다섯 개 패널에 대한 실패 특성 분석

Global tree forecasters collapse at the hierarchical aggregate: a five-panel failure characterization

글로벌 예측 모델(global forecasting model)은 다수의 시계열을 풀링(pooling)하여 하나의 공유 함수를 학습한다. 그래디언트 부스팅 트리(Gradient-boosted trees)가 가장 널리 쓰이는 형태이다. 본 연구는 우리가 아는 한 아직 문서화된 적 없는 이 설계의 실패를 측정한다. 계층 구조의 개별 시계열로 글로벌 트리를 학습시킨 뒤 계층적 집계값(hierarchical aggregate)에 대한 예측을 요청하면, 집계값은 모델의 학습 범위를 크게 벗어나 있어 예측이 붕괴한다. 이 모델은 실제 운영 환경에서 총합을 30~50배 과소 예측하며, 공개 M5 재구성 데이터에서는 최대 496배까지 과소 예측한다. 그 메커니즘은 이미 알려져 있다. 트리는 학습 범위를 벗어나면 상수를 예측한다. 이것이 집계 수준에서 나타나는 이유는 총합이 모든 학습 시계열을 압도하기 때문이다. 해결책 또한 새로운 것이 아니다. Montero-Manso와 Hyndman(2021)이 권장하는 전처리 단계인 시계열별 스케일링(per-series scaling)은 붕괴를 방지한다. 가중치를 부여한 집계 수준 학습 행(weighted aggregate-level training row)과 계절 차분(seasonal differencing) 역시 마찬가지이다. 본 연구의 기여는 이 현상의 특성 분석에 있다. 붕괴는 운영 중인 기업 간 거래(B2B) 마켓플레이스, 합성 계층 구조, M5, Australian Tourism, 공개 비즈니스 구매자 패널이라는 다섯 개 패널에서 재현된다. 이는 세 가지 트리 라이브러리에서 성립하고, 학습 시드(seed)에 관계없이 일정하며, 통계적으로 유의하다. 붕괴는 즉각적으로 시작되며 단순한 지지 범위(support) 한계를 따른다. 스케일 격차가 겨우 1.15배만 되어도 이미 총합의 3분의 1을 잃는다. 표준적인 설정 변경으로는 이를 막을 수 없다. 모든 계층 수준을 학습에 풀링하는 방식은 대규모에서 실패하며, 리프(leaf)에 선형 모델을 적합하는 유일한 설정 옵션은 붕괴를 완화하지만 해소하지는 못한다. 예측을 재귀적으로 앞으로 굴리는(rolling forward) 실험은 해결책들을 구분해 준다. 집계 행 방식은 다시 붕괴하고, 시계열별 스케일링은 성능이 저하되지만 낮은 수준에 머물며, 오직 계절 차분만이 1단계(one-step) 예측 정확도를 그대로 유지한다. 마지막으로 운영 중인 시스템에서 이 실패를 진단하고 예방하기 위한 3단계 절차를 제시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.