한국어 초록
리저버 컴퓨팅은 동적 시스템 예측을 위한 경량 프레임워크를 제공하지만, 제한된 표현 용량으로 인해 장기 의존성을 포착하는 데 어려움을 겪을 수 있습니다. 기존 리저버 컴퓨팅은 하이퍼파라미터 민감성이 있는 학습 가능한 리저버를 순환적으로 사용하는 반면, 차세대 리저버 컴퓨팅은 급격히 증가하는 특징 차원을 비용으로 치르며 순환성을 제거합니다. 본 연구에서는 Kolmogorov-Arnold 표현 정리에서 영감을 받은 명시적 기저 함수 확장으로 리저버를 대체하는 Kolmogorov-Arnold 리저버 컴퓨팅(KARC)을 개발합니다. 우리는 KARC가 Kolmogorov-Arnold 네트워크(KAN)의 경량 설계임을 엄밀하게 보여주며, 리저버 컴퓨팅의 효율적인 폐쇄형 학습을 허용하면서도 KAN의 잠재적 표현 용량을 보존함을 입증합니다. 유사한 비용으로 KARC는 편미분 방정식을 포함한 어려운 벤치마크에서 기존 리저버 컴퓨팅 방법보다 우수한 성능을 보입니다. 또한 텍스트-이미지 생성을 위해 생성적 확산 모델과 통합될 수도 있습니다. 따라서 이 연구는 리저버 컴퓨팅과 KAN 사이에 원칙적인 연결 고리를 확립하여, 효율적이고 고충실도의 동적 시스템 예측을 가능하게 합니다.
원문 초록
Reservoir computing offers a lightweight framework for forecasting dynamical systems but may struggle to capture long-range dependencies due to limited representational capacity. Conventional reservoir computing recurrently uses trainable reservoirs with hyperparameter sensitivity, while the next-generation reservoir computing removes recurrence at the cost of rapidly growing feature dimensions. Here, we develop Kolmogorov-Arnold Reservoir Computing (KARC), which replaces reservoirs with explicit basis-function expansions inspired by the Kolmogorov-Arnold representation theorem. We rigorously show that KARC is a lightweight design of Kolmogorov-Arnold networks (KANs), preserving the potential expressive capacity of KANs while admitting efficient closed-form training of reservoir computing. At comparable cost, KARC outperforms existing reservoir computing methods on challenging benchmarks including partial differential equations. It can also be integrated with generative diffusion models for text-to-image generation. This work thus establishes a principled bridge between reservoir computing and KANs, enabling efficient and high-fidelity dynamical system forecasting.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.19984v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
국면 조건부 변동성 예측을 위한 Susceptible Reservoir 아키텍처
Susceptible Reservoir Architectures for Regime-Conditional Volatility Forecasting
변동성 예측은 지속성(persistence)과 측정 노이즈(measurement noise)에 의해 지배되어, 비선형 모델이 활용할 수 있는 잔차 구조가 제한적이다. 본 연구에서는 변동성 예측을 위한 reservoir 설계 원칙인 Susceptible Architectures(SUSA)와, 복소값 개방 사슬(open-chain) 및 주기적 reservoir와 국면 조건 전문가(regime-conditioned experts)에 기반한 두 가지 구체적 구현을 제안한다. 이는 평온(calm), 발현(onset), 회복(recovery), 지속적 스트레스(persistent-stress) 상태에 걸친 reservoir 특징을 해석한다. 또한 공통 AR-Ridge 앵커와 QLIKE 하에서 학습된 경계가 있는 잔차 보정을 유지하면서 Qiskit에서 개방계(open-system) $q$-qubit 대응 모델도 구현한다. 16개의 미국 주식 및 상장지수펀드(ETF) 시계열에 대해, 서로 겹치지 않는 세 개의 시간순 학습, 검증, 테스트 폴드, 12관측 입력 윈도우, 5관측 예측 구간(forecast horizon)을 사용하여 모델을 평가한다. 제안 모델은 GARCH와 경쟁력 있는 성능을 보이며, 특정 자산(IWM, XLP)에서 통계적으로 유의한 QLIKE 개선을 달성한다. 또한 모델의 예측은 HARQ 스타일 예측을 보완한다. 스택드 앙상블(stacked ensemble)은 가장 강한 구성 요소 대비 평균 QLIKE를 0.0116만큼 개선하며, 테스트 시나리오의 75%에서 우수한 성능을 보인다.
데이터 부족 뎅기열 예측을 위한 장기 기억 저장소 컴퓨팅
Long-Memory Reservoir Computing for Data-Scarce Dengue Forecasting
정확한 뎅기열 예측은 공중 보건 계획에 필수적이지만, 발생 시계열이 짧고 잡음이 많으며 비정상적이고 비선형적인 데다 장거리 시간적 의존성의 영향을 자주 받아 여전히 어려운 과제로 남아 있다. 자기회귀 분수 적분 이동평균(ARFIMA)에서의 분수 차분은 비정상성과 지속성의 균형을 맞추는 데 도움이 되지만, 선형 구조로 인해 비선형 동역학을 포착하는 능력이 제한된다. 심층 신경망은 비선형 패턴을 모델링할 수 있으나 일반적으로 대규모 학습 샘플을 필요로 하며 통계적 장기 기억을 명시적으로 인코딩하지 않는다. 에코 상태 네트워크(ESN)는 널리 사용되는 저장소 컴퓨팅 프레임워크로, 비선형 순환 동역학을 유지하면서 간단한 판독부만 학습하여 데이터 부족 환경에 적합하다는 장점이 있다. 그러나 표준 ESN은 시계열 관점에서 장기 기억이 부족하다. 본 연구는 전용 장기 기억 및 단기 기억 ESN 저장소를 릿지 회귀 판독부와 통합하는 장기 기억 저장소 컴퓨팅 프레임워크를 제안한다. 우리는 두 가지 변형을 도입한다: 장거리 의존성을 직접 인코딩하기 위해 분수 차분 동역학을 저장소에 통합하는 분수 ESN(fESN)과, 기억 인식 저장소로 모델링하기 전에 웨이블릿 평활화를 통해 안정적인 저주파 성분을 추출하는 웨이블릿 ESN(wESN)이다. 우리는 폐루프 저장소 동역학에 대한 이론적 보장을 확립하여, 표준 ESN이 온화한 조건 하에서 단기 기억 과정을 유도하는 반면 제안된 장기 기억 저장소는 통계적 장기 기억과 일치하는 다항식 감쇠 의존성을 생성함을 보인다. 여러 뎅기열 데이터셋과 예측 구간에 걸쳐 fESN과 wESN은 통계적·심층 학습 기반 베이스라인을 능가한다. 등각 예측(conformal prediction)을 fESN 및 wESN과 결합하면 분포 무관 보정 불확실성 구간을 제공한다.
Read It Back: 사전학습된 MLLM은 텍스트-이미지 생성을 위한 제로샷 보상 모델이다
Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation
본 논문에서 우리는 SpectraReward를 제안한다. SpectraReward는 사전학습된 다중모달 대규모 언어 모델(MLLM)을 이미지 생성 강화학습을 위한 즉시 사용 가능한 보상 모델로 전환하는 추가 학습이 불필요한 보상 함수이다. SpectraReward는 MLLM에게 생성된 이미지를 판단하거나 분해된 검증 질문에 답하도록 요청하는 대신, 단일 이미지 조건부 교사 강제(teacher-forced) 순전파를 통해 원본 프롬프트가 생성된 이미지로부터 얼마나 잘 복원될 수 있는지를 측정한다. 이미지 조건부 프롬프트 로그-가능도의 평균을 보상으로 사용함으로써, 선호도 레이블이나 보상 모델 미세조정 없이 MLLM의 사전학습된 이미지-텍스트 정렬 능력을 직접 재활용한다. 나아가 우리는 Self-SpectraReward를 소개한다. Self-SpectraReward는 통합 다중모달 모델을 위한 특수 사례로, 정책 자체의 이해 브랜치가 생성 브랜치를 위한 보상 모델로 기능하여 외부 보상 모델이나 외부 지식 없이 폐쇄 루프 자기 개선 프레임워크를 형성한다. 광범위한 실험을 통해 SpectraReward를 검증하였으며, 이 연구는 두 가지 확산 모델, 세 가지 강화학습 알고리즘, 4B에서 235B 파라미터에 걸친 네 가지 MLLM 계열의 아홉 가지 보상 MLLM 백본, 다섯 가지 분포 외(out-of-distribution) 텍스트-이미지 벤치마크를 포괄한다. 실험 결과, SpectraReward와 Self-SpectraReward 모두 생성 성능을 유의미하고 일관되게 향상시키며 기존 MLLM 기반 보상 학습 방법을 능가하였다. 추가 분석에 따르면 더 큰 보상 MLLM이 항상 더 우수한 것은 아니며, Self-SpectraReward는 훨씬 더 큰 외부 보상 모델과 동등하거나 이를 능가할 수 있어, 보상-정책 정렬(reward-policy alignment)이 효과적인 이미지 생성 강화학습의 핵심 요인임을 시사한다. 프로젝트 페이지: https://huangrh99.github.io/SpectraReward/
PROSWIN: 태양 영상을 이용한 심층 분포 회귀 기반의 확률론적 태양풍 속도 예측
PROSWIN: Probabilistic Solar Wind Speed Forecasting Using Deep Distributional Regression From Solar Images
빠른 태양풍 조건을 정확하게 예측하는 것은 불확실성이 크고 기존의 단일값 예측 모델로는 이를 정량화할 수 없기 때문에 어려운 과제입니다. 특히 기술적 인프라에 피해를 줄 수 있는 고속 태양풍 스트림(HSS)의 위험은 확률론적 예측 없이는 신뢰성 있게 평가될 수 없습니다. 본 연구에서는 4일의 리드 타임으로 지구에서의 시간별 태양풍 속도(SWS)를 예측하는 확률론적 머신러닝 모델인 PROSWIN을 제시합니다. 이 접근 방식은 심층 신경망(deep neural network)과 분포 회귀(distributional regression) 알고리즘을 결합하여 태양 영상과 자기장 지도(magnetogram)를 통합합니다. 표준 오차 지표는 HSS 피크의 중요성을 과소평가하므로, 타임라인과 HSS 피크 정확도를 함께 보상하는 모델 선택 지표인 예측 점수(prediction score)를 추가로 도입합니다. 14년간의 데이터에서 본 연구의 예측은 매우 잘 보정된 불확실성(평균 편차 <1%)을 달성합니다. 분포 정확도를 평가하는 지표인 연속 순위 확률 점수(CRPS)를 사용하여 타임라인 CRPS 41.0 km/s, HSS 피크 CRPS 45.3 km/s, 예측 점수 42.3 km/s를 얻었습니다. 또한 171 Å 채널이 일반적으로 사용되는 193 Å 및 211 Å 채널에 중요한 보완 요소가 되며, 모델 선택을 위한 예측 점수가 모델의 적용 가능성을 향상시킨다는 점을 확인했습니다. 기존 문헌에서 선정된 모델들과 비교했을 때, 본 모델은 둘 중 하나를 희생하지 않고 타임라인과 HSS 피크 값 모두에서 정확한 유일한 모델입니다. 이러한 결과는 단일값 태양풍 모델 대비 확률론적 모델의 이점을 뒷받침합니다. 도입된 방법론은 다른 예측 문제에도 전이 가능합니다.
텍스트-이미지 생성에서 대표 다양성을 위한 다축 Max@K 강화학습
Multi-Axis Max@K Reinforcement Learning for Representative Diversity in Text-to-Image Generation
GRATE: 게이트 회전 어텐션을 통한 귀납적 지식 그래프 파운데이션 모델의 시간적 확장
GRATE: Temporal Extensions for Inductive KG Foundation Models via Gated Rotary Attention
Ultra, Trix와 같은 지식 그래프 파운데이션 모델은 관계 그래프 표현을 학습함으로써 미지의 개체 및 관계로 강력한 귀납적 전이를 달성한다. 이러한 전이 가능성을 시간적 지식 그래프(TKG)로 확장하는 것은 여전히 어려운 과제이다. 기존의 시간적 모델은 파라미터가 데이터셋 고유의 개체, 관계, 또는 타임스탬프에 고정되어 있어 어휘가 서로 다른 TKG로의 전이를 위해 설계되지 않았다. 우리는 학습 가능한 파라미터를 추가하지 않으면서 시간을 인코딩하는 개체 측 메시지 함수인 GRATE(Gated Rotary Attention for Temporal Encoding)를 제안한다. GRATE는 각 엣지 메시지를 쿼리와의 시간 간격에 따라 회전시켜 상대적 시간 차이를 인코딩하고, 쿼리 조건부 게이트를 적용하여 시간적으로 관련된 신호를 선택한다. GRATE는 구조적 전이 가능성을 유지하면서 NBFNet 방식의 지식 그래프 파운데이션 모델에 통합된다. 기존 TKG 벤치마크는 학습/테스트 어휘를 공유하는 환경에서만 평가하므로 데이터셋 간 시간적 전이를 직접 테스트하기 어렵다. 이를 위해 우리는 보간(interpolation)과 외삽(extrapolation) 모두를 아우르며 개체, 관계, 타임스탬프가 분리된 귀납적 전이 벤치마크 스위트인 GDELTIndT와 WIKIIndT를 구축하였다. 이 벤치마크들과 홀드아웃 예측 데이터셋 전반에 걸쳐, 단일 공동 사전학습 GRATE 체크포인트는 대부분의 설정에서 정적 베이스 모델을 능가한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.