트래픽 행렬(TM)은 네트워크 전역의 출발지-목적지(origin-destination) 수요를 포착하며 트래픽 엔지니어링의 핵심이지만, 온라인 네트워크 제어의 메모리, 갱신, 학습 예산 제약 하에서 예측을 수행해야 할 때 정확한 전체 행렬 예측은 여전히 어렵다. 본 논문은 전용 그래프, 트랜스포머, 또는 확산(diffusion) 모듈에 의존하지 않고도 소형 양자 영감 순환 모델이 효과적인 TM 예측을 제공할 수 있는지 조사한다. 우리는 게이트드(gated) 양자 영감 Kolmogorov-Arnold 네트워크 고속 가중치 프로그래머(QKAN-FWP)를 다단계 Abilene TM 예측에 직접 적용하며, 각 모델은 2시간 이력으로부터 144채널 출발지-목적지(OD) 행렬의 향후 20개 5분 프레임을 예측한다. 공유된 고정 예산 학습 프로토콜 하에서 세 가지 QKAN 배치 변형을 동일 크기 장단기 기억(LSTM) 네트워크, 더 큰 LSTM, 그리고 고전적 게이트드 고속 가중치 프로그래머와 벤치마크한다. 평가된 순환 모델 중 G-QKANFWP는 더 큰 LSTM의 22.4%만 사용하면서 최고의 풀링 루트 평균 제곱 오차(RMSE)를 달성한다. 또한 동일 크기 LSTM과 고전적 G-FWP 기준선 모두를 능가하여, 성능 향상이 게이트드 고속 가중치 프레임워크만으로 인한 것이 아님을 보여준다. 수렴 및 채널별 분석은 추가로 양자 영감 변형이 동일 크기 순환 기준선보다 낮은 검증 손실 학습 곡선 하 면적(AULC)을 얻음을 보여주며, G-QKANFWP와 GQKAN-FWP는 훨씬 더 많은 OD 채널에서 우수한 성능을 달성한다. 이러한 결과는 고전적 느린 프로그래머와 양자 영감 고속 프로그래머의 조합이 자원에 민감한 네트워크 트래픽 행렬 예측을 위한 유망한 정확도-효율 설계임을 밝힌다.
트랜스포머 기반 대규모 언어 모델이 장문맥 작업을 처리할 때 어텐션 메커니즘의 확장성이 심각한 제약이 되고 있는 상황에서, 이 연구는 생물학적 수면 메커니즘에서 영감을 얻은 혁신적인 메모리 통합 기법을 제시합니다. 제안된 방법은 모델이 주기적으로 최근의 컨텍스트를 상태-공간 모델 (State-Space Model, SSM) 블록의 영구적인 빠른 가중치 (fast weights)로 변환한 후 키-값 캐시를 비우는 수면-같은 통합 메커니즘에 기반합니다. 이 과정에서 모델은 누적된 컨텍스트에 대해 N번의 오프라인 반복 통과를 수행하며, 학습된 국소 규칙을 통해 빠른 가중치를 업데이트하게 됩니다. 이러한 설계의 핵심 장점은 추가 계산을 모두 수면 단계에 이동시킴으로써 추론 시점의 지연 시간을 변화시키지 않으면서도 깊이 있는 추론을 지원할 수 있다는 점입니다.
연구팀은 셀룰러 오토마톤, 다중 홉 그래프 검색 (Depo), 그리고 현실적인 수학 추론 작업 (GSM-Infinite)을 포함한 세 가지 점진적으로 복잡한 환경에서 방법을 검증했습니다. 셀룰러 오토마톤 작업에서는 반복 없는 기준선이 약 10% 정확도에 머물렀던 반면, 4개의 수면 루프를 사용한 모델은 30% 이상의 정확도를 달성하여 3배 이상의 성능 향상을 보였습니다. Depo 작업에서는 오프라인 루프의 개수를 늘릴수록 특히 고수준의 다중 홉 검색이 필요한 복잡한 쿼리에서의 학습 속도가 가속화되었으며, 가장 어려운 16-홉 작업에서는 4-루프 모델만이 유의미한 개선을 보였습니다. 현실적인 수학 추론 작업인 GSM-Infinite에서는 깊이-반복 모델인 Ouro 1.4B가 4개의 수면 루프를 통해 6개 연산이 필요한 문제에서 정확도를 0.419에서 0.615로 약 20% 향상시켰으며, 더 많은 연산이 필요한 8개 연산 문제에서도 지속적인 성능 개선을 보였습니다. 특히 슬라이딩 윈도우 제거 전략을 적용한 실험에서는 좁은 컨텍스트 윈도우 환경에서 0.596에서 0.905로의 극적인 52% 정확도 향상을 기록하여, 제안된 방법이 검색뿐 아니라 관련 컨텍스트 압축과 깊은 추론 모두에 효과적임을 입증했습니다.
이 연구의 핵심 발견은 수면 기간의 증가가 특히 더 깊은 추론을 요구하는 작업에서 눈에 띄는 성능 향상을 가져온다는 점으로, 이는 추가의 오프라인 계산이 장문맥 처리 및 다단계 추론 능력의 향상에 필수적임을 시사합니다. 학습 처리량은 수면 루프 개수에 비례하여 감소하지만, 추론 시의 지연 시간은 유지되므로 잠재 시간 민감 응용에 적합합니다. 결과적으로 이 연구는 트랜스포머의 근본적인 확장성 문제를 해결하면서도 실제 추론 성능을 향상시키는 실용적인 솔루션을 제공함으로써, 더욱 견고하고 정확한 대규모 언어 모델의 개발에 유의미한 기여를 하고 있습니다.