DeltaNet, Gated DeltaNet, Kimi Delta Attention, Gated DeltaNet-2 등 네 가지 순환형 선형 어텐션(linear attention) 아키텍처를 소프트맥스 어텐션과 공통 순환 메모리 표기법으로 비교 분석하며, 표현력·메모리 감쇠·학습 처리량 측면의 트레이드오프를 실험적으로 규명한다. 또한 DeltaNet 방식 메모리에 경량 크로스-레이어 라우팅 메커니즘인 Cross-Layer Value Routing(CLVR)을 도입해 DeltaNet과 Gated DeltaNet 모두에서 최종 검증 손실을 소폭 개선함을 보인다.
표준 자기회귀(autoregressive) 트랜스포머 디코더는 변화하는 커리큘럼 분포에 대한 순차적 미세조정 과정에서 상당한 망각을 보이는 경우가 많다. 본 기술 보고서는 RMS 정규화와 출력 스케일 보정을 사용하여 Differential-Attention 스타일 층과 DeltaNet에서 영감을 받은 단순화된 선형 상태 믹서 층을 교대로 배치한 실험적 356M 매개변수 하이브리드 시퀀스 디코더인 SamatNext v0.2-B를 평가한다. 제어된 단계별 Python 코드 커리큘럼 하에서 모델을 연구하고, 매개변수가 일치하는 트랜스포머 기준선과 비교한다. 이 설정에서 SamatNext v0.2-B는 제어된 Stage 5 홀드아웃에서 100.0% 통과율을 달성하면서 인접한 Stage 3 의미적 동작의 98.8%를 유지하고, Stage 2E 초기 구문 홀드아웃에서 12.0%에 도달한다. 가장 강력한 트랜스포머 기준선은 Stage 5에서 97.6%에 도달하지만 Stage 3 동작의 6.0%만 유지한다. 두 아키텍처 모두 장기 초기 단계 유지에서 여전히 취약하므로, 이 결과는 이 제어된 설정에서 유지/가소성(plasticity) 트레이드오프가 변화했음을 보여주는 증거로 해석해야 하며, 치명적 망각(catastrophic forgetting)에 대한 일반적인 해결책으로 해석해서는 안 된다. 코드, 모델 사양, 평가 스크립트, 결과 표는 독립적인 검증을 위해 제공된다.
최근 연구에서는 비(非)트랜스포머 언어 모델, 특히 선형 순환 신경망(RNN)과 순환(recurrence)과 어텐션을 결합한 하이브리드 모델의 잠재력을 입증했습니다. 그러나 이러한 새로운 아키텍처의 잠재적 이점이 이를 대규모로 확장(scaling)하는 데 따르는 위험과 노력을 정당화할지에 대해서는 아직 합의가 이루어지지 않았습니다. 이를 해결하기 위해, 우리는 여러 측면에서 하이브리드 모델이 순수 트랜스포머보다 가지는 이점에 대한 증거를 제시합니다. 첫째, 이론적으로 하이브리드 모델이 트랜스포머와 선형 RNN의 표현력을 단순히 물려받는 것에 그치지 않고, 코드 실행과 같이 그 이상의 작업을 표현할 수 있음을 보여줍니다. 이 이론을 실제에 적용하기 위해, 우리는 Olmo 3 7B와 대체로 비슷하지만 슬라이딩 윈도우 레이어를 Gated DeltaNet 레이어로 대체한 7B 매개변수 모델인 Olmo Hybrid를 학습시켰습니다. Olmo Hybrid가 표준 사전학습 및 중간 학습 평가 전반에 걸쳐 Olmo 3보다 우수한 성능을 보임을 통해, 통제된 대규모 설정에서 하이브리드 모델의 이점을 입증했습니다. 우리는 하이브리드 모델이 트랜스포머보다 훨씬 더 효율적으로 스케일링됨을 발견했으며, 이는 그 더 높은 성능을 설명합니다. 그러나 특정 형식적 문제에 대한 더 큰 표현력이 왜 더 나은 스케일링이나 그러한 문제와 관련 없는 다운스트림 태스크에서의 우수한 성능으로 이어져야 하는지는 불분명합니다. 이러한 명백한 격차를 설명하기 위해, 우리는 다시 이론으로 돌아가 증가된 표현력이 더 나은 스케일링 효율로 이어져야 하는 이유를 논증하며, 이론과 실제의 순환을 완성합니다. 전반적으로, 우리의 결과는 어텐션과 순환 레이어를 혼합한 하이브리드 모델이 언어 모델링 패러다임에 대한 강력한 확장임을 시사합니다: 추론(inference) 중 메모리를 줄이는 것뿐만 아니라, 사전학습 중 더 잘 스케일링되는 더 표현력 있는 모델을 얻는 근본적인 방법으로서 그렇습니다.