PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.12364v1cs.LG

준2차 아키텍처에 대하여: 응용에서 원리로

On Subquadratic Architectures: From Applications to Principles

트랜스포머는 현대 시퀀스 모델링을 지배하지만, 2차 어텐션(quadratic attention)으로 인해 상당한 계산 비용이 발생합니다. 준2차 아키텍처는 확장 가능한 대안을 제공합니다. 그러나 어떤 설계가 가장 효과적인 시퀀스 모델을 만드는지는 여전히 불분명합니다. 우리는 세 가지 주요 접근법인 xLSTM, Mamba-2, Gated DeltaNet을 비교합니다. 우리는 복잡한 의존성이 있는 작업에서 이 모델들을 평가합니다: (1) 코드 모델 사전학습, (2) 대규모 언어 모델(LLM)로부터의 코드 모델 지식 증류, (3) 시계열 파운데이션 모델 사전학습. 이러한 설정 전반에서 xLSTM이 가장 강력한 전반적인 성능을 보여주었습니다. xLSTM의 이점을 설명하기 위해 우리는 통합된 공식화를 제시하고, 상태 추적(state tracking)과 메모리 역학(memory dynamics)에 초점을 맞춰 기본이 되는 아키텍처 메커니즘을 분석합니다. 결과에 따르면 xLSTM은 게이팅 방식(gating scheme)을 통해 더 유연하고 안정적인 메모리 수정을 가능하게 합니다. 우리는 제어된 합성 길이 일반화(length-generalization) 작업에서 이러한 발견을 확인했습니다. 전반적으로, 우리의 발견은 복잡한 작업에서의 xLSTM의 성능 향상이 강력한 상태 추적(state tracking)과 누적(accumulation)에서 비롯됨을 나타냅니다.