PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.24650v1cs.CL

Harmonic: Hierarchical State Space Models for Efficient Long-Context Language Modeling

Harmonic은 점점 느린 시간 척도로 쌓은 3단계 계층형 상태 공간 모델(SSM)로, 하위 레벨의 원시 은닉 상태 대신 예측 오차를 상위 입력으로 쓰는 구조다. enwiki8과 WikiText-103에서 동일 토큰 예산 하 Transformer·Mamba보다 긴 문맥일수록 검증 손실(bpt)이 낮고, 64K 토큰에서는 80GB H100에서 베이스라인이 OOM인 반면 O(L) 연산으로 학습이 가능하며, TinyLlama의 어텐션을 HarmonicBlock으로 바꾼 Hallamonic은 RoPE 한계 없이 1K–8K에서 손실이 안정적이다.