PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.13392v1cs.AI

MiniMax 희소 어텐션

MiniMax Sparse Attention

Grouped Query Attention(GQA) 기반의 MiniMax Sparse Attention(MSA)는 인덱스 분기와 메인 분기를 활용한 블록 단위 희소 어텐션으로 대규모 언어 모델(LLM)의 초장문맥 처리 비용 문제를 해결한다. 109B 파라미터 모델에서 GQA 대비 성능 저하 없이 1M 컨텍스트 기준 토큰당 연산량을 28.4배 줄이고 추론 속도를 최대 14.2배 향상시켰다.