MiniMax 희소 어텐션
MiniMax Sparse Attention
Grouped Query Attention(GQA) 기반의 MiniMax Sparse Attention(MSA)는 인덱스 분기와 메인 분기를 활용한 블록 단위 희소 어텐션으로 대규모 언어 모델(LLM)의 초장문맥 처리 비용 문제를 해결한다. 109B 파라미터 모델에서 GQA 대비 성능 저하 없이 1M 컨텍스트 기준 토큰당 연산량을 28.4배 줄이고 추론 속도를 최대 14.2배 향상시켰다.