PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.30389v1cs.LG

예측, 재사용, 수정: 장문 컨텍스트 LLM 디코딩을 위한 동적 희소 어텐션 가속화

Predict, Reuse, and Repair: Accelerating Dynamic Sparse Attention for Long-Context LLM Decoding

동적 희소 어텐션(DSA)의 선택-어텐션 직렬 의존성으로 인한 디코딩 지연 문제를 해결하기 위해, PRR은 EMA 기반 예측기로 KV 블록을 사전 추측하고 선택과 병렬로 어텐션을 수행한 뒤 누락된 블록만 온라인 소프트맥스 기반 FlashAttention 커널로 점진적으로 수정한다. LongBench, RULER 등 장문 컨텍스트 벤치마크에서 Quest 대비 1.42×, InfLLM-v2 대비 1.56× 속도 향상을 달성하면서도 다운스트림 태스크 정확도를 유지했다.