EntMTP: 엔트로피 유도 다중 토큰 예측을 통한 LLM 추론 가속
EntMTP: Accelerating LLM Inference with Entropy Guided Multi Token Prediction
기존 다중 토큰 예측(MTP) 기반 추론 가속 방식이 정적 트리 토폴로지를 사용해 문맥의 엔트로피 변화를 반영하지 못하는 문제를 해결하기 위해, EntMTP는 로컬 생성 엔트로피 추정치에 따라 작업별 파레토 최적 트리 집합 중 적절한 어텐션 토폴로지를 동적으로 선택하는 학습 불필요 스케줄러를 제안한다. Humaneval, ShareGPT, GSM8k, Litbench 벤치마크에서 Hydra 대비 최대 1.15배, Medusa 대비 최대 1.36배의 추론 속도 향상을 생성 품질 저하 없이 달성했다.