기존 다중 토큰 예측(MTP) 기반 추론 가속 방식이 정적 트리 토폴로지를 사용해 문맥의 엔트로피 변화를 반영하지 못하는 문제를 해결하기 위해, EntMTP는 로컬 생성 엔트로피 추정치에 따라 작업별 파레토 최적 트리 집합 중 적절한 어텐션 토폴로지를 동적으로 선택하는 학습 불필요 스케줄러를 제안한다. Humaneval, ShareGPT, GSM8k, Litbench 벤치마크에서 Hydra 대비 최대 1.15배, Medusa 대비 최대 1.36배의 추론 속도 향상을 생성 품질 저하 없이 달성했다.
비전-언어 모델(VLM)은 이미지에서 구조화된 텍스트로의 종단 간(end-to-end) 매핑을 가능하게 함으로써 문서 파싱에 혁신을 가져왔으나, 특히 토큰 밀도가 높은 문서에서 심각한 지연 병목을 야기한다. 다중 토큰 예측(MTP, Multi-Token Prediction)은 추론 가속화를 위한 유망한 접근법으로 부상했지만, 더 깊은 룩어헤드(look-ahead) 깊이로 확장할 때 최적화 불안정성으로 인해 그 잠재력이 제한된다. 본 논문에서는 경량 MTP 모듈을 활용한 점진적 다중 토큰 예측(Progressive Multi-Token Prediction)으로 룩어헤드 깊이를 확장하여 고처리량 문서 파싱을 실현하는 프레임워크 P-MTP를 제안한다. 구체적으로, 누적 경로 신뢰도(cumulative path reliability)와 회고적 목표 일관성(retrospective target consistency)을 이용해 서로 다른 룩어헤드 깊이를 적응적으로 재가중하는 점진적 커리큘럼 손실(Progressive Curriculum Loss)을 도입한다. 장거리 예측에서의 그래디언트 노이즈를 효과적으로 억제함으로써, P-MTP는 자동화된 쉬운 것에서 어려운 것으로의 최적화 전환을 촉진하여 모델이 점점 더 먼 룩어헤드 깊이를 습득할 수 있게 한다. 나아가, 추론 중 투기적 길이(speculative length)를 적응적으로 보정하여 유효 룩어헤드 깊이와 수용률을 극대화하는 신뢰도 기반 동적 드래프팅(Confidence-Gated Dynamic Drafting)을 제안함으로써 불필요한 연산 낭비를 최소화하고 추론 속도 향상의 한계를 더욱 확장한다. 다양한 벤치마크와 아키텍처에 걸친 실험 결과, P-MTP는 정확도 손실이 무시할 수 있는 수준에서 최대 5배의 속도 향상을 달성하며, 문서 파싱 분야에서 광범위한 룩어헤드 MTP에 대한 첫 번째 성공적인 검증을 제공한다.
강화학습(RL)은 현대 대규모 언어 모델의 핵심 구성 요소가 되었지만, 롤아웃 단계는 여전히 RL 학습 파이프라인의 주요 병목 현상입니다. 다중 토큰 예측(MTP)은 추측적 디코딩을 통해 롤아웃을 가속화할 수 있는 자연스러운 해결책을 제공하지만, 많은 연구에서 RL 학습 중 MTP 수락률이 현저히 저하되어 가속 효과가 제한적임을 관찰했습니다. 이러한 병목 현상을 해결하기 위해, 우리는 LLM 사후 학습에서의 MTP에 대한 체계적인 연구인 Bebop을 제시하고, 대규모 RL 파이프라인에 MTP를 통합하기 위한 실용적인 방법론을 제공합니다. 첫째, 우리는 MTP 수락률이 근본적으로 모델 엔트로피의 변동에 의해 제한됨을 밝혔으며, 이는 RL 단계에서 엔트로피가 증가함에 따라 명확한 음의 선형 관계를 보여줍니다. 둘째, 우리는 확률적 거부 샘플링이 탐욕적 드래프트 샘플링에 비해 RL에서 엔트로피가 유발하는 교란을 크게 완화함을 보여줍니다. 우리는 또한 기존의 MTP 학습 목적 함수(교차 엔트로피 또는 KL)가 이러한 설정에서 최적이 아님을 확인했으며, 따라서 다단계 거부 샘플링 수락률을 직접 최적화하는 새로운 종단 간 TV 손실을 제안합니다. 이는 약 10%의 수락률 향상을 이끌어내며, 수학적 추론, 코드 생성, 에이전트 작업 전반에서 최대 95%의 수락률과 최대 25%의 추가 추론 처리량 이득을 달성했습니다. 셋째, 우리는 RL 중 다양한 온라인 MTP 학습 전략을 테스트했으며, e2e TV 손실과 거부 샘플링을 사용한 RL 이전 MTP 학습이 전체 RL에 걸쳐 일관된 수락률과 가속을 달성하여 비용이 많이 드는 온라인 MTP 업데이트의 필요성을 제거함을 보여줍니다. 우리는 우리의 발견을 검증하는 광범위한 실험과 분석을 제공합니다. 실험 결과는 우리의 방법이 Qwen3.5, Qwen3.6, Qwen3.7 모델의 비동기 RL 학습에서 최대 1.8배의 종단 간 가속을 달성함을 보여줍니다.