arXiv:2611.20095v1 cs.PF

실행 조건을 고려한 메가커널과 커널 융합으로 Nemotron 3.5 Transcribe 고처리량 서빙하기

High-Throughput Serving of Nemotron 3.5 Transcribe with Regime-Aware Megakernels and Kernel Fusion

Aditya Chatterjee, Sanjay Singh Chauhan, Mayank Jain, Arushi Dhingra, Sahin Chowdhury, Rahul Mittal

제출 2026-11-17

한국어 초록

Nemotron 3.5 Transcribe는 Hugging Face Open ASR 리더보드에서 가중치가 공개된 모델 중 1위다. 이 모델의 효율적인 서빙에는 연산자 자체의 속도 외에도 고려할 점이 있다. 연속 배치 처리에서는 반복마다 작업량과 작업 구성이 달라지고, 이에 따라 가장 효율적인 커널 융합 단위도 달라진다. 본 연구는 오프라인에서 측정한 성능 교차점을 기준으로 실행할 때마다 지속 실행 메가커널과 융합 커널의 연쇄 실행 중 하나를 선택하는 서빙 엔진을 제시한다. 정확도를 유지하는 이 서빙 방식의 H100 SXM GPU 최고 처리량은 실시간의 4,345배로, 최적화한 vLLM의 최고치보다 1.39배 높았다. 동시성이 낮을 때는 최대 4.39배 빨랐다. B200에서는 최고 처리량이 실시간의 6,367배였으며, 측정한 가장 높은 동시성에서 vLLM의 1.64배였다. 단어 오류율(WER)은 1.91~1.93%였고 vLLM은 1.88~1.93%였다. 종단 간 완료 시간의 95번째 백분위수를 400ms 이내로 제한하면 동시 요청을 8배 더 많이 처리할 수 있었다. 매번 실행 방식을 선택하는 편이 어느 한 방식만 적용하는 것보다 나았다. 동시 요청 128개에서는 항상 메가커널을 쓰는 것보다 처리량이 23% 높았고, 동시 요청 8개에서는 항상 융합 커널을 쓰는 것보다 9% 높았다. 탐욕적인 전문가 혼합(MoE) 층 건너뛰기 등을 선택적으로 활성화하면, 더 높은 WER을 허용하는 오프라인 작업에서 B200의 처리량을 13~16% 추가로 높일 수 있었다.

원문 초록

Nemotron 3.5 Transcribe ranks first among open-weight models on the Hugging Face Open ASR leaderboards. Serving it efficiently takes more than fast operators: continuous batching changes the amount and mix of work at every iteration, and the best fusion granularity changes with it. We present a serving engine that, for every pass, chooses between persistent megakernels and chains of fused kernels at crossovers measured offline. On an H100 SXM GPU, throughput of our accuracy-preserving serving peaks at 4,345x real time, 1.39x the peak of tuned vLLM, and is up to 4.39x faster at low concurrency; on B200 it peaks at 6,367x, 1.64x vLLM at the highest concurrency we measured. Word error rate (WER) is 1.91 to 1.93% against 1.88 to 1.93% for vLLM. Within a 400 ms budget for p95 end-to-end completion time, it serves 8x as many concurrent requests. Choosing per pass beats either level alone: 23% higher throughput than always using megakernels at 128 concurrent requests, and 9% higher than always using fused kernels at 8. Opt-in switches, including greedy MoE layer skipping, add 13 to 16% throughput on B200 for offline jobs that can accept higher WER.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.20095v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.