Ragged Paged Attention: A High-Performance and Flexible LLM Inference Kernel for TPU
한국어 초록
대규모 언어 모델(LLM) 배포는 점점 더 Google의 텐서 프로세싱 유닛(TPU)과 같은 비용 효율적인 가속기로 이동하고 있으며, 성능과 총소유비용(TCO)을 모두 우선시하고 있습니다. 그러나 기존의 LLM 추론 커널과 서빙 시스템은 여전히 GPU 중심이며, 특히 현대 서빙 환경에서 흔한 동적이고 비정형(ragged)인 실행 패턴 하에서 LLM 워크로드를 TPU 아키텍처에 효율적으로 매핑하는 확립된 접근법은 없습니다. 본 논문에서는 Pallas와 Mosaic을 사용해 구현한, TPU를 위한 고성능·유연한 어텐션 커널인 Ragged Paged Attention(RPA)을 제안합니다. RPA는 다음 세 가지 핵심 기법을 통해 이러한 문제를 해결합니다. (1) 비정형 메모리에 대한 효율적인 동적 슬라이싱을 가능하게 하는 세분화된 타일링, (2) KV 캐시 업데이트와 어텐션 계산을 결합하는 맞춤형 소프트웨어 파이프라인, (3) 디코드, 프리필, 혼합 워크로드를 위한 특화 커널을 생성하는 분산 인지 컴파일 전략입니다. TPU7x에서 Llama 3 8B로 평가한 결과, RPA는 디코드에서 최대 86%의 메모리 대역폭 활용률(MBU), 프리필에서 73%의 모델 FLOPs 활용률(MFU)을 달성했습니다. vLLM과 SGLang의 주요 TPU 백엔드로 통합된 RPA는 효율적인 TPU 추론을 위한 프로덕션급 기반을 제공하며, 커널 설계에 대한 실용적인 통찰도 제시합니다.
요약
대규모 언어 모델(Large Language Model, LLM)의 배포가 비용 효율이 높은 텐서 처리 장치(Tensor Processing Unit, TPU)로 빠르게 이동하는 가운데, 추론 성능과 총소유비용(total cost of ownership, TCO)을 동시에 만족시키는 커널 설계는 여전히 중요한 과제로 남아 있습니다. 특히 현대 서빙 환경에서는 요청 길이와 배치 구성이 계속 달라지는 가변형(ragged) 실행 패턴이 일반적이어서, GPU 중심으로 발전해 온 기존 어텐션 커널을 그대로 옮기는 것만으로는 TPU의 하드웨어 잠재력을 충분히 끌어내기 어렵습니다. 이러한 문제의식 속에서 제안된 Ragged Paged Attention(RPA)은 TPU의 실행 구조에 맞추어 LLM 추론을 다시 설계한 고성능·유연한 어텐션 커널입니다. 저자들은 특히 디코드 단계에서의 KV 캐시 읽기 중심 메모리 병목과, 프리필 단계에서의 대규모 행렬곱을 얼마나 효율적으로 가속하느냐가 서로 다른 핵심이라고 보고, 이를 하나의 범용 접근이 아니라 워크로드 특성에 따라 다르게 최적화해야 한다고 주장합니다. RPA의 방법론은 세 가지 축으로 정리됩니다. 첫째, 미세 타일링(fine-grained tiling)을 통해 ragged memory를 세밀한 단위로 분해하고, 동적 슬라이싱이 가능한 형태로 재배치하여 TPU의 행렬 연산 장치인 MXU(Matrix Multiply Unit)를 더 효율적으로 활용합니다. 둘째, KV 캐시 갱신과 어텐션 계산을 분리하지 않고 하나의 맞춤형 소프트웨어 파이프라인으로 엮어 데이터 이동과 연산을 겹치게 함으로써, 메모리 접근 비용을 줄이고 실행 지연을 숨깁니다. 셋째, 분포 인지 컴파일(distribution-aware compilation)을 적용해 디코드, 프리필, 혼합 워크로드 각각에 특화된 커널을 생성함으로써, 변화하는 요청 분포에 맞는 최적 실행 경로를 제공합니다. 이 과정에서 레이아웃 설계 역시 핵심적인 역할을 합니다. 특히 그룹드 쿼리 어텐션(Grouped Query Attention, GQA) 구조에서 쿼리, 키, 값의 축 순서를 TPU 친화적으로 재구성하여, 공유되는 키와 값을 여러 쿼리 헤드가 반복적으로 재사용할 수 있도록 만들고, 불필요한 transpose 비용은 KV transpose fusion으로 로드 경로 안에 흡수합니다. 이러한 설계는 단순한 메모리 최적화를 넘어, TPU의 계산 계층과 데이터 계층을 함께 고려한 시스템 수준의 방법론이라는 점에서 의미가 큽니다. 다시 말해 RPA는 어텐션을 빠르게 만드는 데 그치지 않고, 동적 길이 요청이 섞이는 실제 서빙 조건에서 하드웨어 자원을 어떤 순서와 구조로 배치해야 하는지를 구체적으로 보여 줍니다. 평가 결과는 이러한 설계의 타당성을 뒷받침합니다. Llama 3 8B를 TPU7x에서 실행했을 때 RPA는 디코드에서 최대 86%의 메모리 대역폭 활용률(memory bandwidth utilization, MBU), 프리필에서 최대 73%의 모델 FLOPs 활용률(model FLOPs utilization, MFU)을 달성하여, 각 단계의 병목에 맞는 최적화를 실제 성능으로 연결했습니다. 또한 vLLM과 SGLang의 주요 TPU 백엔드로 통합되었다는 점은, 이 방법이 연구용 프로토타입을 넘어 생산 환경에 적용 가능한 수준의 기반 기술임을 보여 줍니다. 종합하면 이 연구는 TPU에서의 LLM 추론이 단순한 포팅 문제가 아니라, 가변형 실행 패턴과 캐시 관리, 데이터 레이아웃, 컴파일 전략을 함께 재구성해야 하는 종합적 시스템 문제임을 설득력 있게 제시하며, 향후 TPU 기반 서빙 커널 설계의 중요한 기준점을 제시합니다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.