KernelOPT: GPU 커널 최적화를 위한 디스패치 인식 에이전틱 탐색
KernelOPT: Dispatch-Aware Agentic Search for GPU Kernel Optimization
심층 학습(deep learning) 추론(inference) 및 학습(training) 성능은 GPU 커널(kernel) 효율성에 결정적으로 의존합니다. PyTorch Inductor와 같은 최신 컴파일러는 고수준 모델(model) 코드로부터 GPU 커널을 자동으로 생성하지만, 전문가가 작성한 구현에 비해 큰 격차로 성능이 뒤처지는 경우가 많습니다. 최근 LLM 기반 커널 옵티마이저(optimizer)는 독립 실행형 커널에 대해 이러한 격차를 좁힐 수 있지만, 컴파일된 모델을 블랙박스로 취급하여 컴파일러의 구조적 결정을 고려하지 않거나 모델을 엔드투엔드로 검증하지 않은 채 개별 독립 실행형 커널을 최적화하는 데 그칩니다. 본 논문에서는 컴파일된 모델을 구조화된 아티팩트로 취급하는 멀티 에이전트(agent) 시스템인 KernelOPT를 제시합니다. 이는 벤더 라이브러리 호출(cuBLAS, cuDNN)을 보존하며, 5개의 프로파일링(profiling) 유도 LLM 에이전트를 사용하여 생성된 Triton 서브 커널만을 전적으로 최적화 대상으로 삼습니다. 4단계 게이트 검증(validation) 캐스케이드는 정적 검증, 다중 시드(multi-seed) 정확성 검사, 모델 수준 float64 폴백 검증, 성능 게이팅($γ{=}1.03$)을 적용하여 후보를 필터링하고 재결합된 모델을 엔드투엔드로 검증합니다. 후보가 검증에 실패할 경우 시스템은 컴파일러 기준선(baseline)을 유지합니다. 이 시스템은 PyTorch nn 모듈, 독립 실행형 Triton 커널, Helion 커널을 지원합니다. NVIDIA H200에서 250개의 KernelBench 문제(레벨 1 100개, 레벨 2 100개, 레벨 3 50개)를 대상으로 평가한 결과, KernelOPT는 폴백 사례를 포함한 모든 커널에 걸쳐 torch compile 대비 기하평균 속도 향상 1.40$\times$(L1), 1.15$\times$(L2), 1.07$\times$(L3)를 달성했습니다. 최적화된 경우만의 기하평균(검증 게이트가 컴파일러 기준선을 보존한 사례 제외)은 2.54$\times$(L1: 36/100), 1.84$\times$(L2: 23/100), 1.37$\times$(L3: 11/50)로 상당히 높아, 옵티마이저가 유의미한 레버리지를 확보한 지점을 반영합니다.