심층 학습(deep learning) 추론(inference) 및 학습(training) 성능은 GPU 커널(kernel) 효율성에 결정적으로 의존합니다. PyTorch Inductor와 같은 최신 컴파일러는 고수준 모델(model) 코드로부터 GPU 커널을 자동으로 생성하지만, 전문가가 작성한 구현에 비해 큰 격차로 성능이 뒤처지는 경우가 많습니다. 최근 LLM 기반 커널 옵티마이저(optimizer)는 독립 실행형 커널에 대해 이러한 격차를 좁힐 수 있지만, 컴파일된 모델을 블랙박스로 취급하여 컴파일러의 구조적 결정을 고려하지 않거나 모델을 엔드투엔드로 검증하지 않은 채 개별 독립 실행형 커널을 최적화하는 데 그칩니다. 본 논문에서는 컴파일된 모델을 구조화된 아티팩트로 취급하는 멀티 에이전트(agent) 시스템인 KernelOPT를 제시합니다. 이는 벤더 라이브러리 호출(cuBLAS, cuDNN)을 보존하며, 5개의 프로파일링(profiling) 유도 LLM 에이전트를 사용하여 생성된 Triton 서브 커널만을 전적으로 최적화 대상으로 삼습니다. 4단계 게이트 검증(validation) 캐스케이드는 정적 검증, 다중 시드(multi-seed) 정확성 검사, 모델 수준 float64 폴백 검증, 성능 게이팅($γ{=}1.03$)을 적용하여 후보를 필터링하고 재결합된 모델을 엔드투엔드로 검증합니다. 후보가 검증에 실패할 경우 시스템은 컴파일러 기준선(baseline)을 유지합니다. 이 시스템은 PyTorch nn 모듈, 독립 실행형 Triton 커널, Helion 커널을 지원합니다. NVIDIA H200에서 250개의 KernelBench 문제(레벨 1 100개, 레벨 2 100개, 레벨 3 50개)를 대상으로 평가한 결과, KernelOPT는 폴백 사례를 포함한 모든 커널에 걸쳐 torch compile 대비 기하평균 속도 향상 1.40$\times$(L1), 1.15$\times$(L2), 1.07$\times$(L3)를 달성했습니다. 최적화된 경우만의 기하평균(검증 게이트가 컴파일러 기준선을 보존한 사례 제외)은 2.54$\times$(L1: 36/100), 1.84$\times$(L2: 23/100), 1.37$\times$(L3: 11/50)로 상당히 높아, 옵티마이저가 유의미한 레버리지를 확보한 지점을 반영합니다.
대규모 언어 모델(LLM)의 최근 발전으로 자동화된 커널 생성 및 최적화가 가능해졌지만, 기존 접근 방식의 대부분은 컴파일 피드백 및 프로파일링 지표와 같은 표면적 신호에 의존한다. 이러한 신호는 커널이 느리다는 사실은 알려주지만, 특히 NPU와 같은 신흥 가속기에서 백엔드 컴파일러가 유리한 최적화를 구현하지 못하는 이유는 밝혀주지 않는다. 따라서 우리는 소스 재작성 전에 런타임 증상을 IR 구조 및 컴파일러 동작과 연결하는 점진적 교차층 진단 문제로 커널 최적화를 공식화한다. 이러한 통찰을 바탕으로 Triton 커널을 위한 컴파일러 기반 계층적 최적화 프레임워크인 본 시스템을 제안한다. 본 시스템은 가벼운 패턴 선별 및 프로파일링 진단에서 시작하여 더 깊은 증거가 필요할 때만 IR 귀속 및 컴파일러 기반 분석으로 단계를 높인 뒤, 증거에 기반한 소스 수준 재작성을 제안한다. 본 시스템을 Ascend NPU용 Triton에 구현하고, 표준화된 NPUKernelBench 기반 Ascend 950 벤치마크에서 성공적으로 변환된 37개 항목에 대해 평가한다. 이들 항목 전체에서 시스템은 초기 Triton 커널에서 최적화된 Triton 커널까지 기하평균 4.35$\times$, 중앙값 2.73$\times$의 속도 향상을 달성한다. 37개 중 22개는 2$\times$를 초과하고 13개는 5$\times$를 초과한다. 전체 분포는 기준선에 근접한 항목부터 큰 성능 향상까지 이르는 범위를 보이며, 이는 현재 시스템의 범위와 한계를 투명하게 보고할 필요를 부각한다.
대규모 언어 모델(LLM) 기반 코드 생성의 급속한 발전에도 불구하고, 하드웨어 가속기를 위한 정확하고 고성능인 커널을 작성하는 것은 현대 ML 워크로드를 스케일링하는 데 여전히 핵심 병목으로 남아 있다. 우리는 MKEvolve(Modular Kernel Evolve)를 제안한다. 이는 복잡한 PyTorch 모듈의 모듈형 분해와 각 서브모듈에 대한 LLM 생성 커널을 반복적으로 공진화하는 프레임워크로, 반복마다 분할과 융합을 통해 분해를 정교화하고 LLM 기반 빔 서치(beam search)로 각 서브커널을 독립적으로 개선한다. 결과 커널은 독립적으로 검증된 서브커널의 프로그램적 조합으로, 구성 가능(서브커널 구현체 교체 가능), 해석 가능(오류와 속도 향상을 특정 서브커널에 추적 가능), 관련 모델 아키텍처에 쉽게 적응 가능하다. Triton을 이용한 KernelBench L2 및 L3 실험(다중 연산자 시퀀스와 전체 모델 아키텍처를 포괄) 결과, MKEvolve는 end-to-end 직접 합성 기준선 대비 정확성과 속도 향상을 모두 개선하면서 LLM 토큰 사용량을 최대 35%까지 감소시킨다.
LLM이 생성한 GPU 커널에 대한 벤치마크(KernelBench, TritonBench, GEAK)는 고정된 형태와 적은 수의 샘플을 사용하는 allclose 스타일 검사를 통해 정확성을 평가합니다. 입력의 개수는 벤치마크마다 다릅니다. 형태(shape), 데이터 타입(dtype), 허용 오차(tolerance)는 각 커널마다 고정됩니다. 우리는 그 오라클을 경험적으로 테스트합니다. 우리는 24개의 Triton 및 CPU 대용 커널(15개의 정답 컨트롤과 문서화된 전사 오류가 시드된 9개의 LLM 스타일 버그 변형)로 구성된 통제된 코퍼스를 구축하고, 고정밀도(fp64) CPU 참조와 연산(op) 및 데이터 타입(dtype)별 절대 허용 오차를 사용하는 연산 스키마 인식 시드 기반 퍼징 하에서 이를 재평가합니다. 시드된 오라클은 9개의 버그 커널을 모두 탐지하고 15개의 정답 컨트롤을 모두 통과시키며, 컨트롤에 대한 정밀도 비용은 0입니다. 우리는 코퍼스를 26개 연산으로 확장(flash-attention 쌍 추가)하고 5개 GPU 클래스(RTX 3060, A10, L40S, A100 SXM4, H100 NVL)에서 동일한 프로토콜을 다시 실행합니다. 결과는 5개 GPU 모두에서 동일합니다: 10개의 착각이 모두 포착되었고 16개의 컨트롤은 모두 오류가 없었습니다. 코퍼스 결과는 단일 형태 allclose 오라클이 정답으로 인증하는 LLM 스타일 전사 버그에 대한 것이지, 특정 배포된 LLM의 버그율에 대한 것이 아닙니다. 탐지된 모든 실패는 저장된 시드에서 바이트 단위로 정확히 재현됩니다.