PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.23215v2cs.LG

FastKernels: 프로덕션 환경에서의 GPU 커널 생성 벤치마킹

FastKernels: Benchmarking GPU Kernel Generation in Production

GPU 커널(kernel) 생성을 위한 대규모 언어 모델(LLM) 기반 에이전트(agent)는 빠르게 발전하고 있지만, 이들이 최적화 대상으로 삼는 벤치마크는 합성 입력과 취약한 베이스라인을 바탕으로 커널을 개별적으로 평가하여 실제 추론(inference) 시스템에서는 깨지거나 사라지는 샌드박스 환경 내 가속에만 보상을 제공합니다. 본 논문에서는 8개 카테고리에 걸친 47개의 대표적인 아키텍처에서 도출된 384개의 태스크로 구성된 벤치마크인 FastKernels를 소개합니다. 이 벤치마크의 커널들은 네이티브 구현과 일치하는 출력을 유지하면서 HuggingFace Transformers 아키텍처의 94.6%(472/499)를 재구현하기에 충분합니다. 각 태스크는 해당하는 프로덕션 모듈의 인터페이스를 반영하며 실제 프로덕션 프레임워크가 제공하는 커널과 비교 평가됩니다. 또한 태스크들은 기본 단위(primitives)부터 전체 모델에 이르기까지 상위 모듈이 하위 모듈을 임포트하는 구성적 계층 구조(compositional hierarchy)를 형성합니다. 후보 커널들은 커널 수준뿐만 아니라 유래된 모델 내부의 실제 프로덕션 실행 경로 상에서 엔드투엔드로 평가되며, MacroEval은 보정된 정확도, 커버리지, 속도 향상을 리더보드로 종합합니다. 5개의 대표적인 에이전트를 대상으로 벤치마크를 수행한 결과(6,900 에이전트-시간), 1.6~6.6배에 달하던 커널 수준의 가속이 엔드투엔드에서는 최대 1.25배로 축소되고, 승리한 커널 세트 중 그대로 정상 실행되는 비율은 20%에 불과하며, 커널 수준의 점수가 에이전트 순위를 잘못 매긴다는 점을 발견했습니다. 구체적으로 Claude Code는 단독 평가 시 모든 수준에서 KDA와 비슷하거나 우수한 성능을 보였으나, 엔드투엔드에서는 KDA가 3배 더 높은 점수를 기록했습니다. 코드는 https://github.com/Snowflake-AI-Research/fastkernels 에서 확인할 수 있습니다.