PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.20466v1cs.AI

JAXBench: 자율 TPU 커널 최적화 벤치마킹

JAXBench: Benchmarking Autonomous TPU Kernel Optimization

엄격한 벤치마크는 공유 목표를 설정함으로써 자율 GPU 커널 성능 최적화의 발전을 이끌어왔지만, TPU에 대한 이에 상응하는 벤치마크는 존재하지 않는다. Google Cloud TPU에서 AI 생성 커널 최적화를 위한 TPU 네이티브 벤치마크 스위트인 JAXBench를 제시한다. JAXBench는 관련성이 있고 최적화 여지를 제공하는 50개의 JAX 워크로드로 구성된다. 공개 MaxText 라이브러리의 Llama-3.1, DeepSeek-V3, Mixtral, Mamba-2, AlphaFold2 등 아키텍처에서 17개의 프로덕션 ML 연산자를 추출하고, 정확성이 검증된 KernelBench의 33개 연산자를 이식하여 높은 TPU v6e MXU 활용률을 달성하는 새로운 문제 크기로 설정한다. 17개 프로덕션 연산자 중 8개는 공개 Tokamax 라이브러리의 수동 최적화 Pallas 커널과 블록 크기 튜닝을 포함하며, 전문가 상한 기준선을 설정한다. JAXBench에 대한 후보 Pallas 커널 생성을 위해 4가지 피드백 기반 방법을 평가한다. Gemini 3 Flash로 전체 스위트를 평가한 결과, Pallas와 같이 문서화가 부족한 DSL에서는 모델 스케일보다 대상 특화 컨텍스트가 더 중요하다는 것을 확인한다. 큐레이션된 TPU 문서를 조건으로 사용하면 샘플당 정확도가 5.8%에서 37.3%로 향상되며, 50개 벤치마크 중 48개를 1.28배 기하평균 속도 향상으로 해결한다. 정확성이 확보되면 검색 구조가 상당한 이득을 가져오며, Autocomp의 빔 서치 파이프라인은 XLA 대비 1.36배 기하평균 속도 향상에 도달한다. 수동 튜닝된 8개 커널에서 Autocomp는 XLA 대비 1.60배 기하평균을 달성하여 2.08배 Tokamax 상한의 대부분을 회복하지만, 특화된 paged 및 ragged 어텐션 연산자에서는 뒤처진다. 고품질 TPU 커널 최적화는 여전히 어려운 과제이며, 오픈 소스 기여를 지원하기 위해 JAXBench 벤치마크, 평가 하네스, 기준선 결과를 공개한다.

arXiv:2512.23236v4cs.LG

KernelEvolve: Meta의 이기종 AI 가속기를 위한 에이전틱 커널 코딩 스케일링

KernelEvolve: Scaling Agentic Kernel Coding for Heterogeneous AI Accelerators at Meta

심층 학습 추천 모델(DLRM) 학습 및 추론의 고속화와 효율화는 매우 중요하다. 그러나 이를 위해서는 세 가지 핵심 시스템 과제, 즉 모델 아키텍처 다양성, 커널 프리미티브 다양성, 하드웨어 세대 및 아키텍처 이기종성을 해결해야 한다. 본 논문은 DLRM의 대규모 이기종성 문제를 해결하기 위한 에이전틱(agentic) 커널 코딩 프레임워크인 KernelEvolve를 제시한다. KernelEvolve는 커널 명세를 입력으로 받아 이기종 하드웨어 아키텍처 전반에 걸친 추천 모델의 커널 생성 및 최적화 과정을 자동화하도록 설계되었다. 이를 위해 KernelEvolve는 Triton과 CuTe DSL부터 저수준 하드웨어 독립 언어에 이르기까지 다양한 프로그래밍 추상화 계층에서 동작하며, 전체 하드웨어-소프트웨어 최적화 스택을 아우른다. 커널 최적화 과정은 선택 정책, 범용 연산자, 적합도 함수, 종료 규칙을 갖춘 그래프 기반 탐색으로 기술되며, 검색-증강 프롬프트 합성(retrieval-augmented prompt synthesis)을 통해 런타임 실행 컨텍스트에 동적으로 적응한다. KernelEvolve는 여러 세대의 NVIDIA 및 AMD GPU와 Meta의 AI 가속기에 걸쳐 다양한 프로덕션 추천 모델을 최적화하도록 설계, 구현 및 배포되었다. 공개된 KernelBench 벤치마크에서의 검증 결과, 세 가지 난이도에 걸친 250개 문제 전체에서 100% 통과율을 달성하였으며, 세 가지 이기종 하드웨어 플랫폼에서 160개의 PyTorch ATen 연산자에 대해 100% 정확도를 입증하였다. KernelEvolve는 개발 기간을 수 주에서 수 시간으로 단축하고, 다양한 프로덕션 사용 사례 및 대규모 이기종 AI 시스템에서 PyTorch 기준 대비 상당한 성능 향상을 달성한다. 성능 효율성 개선을 넘어, KernelEvolve는 자체 개발 AI 하드웨어에 대한 커널 자동 생성을 가능하게 함으로써 새로운 AI 하드웨어의 프로그래밍 장벽을 크게 낮춘다.

arXiv:2606.26453v1cs.LG

인간처럼 CUDA 최적화: LLM 기반 GPU 커널 최적화를 위한 전문가 대리 마이크로 프로파일링 도구

Optimizing CUDA like a Human: Micro-Profiling Tools as Expert Surrogates for LLM-Based GPU Kernel Optimization

KernelPro는 전문가 휴리스틱을 플러그 가능한 마이크로 프로파일링 도구로 인코딩하고, 도메인 적응형 MCTS와 CUTLASS/CuTe 기반 CuTe 소스 생성을 결합해 LLM이 GPU 커널을 생성·프로파일링·반복 최적화하는 폐쇄 루프 다중 에이전트 시스템이다. KernelBench Level 1/2/3에서 기하평균 2.42x/4.69x/5.30x 속도 향상을 달성했고, VeOmni MoE 학습 커널에서는 수동 튜닝 Triton 대비 1.23x를, 동일 속도에서 11.6% 에너지 절감을 입증했다.