PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.20908v1cs.LG

CUDA 커널 생성을 위한 구조 및 성능 인식 보상 기반 멀티턴 강화학습

Multi-turn RL with Structural and Performance Aware Rewards for CUDA Kernel Generation

검증 가능 보상 강화학습(RLVR)은 최적화된 코드 생성을 위해 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 강력한 기법으로 부상했다. 그러나 기존 RLVR 접근법은 주로 정확성과 속도 향상(speedup)과 같은 결과 기반 신호에 의존하여, 최적화된 코드 생성에 필수적인 프로그램의 성능에 중요한 구조적 특성을 간과한다. 본 연구에서는 검증 가능한 실행 보상과 병렬화 특성(예: memory coalescing, occupancy, Arithmetic Intensity, 동기화 패턴)에서 파생된 구조적 코드 인식 보상을 모두 통합하는 반성적(reflective) 강화학습 프레임워크인 CudaPerf를 제안한다. CudaPerf는 두 단계로 동작한다: (1) 대조 비교를 통해 강한 프로그램 후보와 약한 프로그램 후보를 구별하도록 학습하는 오프라인 pairwise 순위 모듈, (2) 통합 보상 신호를 통해 정확성, 성능, 구조적 효율성을 공동 최적화하는 온라인 강화학습 학습 단계. 학습을 더욱 향상시키기 위해 CudaPerf는 실행 피드백을 활용한 반복적 정제(iterative refinement)를 통해 생성된 후보의 점진적 개선을 가능하게 한다. 또한 다양한 입력 구성과 다양한 최적화 전략을 포괄하는 여러 CUDA 구현이 짝지어진 C to CUDA 2.9k개 및 PyTorch to CUDA 1k개 프로그램으로 구성된 데이터셋을 도입한다. CudaPerf는 C to CUDA 및 PyTorch to CUDA 변환을 모두 포함하는 여러 벤치마크에서 평가된다. 실험 결과, CudaPerf는 C to CUDA에서는 Qwen-3-32B, PyTorch to CUDA에서는 CUDA 에이전트를 포함한 강력한 기준선들을 크게 능가하며, 각각 속도 향상에서 최대 5배 및 3.32배, 정확성에서 17% 및 7%의 개선을 달성한 것으로 나타난다.

arXiv:2606.26453v1cs.LG

인간처럼 CUDA 최적화: LLM 기반 GPU 커널 최적화를 위한 전문가 대리 마이크로 프로파일링 도구

Optimizing CUDA like a Human: Micro-Profiling Tools as Expert Surrogates for LLM-Based GPU Kernel Optimization

KernelPro는 전문가 휴리스틱을 플러그 가능한 마이크로 프로파일링 도구로 인코딩하고, 도메인 적응형 MCTS와 CUTLASS/CuTe 기반 CuTe 소스 생성을 결합해 LLM이 GPU 커널을 생성·프로파일링·반복 최적화하는 폐쇄 루프 다중 에이전트 시스템이다. KernelBench Level 1/2/3에서 기하평균 2.42x/4.69x/5.30x 속도 향상을 달성했고, VeOmni MoE 학습 커널에서는 수동 튜닝 Triton 대비 1.23x를, 동일 속도에서 11.6% 에너지 절감을 입증했다.