CUDA 커널 생성을 위한 구조 및 성능 인식 보상 기반 멀티턴 강화학습
Multi-turn RL with Structural and Performance Aware Rewards for CUDA Kernel Generation
검증 가능 보상 강화학습(RLVR)은 최적화된 코드 생성을 위해 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 강력한 기법으로 부상했다. 그러나 기존 RLVR 접근법은 주로 정확성과 속도 향상(speedup)과 같은 결과 기반 신호에 의존하여, 최적화된 코드 생성에 필수적인 프로그램의 성능에 중요한 구조적 특성을 간과한다. 본 연구에서는 검증 가능한 실행 보상과 병렬화 특성(예: memory coalescing, occupancy, Arithmetic Intensity, 동기화 패턴)에서 파생된 구조적 코드 인식 보상을 모두 통합하는 반성적(reflective) 강화학습 프레임워크인 CudaPerf를 제안한다. CudaPerf는 두 단계로 동작한다: (1) 대조 비교를 통해 강한 프로그램 후보와 약한 프로그램 후보를 구별하도록 학습하는 오프라인 pairwise 순위 모듈, (2) 통합 보상 신호를 통해 정확성, 성능, 구조적 효율성을 공동 최적화하는 온라인 강화학습 학습 단계. 학습을 더욱 향상시키기 위해 CudaPerf는 실행 피드백을 활용한 반복적 정제(iterative refinement)를 통해 생성된 후보의 점진적 개선을 가능하게 한다. 또한 다양한 입력 구성과 다양한 최적화 전략을 포괄하는 여러 CUDA 구현이 짝지어진 C to CUDA 2.9k개 및 PyTorch to CUDA 1k개 프로그램으로 구성된 데이터셋을 도입한다. CudaPerf는 C to CUDA 및 PyTorch to CUDA 변환을 모두 포함하는 여러 벤치마크에서 평가된다. 실험 결과, CudaPerf는 C to CUDA에서는 Qwen-3-32B, PyTorch to CUDA에서는 CUDA 에이전트를 포함한 강력한 기준선들을 크게 능가하며, 각각 속도 향상에서 최대 5배 및 3.32배, 정확성에서 17% 및 7%의 개선을 달성한 것으로 나타난다.