사전 지식인가 탐색인가? 하드웨어 인식 코드 최적화에서의 LLM 에이전트 연구
Prior Knowledge or Search? A Study of LLM Agents in Hardware-Aware Code Optimization
한국어 초록
LLM 기반 발견 및 최적화 시스템은 제안-평가-수정이라는 공통 루프를 구현하며 여러 분야에 점점 더 많이 적용되고 있다. 이러한 최적화 또는 발견은 환경으로부터 받은 피드백에 대한 문맥 조건화를 통해 진행된다. 그러나 현대 LLM 에이전트의 구조가 점점 복잡해짐에 따라 어떤 구성 요소가 가장 크게 기여하는지, 그리고 이러한 탐색이 언제 어떻게 실패할 수 있는지를 평가하기 어렵다. 우리는 세 가지 통제된 실험을 통해 이 질문들에 답한다. 연구 결과는 다음과 같다. (1) 순수 블랙박스 최적화에서 LLM은 탐욕적 최적화기로 동작한다. (2) 제로샷 커널 생성에서 명시적인 입력 크기 정보를 제공해도 측정 가능한 효과가 없으며, 모델은 마치 크기 지시가 보이지 않는 것처럼 크기나 온도와 무관하게 동일한 커널 매개변수로 수렴한다. 더욱이 흔하지 않은 커널 크기에 대해 커널 최적화를 수행하도록 하면 사용한 언어와 관계없이 성능이 급격히 저하된다. (3) 피드백 루프 기반 커널 최적화에서 CUDA는 반복적 피드백 하에서 단조롭게 향상되는 반면 TVM IR은 오히려 악화되며, 이는 모델이 정보 밀도가 낮은 언어로 작업할 때 커널 최적화가 저하됨을 보여 준다. 우리의 결과는 코드 최적화 과제에서 LLM이 제공된 피드백이나 에이전트 구조보다 사전 학습된 사전 지식에 크게 의존한다는 결론을 내린다.
원문 초록
LLM discovery and optimization systems are increasingly applied across domains, implementing a common propose-evaluate-revise loop. Such optimization or discovery progresses via context conditioning on received feedback from an environment. However, as modern LLM agents are increasingly complex in their structure, it is difficult to evaluate which components contribute the most, and when and how this exploration may fail. We answer these questions through three controlled experiments. Our findings: (1) In pure black-box optimization, LLMs act as greedy optimizers. (2) In zero-shot kernel generation, providing explicit input-size information has no measurable effect, models converge to the same kernel parameters regardless of size or temperature, as though the size instruction were invisible. Moreover, when tasked to perform kernel optimization for uncommon kernel sizes, performance sharply degrades regardless of the language used. (3) In feedback-loop kernel optimization, CUDA improves monotonically under iterative feedback, while TVM IR actively degrades, which demonstrates that kernel optimization degrades when models operate with low-density language. Our results conclude that LLMs in code optimization tasks highly depend on pretrained priors rather than provided feedback or agentic structure.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2605.19782v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.