비공개 라이브러리 코드 생성 시 기존 RAG 방식이 정적 API 문서만 제공해 "어떻게 사용하는지(how-to-use)"를 가르치기 어렵다는 한계를 분석하고, 실행 피드백으로부터 API·교차 API·태스크 수준의 Usage Guidelines를 축적·재사용하는 자기 진화 메모리 프레임워크 MEMCoder를 제안한다. NdonnxEval과 NumbaEval 벤치마크에서 다양한 규모의 LLM과 RAG 백본에 걸쳐 평균 pass@1을 18.41 퍼센트포인트 향상시켰다.
대규모 언어 모델(LLM)은 코드 생성에서 탁월한 능력을 보여주었습니다. 그러나 대부분의 기존 평가는 단일 시도 정확도에만 초점을 맞추고 있으며, 실제 프로그래밍의 핵심인 반복적 정제(iterative refinement) 과정을 간과하고 있습니다. 본 연구는 실행 피드백을 통해 자체 코드를 수정하는 LLM의 능력에 대한 체계적인 조사를 제시합니다. 4개의 모델과 2개의 주요 프로그래밍 언어에 걸친 실제 프로그래밍 문제를 사용하여, 본 연구는 LLM이 매 시도 후 컴파일러 오류 메시지와 테스트 케이스 피드백을 받는 반복적 정제(iterative refinement) 프레임워크를 통해 성능을 평가합니다. 본 연구는 코드 실패를 평가하고, 수정 패턴을 분석하며, 추론(reasoning) 모델과 비추론(non-reasoning) 모델의 효과를 비교하기 위한 지표를 도입하여, LLM 기반 코드 생성 시스템에서 피드백 루프의 이해와 실제 적용에 대한 실행 가능한 통찰력을 제공합니다. 결과에 따르면 추론 모델은 반복(iteration) 과정에서 지속적으로 개선되어 피드백 활용 측면에서 비추론 모델을 상당히 앞서는 반면, 구문 및 런타임 오류는 논리적 또는 알고리즘적 실패보다 훨씬 더 해결 가능한 것으로 나타났습니다.