반복적 피드백 루프를 통한 LLM 코드 수정
Unlocking LLM Code Correction with Iterative Feedback Loops
대규모 언어 모델(LLM)은 코드 생성에서 탁월한 능력을 보여주었습니다. 그러나 대부분의 기존 평가는 단일 시도 정확도에만 초점을 맞추고 있으며, 실제 프로그래밍의 핵심인 반복적 정제(iterative refinement) 과정을 간과하고 있습니다. 본 연구는 실행 피드백을 통해 자체 코드를 수정하는 LLM의 능력에 대한 체계적인 조사를 제시합니다. 4개의 모델과 2개의 주요 프로그래밍 언어에 걸친 실제 프로그래밍 문제를 사용하여, 본 연구는 LLM이 매 시도 후 컴파일러 오류 메시지와 테스트 케이스 피드백을 받는 반복적 정제(iterative refinement) 프레임워크를 통해 성능을 평가합니다. 본 연구는 코드 실패를 평가하고, 수정 패턴을 분석하며, 추론(reasoning) 모델과 비추론(non-reasoning) 모델의 효과를 비교하기 위한 지표를 도입하여, LLM 기반 코드 생성 시스템에서 피드백 루프의 이해와 실제 적용에 대한 실행 가능한 통찰력을 제공합니다. 결과에 따르면 추론 모델은 반복(iteration) 과정에서 지속적으로 개선되어 피드백 활용 측면에서 비추론 모델을 상당히 앞서는 반면, 구문 및 런타임 오류는 논리적 또는 알고리즘적 실패보다 훨씬 더 해결 가능한 것으로 나타났습니다.