품질 인식 선호 학습을 통한 LLM 생성 코드의 비기능적 품질 준수 향상
Enhancing the Non-Functional Quality Compliance of LLM-Generated Code through Quality-Aware Preference Learning
대규모 언어 모델(LLM)은 상용 코드 자동완성 엔진에 널리 채택되어 코딩 효율과 생산성을 크게 높였다. 그러나 기능적으로 올바른 LLM 생성 코드라도 코딩 표준과 모범 사례를 위반하는 비기능적 품질 문제—예를 들어 스타일 불량이나 유지보수성 부족—를 보일 수 있다. 이를 해결하기 위해, 우리는 LLM이 기준을 준수하는 코드를 생성하도록 유도하는 품질 인식 선호 학습 프레임워크를 제안한다. 우리 접근법은 세 단계로 구성된다. 첫째, 각 쌍이 특정 비기능적 품질 이슈를 보이는 코드와 그 이슈를 해결한 수정 버전을 포함하는, 기준 위반·기준 준수 샘플 쌍으로 데이터셋을 구축한다. 둘째, 품질에 민감한 코드 영역을 강조하기 위한 적응형 토큰 가중 메커니즘을 설계한다. 셋째, 순위 손실(ranking loss)과 언어 모델링 손실 및 KL 발산을 결합한 하이브리드 최적화 목표를 도입하여 효과적인 비교 최적화를 가능하게 한다. DeepSeek-Coder와 Qwen2.5-Coder에 대한 광범위한 실험에서, 우리 방법은 기능적 정확성을 유지하면서 목표 비기능적 품질 기준 준수를 크게 개선하였으며, Qwen2.5-Coder에 대해 MBPP-sanitized에서 Quality Reciprocal Score(QRS)가 75.7% 상대 증가를 달성했다. 7B 모델의 미세조정에는 3시간 미만이 필요하여 실용적 타당성이 높음을 보여준다. 절제 연구와 사용자 연구가 제안 프레임워크의 효과를 추가로 뒷받침한다.