리더보드를 넘어서: 자동 프로그램 복구를 위한 밀집 모델 및 전문가 혼합(MoE) 모델의 다차원적 평가
Beyond the Leaderboard: Multi-Dimensional Evaluation of Dense and Mixture-of-Experts Models for Automated Program Repair
언어 모델을 활용한 자동 프로그램 복구(APR)는 일반적으로 생성된 패치가 테스트 스위트를 통과하는지 여부로 평가되며, 이는 유지보수성, 보안 및 계산 비용의 차이를 가릴 수 있습니다. 본 연구에서는 ISO/IEC 25010 소프트웨어 품질 모델에서 영감을 받아, 설정 가능한 가중치 체계 하에서 기능적 정확성, 유지보수성, 보안 및 생성 효율성을 결합한 가중 품질 지수(QI)를 제안합니다. 인프라 영향을 통제하기 위해 동일한 하드웨어에서 로컬로 실행된 40개의 QuixBugs 및 90개의 Defects4J 버그를 대상으로 3개의 밀집 Qwen2.5-Coder 모델(3B, 7B, 14B)과 16B 매개변수의 DeepSeek-Coder-V2-Lite 전문가 혼합(MoE) 모델(2.4B 활성 매개변수)을 평가합니다. 모델 순위는 가중치 체계에 따라 변화하며, 이는 단일 지표 평가가 트레이드오프를 숨길 수 있음을 보여줍니다. MoE 모델은 3~6배 적은 활성 매개변수를 사용하면서도 7B 및 14B 밀집 모델과 정확성 측면에서 통계적으로 유의미한 차이가 거의 없음을 보여준 반면(맥니머 정확 검정), 세 밀집 모델 규모 전반에서는 정확성이 크게 증가했습니다. 이러한 결과는 희소(sparse) 코드 모델의 경우 총 매개변수 수보다 활성 매개변수 수가 더 유용한 관점이 될 수 있음을 시사합니다.