리더보드를 넘어서: 자동 프로그램 복구를 위한 밀집 모델 및 전문가 혼합(MoE) 모델의 다차원적 평가
Beyond the Leaderboard: Multi-Dimensional Evaluation of Dense and Mixture-of-Experts Models for Automated Program Repair
한국어 초록
언어 모델을 활용한 자동 프로그램 복구(APR)는 일반적으로 생성된 패치가 테스트 스위트를 통과하는지 여부로 평가되며, 이는 유지보수성, 보안 및 계산 비용의 차이를 가릴 수 있습니다. 본 연구에서는 ISO/IEC 25010 소프트웨어 품질 모델에서 영감을 받아, 설정 가능한 가중치 체계 하에서 기능적 정확성, 유지보수성, 보안 및 생성 효율성을 결합한 가중 품질 지수(QI)를 제안합니다. 인프라 영향을 통제하기 위해 동일한 하드웨어에서 로컬로 실행된 40개의 QuixBugs 및 90개의 Defects4J 버그를 대상으로 3개의 밀집 Qwen2.5-Coder 모델(3B, 7B, 14B)과 16B 매개변수의 DeepSeek-Coder-V2-Lite 전문가 혼합(MoE) 모델(2.4B 활성 매개변수)을 평가합니다. 모델 순위는 가중치 체계에 따라 변화하며, 이는 단일 지표 평가가 트레이드오프를 숨길 수 있음을 보여줍니다. MoE 모델은 3~6배 적은 활성 매개변수를 사용하면서도 7B 및 14B 밀집 모델과 정확성 측면에서 통계적으로 유의미한 차이가 거의 없음을 보여준 반면(맥니머 정확 검정), 세 밀집 모델 규모 전반에서는 정확성이 크게 증가했습니다. 이러한 결과는 희소(sparse) 코드 모델의 경우 총 매개변수 수보다 활성 매개변수 수가 더 유용한 관점이 될 수 있음을 시사합니다.
원문 초록
Automated Program Repair (APR) with language models is usually evaluated by whether a generated patch passes the test suite, which can hide differences in maintainability, security, and computational cost. We propose a Weighted Quality Index (QI), inspired by the ISO/IEC 25010 software quality model, that combines functional correctness, maintainability, security, and generation efficiency under configurable weighting schemes. We evaluate three dense Qwen2.5-Coder models (3B, 7B, 14B) and the 16B-parameter DeepSeek-Coder-V2-Lite Mixture-of-Experts (MoE) model (2.4B active parameters) on 40 QuixBugs and 90 Defects4J bugs, all run locally on identical hardware to control for infrastructure effects. Model rankings change with the weighting scheme, showing that single-metric evaluation can hide trade-offs. The MoE model shows almost no statistically significant difference in correctness from the 7B and 14B dense models (McNemar's exact test) while using 3-6 times fewer active parameters, whereas correctness increases significantly across the three dense scales. These results suggest that active parameter count can be a more informative lens than total parameter count for sparse code models.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.