arXiv:2608.06041v2 cs.SE

LangChoiceBench: LLM의 프로그래밍 언어 선택 측정 및 설명

LangChoiceBench: Measuring and Explaining Programming-Language Choice in LLMs

Lukas Twist, Twm Stone, Helen Yannakoudakis, Jie M. Zhang

제출 2026-11-17

한국어 초록

대규모 언어 모델(LLM)은 프로젝트 수준의 코드를 생성할 때 강한 Python 선호도를 보이는 것으로 나타났지만, 현재 새로운 모델들에 걸쳐 이러한 동작을 체계적으로 측정할 수 있는 방법은 없습니다. 이러한 격차를 해소하기 위해, 본 논문에서는 Python 선호도, 추천-구현 일관성, 언어 다양성을 측정하기 위한 프로젝트 수준 코드 생성 벤치마크인 LangChoiceBench를 소개합니다. LangChoiceBench는 Python이 기본 선택지로 부적절한 경우가 많은 7개 소프트웨어 분야의 28개 프로젝트를 다룹니다. 25개의 다양한 LLM을 평가한 결과, 여전히 Python이 과도하게 선택되고 있으며 추천-구현 일관성이 낮고, 더 작은 오픈 가중치(open-weight) 모델일수록 일반적으로 더 강한 Python 선호도와 더 낮은 언어 다양성을 보인다는 점을 확인했습니다. 나아가 9,826개의 추론 과정을 분석하여 대부분의 Python 선택이 프로젝트 요구사항을 명시적으로 고려하기보다는 자동적이거나 주로 용이성에 의해 이루어진다는 점을 밝혔습니다. 규모는 작지만 중요한 일부 사례에서는 모델이 Python을 선택하기 위해 맥락적 근거를 꾸며내는 유령 증거(phantom evidence) 오류를 보이거나, 자체 추론에서 선택한 언어와 모순되는 코드를 생성하기도 합니다.

원문 초록

Large language models (LLMs) have been shown to exhibit strong Python preferences when generating project-level code, but there is currently no systematic way to measure this behaviour across new models. To bridge this gap, we introduce LangChoiceBench, a project-level code-generation benchmark for measuring Python preference, recommendation-implementation consistency, and language diversity. LangChoiceBench covers 28 projects across seven software areas where Python is often a poor default. We evaluate 25 diverse LLMs and find that Python remains heavily over-selected, recommendation-implementation consistency is low, and smaller open-weight models generally show stronger Python preference and lower language diversity. We further analyse 9,826 reasoning traces and find that most Python choices are automatic or driven primarily by ease, rather than explicit consideration of project requirements. In a smaller but important set of cases, models fabricate contextual support for choosing Python - a failure mode we call phantom evidence - or produce code that contradicts the language selected in their own reasoning.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.06041v2제출 시각 미확인
  2. arXiv:2608.06041v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.