다국어 프롬프트 기반 코드 생성을 위한 대규모 언어 모델: 큐레이션 벤치마크와 코드 품질 연구
Large Language Models for Code Generation from Multilingual Prompts: A Curated Benchmark and a Study on Code Quality
대규모 언어 모델(LLM)은 동일한 프로그래밍 과제를 서로 다른 자연어로 프롬프트할 때 서로 다르게 수행하며, 이 현상을 언어 바이어스(language bias)라고 한다. 일반 텍스트 생성에서는 이 행동이 널리 연구되었지만, 코드 생성 품질과 프로그래밍 관습에 미치는 영향은 대부분 아직 탐구되지 않았다. 우리는 프로그래밍 과제를 설명하는 데 사용되는 언어가 GPT-4o mini, DeepSeek, Claude가 생성하는 소스 코드에 어떤 영향을 미치는지 조사한다. 본 연구는 Python(230)과 Java(230)에 걸친 460개의 코딩 과제로 구성된다. 원래 영어 프롬프트를 기술적 의미를 보존하면서 중국어, 힌디어, 스페인어, 이탈리아어로 번역하고 수동으로 큐레이션한다. 생성된 코드를 여러 차원에서 평가하는데, 여기에는 테스트 통과율을 통한 기능적 정확성, 확립된 코드 메트릭을 이용한 구조적 품질, 정적 분석 도구가 탐지한 문제, 식별자와 주석에 사용된 언어와 같은 어휘적 특성이 포함된다. 결과는 (i) 영어 프롬프트가 항상 최고의 기능적 정확성이나 코드 품질을 내지는 않으며, (ii) 프롬프트 언어의 영향은 프로그래밍 언어와 LLM 모두에 달려 있고, (iii) 생성된 코드가 주석과 문자열 리터럴에서 영어와 프롬프트 언어를 자주 혼합한다는 것을 보여준다. 이러한 발견은 코드 생성에서의 언어 바이어스를 연구하기 위한 최초의 큐레이션된 다국어 벤치마크를 제공하며, 보다 견고한 다국어 코드 생성 시스템 개발을 위한 통찰을 제공한다.