ClarifyCodeBench: 코드 생성을 위한 모호한 요구사항 명확화 능력에 대한 대규모 언어 모델(LLM) 평가
ClarifyCodeBench: Evaluating LLMs on Clarifying Ambiguous Requirements for Code Generation
대규모 언어 모델(LLM)이 프로그래밍 보조 도구로 부상했습니다. 그러나 코드 생성의 효용성은 입력 요구사항의 품질에 의해 제약을 받으며, 이러한 요구사항은 종종 모호하거나 불완전하거나 덜 명시적(underspecified)입니다. LLM은 원샷(one-shot) 코드 합성에는 뛰어나지만, 견고한 소프트웨어 공학에 필수적인 특성인 의도를 능동적으로 명확히 하는 능력은 여전히 충분히 탐구되지 않았습니다. 기존 벤치마크는 완벽하게 명시된 프롬프트를 가정하여 이러한 상호작용 병목 현상을 대체로 간과하고 있으며, 이는 요구사항 도출의 반복적인 특성을 반영하지 못합니다. 이러한 격차를 해소하기 위해, 본 연구에서는 요구사항의 모호성을 해결하는 LLM의 능력을 평가하는 새로운 상호작용형 벤치마크인 ClarifyCodeBench를 소개합니다. 실제 프로그래밍 작업으로부터 구축된 ClarifyCodeBench는 N개의 고유한 모호성 유형, 관련 명확화 질문 및 이에 해당하는 정답(ground-truth)을 포함한 고품질의 수동 주석을 특징으로 합니다. 또한 상호작용 품질을 평가하기 위한 두 가지 엄밀한 지표를 공식화합니다. 비효율적인 질문에 페널티를 부여하는 턴 할인 핵심 질문 비율(Turn-discounted Key Question Rate)과 도출 과정의 정밀도를 측정하는 최적 라운드 준수도(Optimal Round Adherence)입니다. 본 연구는 ClarifyCodeBench를 사용하여 6개의 최첨단 LLM에 대한 체계적인 평가를 수행했습니다. 실증적 결과는 세 가지 중요한 통찰을 제공합니다. 1) 역량의 분리(Capability Decoupling): 강력한 코드 생성 성능이 효과적인 요구사항 명확화 능력으로 직결되지는 않습니다. 2) 추론의 역설(Reasoning Paradox): 컴퓨팅 사고력이 향상되면 코드 정확도는 높아지지만 모호성을 식별하는 데에는 미미한 이점만을 제공합니다. 3) 다중 모호성의 한계(Multi-ambiguity Ceiling): 모호성의 밀도가 높아질수록 LLM의 명확화 성능이 급격히 저하되어 복잡한 실제 명세를 처리하는 데 상당한 병목 현상이 있음을 드러냅니다. 본 연구는 향후 AI4SE 연구가 정적 합성에서 상호작용적 도출로 전환되어야 할 필요성을 강조합니다.