CONTRA: LLM 코드 생성에서 선택적 명확화를 위한 동작 변경 질문의 탐색 및 검증
CONTRA: Discovering and Qualifying Behavior-Changing Questions for Selective Clarification in LLM Code Generation
코딩 에이전트(coding agent)는 올바르게 보이지만 사용자가 전혀 의도하지 않은 동작을 구현하는 코드를 생성할 수 있다. 이러한 불일치는 에이전트가 불충분하게 명시된 요구사항을 자체적인 가정을 통해 은밀하게 해결할 때 발생할 수 있다. 후속 개발이 이러한 가정을 기반으로 진행됨에 따라, 결과적인 동작을 수정하는 데 드는 비용은 점점 더 커질 수 있다. 조기 명확화(clarification)는 이러한 불일치를 예방하는 데 도움이 될 수 있지만, 불필요한 질문은 개발자를 방해하고 개발 속도를 늦출 수 있다. 기존 방법들은 불필요한 질문을 피하면서 핵심적인 명확화 질문을 식별하는 데 어려움을 겪는다. 따라서 본 논문에서는 광범위한 질문 탐색과 의미론적 및 실행 기반 질문 검증을 결합한 학습(training) 불필요 방식의 CONTRA를 제안한다. CONTRA는 먼저 후보 질문들을 생성하고, 요구된 동작과 무관하거나 요구사항에 의해 이미 해결된 질문들을 필터링한다. 남아 있는 각 질문에 대해, 타당한 두 가지 답변을 조건으로 프로그램을 생성하고 공유 입력에 대해 안정적인 동작 차이가 나타나는지 확인한다. 그런 다음 상호작용 기록을 활용하여 검증된 질문 중 선택하거나 질문을 중단한다. ClarifyCodeBench에 대한 실험 결과, CONTRA는 4개의 모든 코딩 에이전트에서 가장 높은 F1 점수를 달성했으며, 가장 우수한 기준선(baseline)의 매크로 평균 F1을 13.88%포인트 상회했다. 동일한 대규모 언어 모델(LLM) 및 평가 프로토콜에서 CONTRA는 코딩 하네스인 Claude Code 및 OpenHands보다 더 높은 명확화 재현율(recall)과 F1을 달성했다. 실제 사용을 지원하기 위해, 우리는 선택적 명확화를 일상적인 개발에 통합하는 Claude Code 플러그인으로 CONTRA를 구현하기도 했다.