AssumptionMiner: LLM 코드 생성에서 암묵적 가정의 추출, 추적 및 수정
AssumptionMiner: Extracting, Tracing, and Revising Implicit Assumptions in LLM Code Generation
대규모 언어 모델(LLM)은 자연어 프롬프트로부터 코드를 생성하지만, 실제 프롬프트는 완전한 명세를 제공하는 경우가 드뭅니다. 프롬프트가 입력 형식, 오류 처리 또는 설계 결정을 명시하지 않으면, LLM은 생성된 코드의 동작과 정확성을 형성하는 암묵적 가정으로 이러한 공백을 메웁니다. 이러한 가정이 숨겨진 채로 남아 있기 때문에, 생성된 코드는 테스트는 통과하면서도 개발자 의도를 위반할 수 있습니다. 우리는 LLM 기반 코드 생성에서 암묵적 가정을 일급(first-class) 산출물로 만드는 프레임워크인 AssumptionMiner를 제안합니다. 코드 외에도 AssumptionMiner는 명시적 가정 층을 생성하며, 이는 개발자가 검사, 확인 또는 수정할 수 있는 추론된 제약과 설계 결정의 구조화된 표현입니다. AST 기반 의존성 그래프는 수정된 가정의 영향을 받는 코드만을 대상으로 한 국소적 재생성을 가능하게 합니다. 또한 676개의 주석이 달린 가정을 포함한 180개의 모호한 프로그래밍 과제로 구성된 벤치마크를 도입하며, 코드 국소화(code localization) 평가를 위한 사람이 검증한 부분집합도 포함합니다. 가정 추출, 코드 국소화, 가정 안내 재생성을 평가합니다. 오픈소스 LLM 전반에서 신뢰도 가중 앙상블은 가정 추출에 대해 F1 점수 0.816을 달성하며, 가장 강력한 오프라인 기준선 대비 3.6배 개선합니다. 사람이 검증한 국소화 벤치마크에서 AST 안내 국소화는 키워드 기반 및 전체 파일 기준선보다 더 정밀한 코드 영역을 식별합니다. 가정 수정 과정에서 대상 지정 재생성은 비대상 대안보다 더 적은 코드를 수정하면서 연쇄 편집(cascading edits) 처리의 과제를 드러냅니다. 이러한 결과는 가정을 명시화하면 LLM 기반 코드 생성의 투명성과 제어 가능성이 향상됨을 보여줍니다.