LLM 생성 코드 스니펫을 위한 효율적이고 확장 가능한 출처 추적
Efficient and Scalable Provenance Tracking for LLM-Generated Code Snippets
코드 자동 완성 및 생성을 위한 대규모 언어 모델(LLM)이 소프트웨어 개발에서 점점 더 많이 활용되고 있지만, 학습(training) 예제를 원문 그대로 저작자 표시 없이 재생성할 수 있어 표절 및 라이선스 준수와 관련된 법적·윤리적 우려를 낳고 있습니다. 위노잉(Winnowing)과 같은 고전적인 핑거프린트 기반 표절 탐지기는 여전히 매우 효과적이지만, 검사를 위해 코드 조각을 전체 학습 세트와 비교해야 하며 선형 시간 탐색 특성으로 인해 현대 코드 LLM 학습에 사용되는 수십억 개 규모의 말뭉치에는 적용하기 어렵습니다. 이러한 격차를 해소하기 위해, 본 연구에서는 코드 검색에 맞춤화된 3억 개 매개변수(parameter) 인코더인 SourceTracker와 하이브리드 2단계 출처 추적 파이프라인인 HybridSourceTracker(HST)를 제안합니다. HST는 먼저 벡터 검색을 통해 소수의 후보 스니펫을 압축한 다음, 정확한 핑거프린트를 기반으로 위노잉을 적용해 해당 후보들의 순위를 재정렬합니다. 우리는 실제 식별자 이름 변경을 모사한 수정 스니펫과 원문 스니펫 모두를 포함하여 TheStackV2 데이터셋(dataset)의 1,000만 개 스니펫 서브셋에서 시스템을 학습하고 평가합니다. 수정된 쿼리를 사용한 10만 개 스니펫 규모의 시험관 내(in vitro) 검색 공간에서, 우리의 하이브리드 접근법은 30개 토큰(token) 조각에 대해 위노잉과 대등한 평균 역순위(MRR)에 도달합니다. 나아가 60개 이상의 토큰 윈도우부터는 로그 시간 쿼리 복잡도를 유지하면서도 최대 5.4%까지 일관되게 더 우수한 성능을 보입니다. LLM 기반 평가자를 활용한 보완 평가에서는 정답(ground truth)으로 라벨링되지 않은 수많은 검색 스니펫 역시 예상 출처와 매우 유사하며(특히 더 긴 컨텍스트 윈도우에서), 따라서 최종 사용자에게 여전히 유용함을 확인했습니다. 전반적으로 우리의 결과는 학습 데이터에 접근할 수 있다면 벡터 검색과 핑거프린팅의 결합을 통해 LLM 생성 코드에 대한 확장 가능하고 높은 정밀도(precision)의 출처 추적이 가능함을 입증합니다...