AI 코더는 밀고자(Snitch)인가? 코드 대규모 언어 모델의 사전학습 데이터 탐지에 관한 실증적 연구
Are AI Coders Snitches? An Empirical Study of Pretraining Data Detection on Code Large Language Models
코드 대규모 언어 모델(CodeLLM)의 최근 발전으로 인해 이들 모델은 현대 소프트웨어 공학에서 필수적인 도구가 되었습니다. 그러나 이러한 모델들은 때때로 독점적이거나 민감한 코드 스니펫을 포함하는 결과를 생성하여, 학습(training) 데이터의 비준수적 사용 가능성에 대한 우려를 낳고 개인정보 보호 및 지적 재산권에 대한 위험을 초래합니다. CodeLLM의 책임감 있고 규정을 준수하는 배포를 보장하기 위해 학습 데이터 탐지(TDD)가 중요한 과제가 되었습니다. 최근의 TDD 기법들은 자연어 환경에서 유망한 결과를 보여주었으나, 코드 데이터에 대한 효과는 여전히 거의 탐구되지 않은 상태입니다. 이러한 격차는 자연어와 비교하여 코드의 구조화된 문법 및 고유한 유사성 기준을 고려할 때 특히 중요합니다. 이를 해결하기 위해 본 논문에서는 8개의 CodeLLM 전반에 걸쳐 성능을 평가하며, 소스 코드 데이터에 대한 7가지 최신 TDD 기법의 포괄적인 실증적 연구를 수행합니다. 이러한 평가를 지원하기 위해 3개 프로그래밍 언어의 9,000개 코드 샘플로 구성된 함수 수준 벤치마크 데이터셋(dataset)인 CodeSnitch를 도입하며, 각 샘플은 CodeLLM 학습에 포함되었거나 제외된 것으로 명시적으로 라벨링되어 있습니다. 기존 CodeSnitch에 대한 평가를 넘어, 세 가지 서로 다른 환경에서 TDD 기법의 강건성을 테스트하기 위한 표적 변이(mutation) 전략을 설계합니다. 이러한 변이 전략은 잘 정립된 Type-1부터 Type-4까지의 코드 클론 탐지 분류 체계에 기반을 두고 있습니다. 본 연구는 현재 코드 대상 TDD 기술에 대한 체계적인 평가를 제공하며, 향후 더욱 효과적이고 강건한 탐지 기법 개발을 이끌 통찰을 제시합니다.