코드 대규모 언어 모델(CodeLLM)의 최근 발전으로 인해 이들 모델은 현대 소프트웨어 공학에서 필수적인 도구가 되었습니다. 그러나 이러한 모델들은 때때로 독점적이거나 민감한 코드 스니펫을 포함하는 결과를 생성하여, 학습(training) 데이터의 비준수적 사용 가능성에 대한 우려를 낳고 개인정보 보호 및 지적 재산권에 대한 위험을 초래합니다. CodeLLM의 책임감 있고 규정을 준수하는 배포를 보장하기 위해 학습 데이터 탐지(TDD)가 중요한 과제가 되었습니다. 최근의 TDD 기법들은 자연어 환경에서 유망한 결과를 보여주었으나, 코드 데이터에 대한 효과는 여전히 거의 탐구되지 않은 상태입니다. 이러한 격차는 자연어와 비교하여 코드의 구조화된 문법 및 고유한 유사성 기준을 고려할 때 특히 중요합니다. 이를 해결하기 위해 본 논문에서는 8개의 CodeLLM 전반에 걸쳐 성능을 평가하며, 소스 코드 데이터에 대한 7가지 최신 TDD 기법의 포괄적인 실증적 연구를 수행합니다. 이러한 평가를 지원하기 위해 3개 프로그래밍 언어의 9,000개 코드 샘플로 구성된 함수 수준 벤치마크 데이터셋(dataset)인 CodeSnitch를 도입하며, 각 샘플은 CodeLLM 학습에 포함되었거나 제외된 것으로 명시적으로 라벨링되어 있습니다. 기존 CodeSnitch에 대한 평가를 넘어, 세 가지 서로 다른 환경에서 TDD 기법의 강건성을 테스트하기 위한 표적 변이(mutation) 전략을 설계합니다. 이러한 변이 전략은 잘 정립된 Type-1부터 Type-4까지의 코드 클론 탐지 분류 체계에 기반을 두고 있습니다. 본 연구는 현재 코드 대상 TDD 기술에 대한 체계적인 평가를 제공하며, 향후 더욱 효과적이고 강건한 탐지 기법 개발을 이끌 통찰을 제시합니다.
코드 대규모 언어 모델(Code LLM)을 평가하려면 데이터 누출(data leakage)의 신뢰할 수 있는 탐지가 필요하다. 데이터 누출이란 사전학습 중 벤치마크 데이터에 노출됨으로써 벤치마크 성능이 인위적으로 부풀려지는 현상이다. 기존 접근법들은 독점적인 학습 코퍼스에 대한 접근을 가정하거나, 타임스탬프 필터링과 같은 취약한 휴리스틱에 의존하거나, 수동으로 조정된 일반화되지 않는 임계값을 가진 외부 참조 세트를 사용한다. 이러한 한계를 해결하기 위해, 우리는 그레이박스(모델 로짓 접근 가능) 및 블랙박스(모델 출력 접근 가능) 설정 모두를 위한 통합 자기참조(self-referential) 누출 탐지 프레임워크인 SrDetection을 제안한다. SrDetection은 벤치마크 샘플의 의미적으로 동등한 변형을 생성하고, 원본과 변형에 대한 모델의 동작을 대조함으로써 누출을 탐지하며, 원본이 모델에게 불균형적으로 쉬운 경우를 플래그로 표시한다. 또한 통제된 누출 탐지 테스트베드를 설계하고 해당 환경에서 SrDetection을 평가한다. 다양한 모델과 학습 단계에 걸쳐, SrDetection은 강력한 기준선 대비 그레이박스 설정에서 평균 F1을 21.52포인트, 블랙박스 설정에서 14.46포인트 향상시키며 임계값에 독립적인 강건한 누출 탐지를 입증한다. 마지막으로, 네 가지 인기 벤치마크에서 15개의 널리 사용되는 Code LLM에 대한 그레이박스 연구는 기존 중복 기반 분석을 넘어서는 벤치마크별 누출 패턴을 밝혀낸다.
코드 LLM 지도 미세조정에서 토큰 단위 감독은 구문·의미적으로 일관된 프로그램 단위를 깨뜨릴 수 있어, CodeBlock은 구조적으로 완전한 코딩 항목을 선택하는 구조 인식 희소 감독 프레임워크를 제안합니다. 6개 코드 생성 벤치마크에서 감독 응답 토큰의 1.9%만 사용하면서 전체 토큰 지도 미세조정과 선택 기준선보다 더 높은 평균 pass@1을 달성했습니다.