코드 대규모 언어 모델(Code LLM)을 평가하려면 데이터 누출(data leakage)의 신뢰할 수 있는 탐지가 필요하다. 데이터 누출이란 사전학습 중 벤치마크 데이터에 노출됨으로써 벤치마크 성능이 인위적으로 부풀려지는 현상이다. 기존 접근법들은 독점적인 학습 코퍼스에 대한 접근을 가정하거나, 타임스탬프 필터링과 같은 취약한 휴리스틱에 의존하거나, 수동으로 조정된 일반화되지 않는 임계값을 가진 외부 참조 세트를 사용한다. 이러한 한계를 해결하기 위해, 우리는 그레이박스(모델 로짓 접근 가능) 및 블랙박스(모델 출력 접근 가능) 설정 모두를 위한 통합 자기참조(self-referential) 누출 탐지 프레임워크인 SrDetection을 제안한다. SrDetection은 벤치마크 샘플의 의미적으로 동등한 변형을 생성하고, 원본과 변형에 대한 모델의 동작을 대조함으로써 누출을 탐지하며, 원본이 모델에게 불균형적으로 쉬운 경우를 플래그로 표시한다. 또한 통제된 누출 탐지 테스트베드를 설계하고 해당 환경에서 SrDetection을 평가한다. 다양한 모델과 학습 단계에 걸쳐, SrDetection은 강력한 기준선 대비 그레이박스 설정에서 평균 F1을 21.52포인트, 블랙박스 설정에서 14.46포인트 향상시키며 임계값에 독립적인 강건한 누출 탐지를 입증한다. 마지막으로, 네 가지 인기 벤치마크에서 15개의 널리 사용되는 Code LLM에 대한 그레이박스 연구는 기존 중복 기반 분석을 넘어서는 벤치마크별 누출 패턴을 밝혀낸다.
정적 시각적 질의응답(VQA) 벤치마크는 빠르게 노후화된다. 항목이 학습 코퍼스에 누출되면 점수는 실제 시각 능력보다 암기를 반영할 수 있어 진정한 진보를 가린다. V*Bench와 같은 고품질 벤치마크를 재구축하려면 상당한 인간 주석이 필요하지만, 각 정적 릴리스는 곧 또 다른 누출 산출물이 될 수 있다. 우리는 평가 시점에 실제 이미지에서 답을 담고 있는 국소적 세부사항, 즉 시각 키(visual key)를 무작위로 재생성하는 라이브 벤치마크 프로토콜인 ReKey를 제안한다. 인간이 검증한 편집 슬롯(edit slot)을 사용하여 ReKey는 새로운 답, 구성에 기반한(construction-grounded) 레이블, 그리고 제어된 시각 탐색 난이도를 갖춘 새로운 인스턴스를 샘플링한다. V*Bench에서 ReKey가 재생성한 벤치마크는 8개의 최신 비전-언어 모델(VLM) 전반에 걸쳐 급격한 점수 상승을 드러낸다. 원본 항목은 재생성된 변형보다 9.5–18.8 percentage points 더 높은 점수를 기록한다. 시각 키를 재생 가능하게 함으로써 ReKey는 모델과 학습 데이터가 진화함에 따라 평가를 최신 상태로 유지한다.
본 논문에서는 SoftMatcha 2를 소개합니다. 이는 치환, 삽입, 삭제 형태의 의미적 변형을 허용하면서 조 규모 자연어 말뭉치에 대해 0.3초 이내에 검색을 가능하게 하는 초고속 유연한 검색 알고리즘입니다. 우리의 접근 방식은 말뭉치 크기에 따라 잘 확장되는 접미사 배열(suffix array) 기반 문자열 매칭을 사용하며, 단어를 벡터로 표현하여 그 의미적 유연성을 뒷받침합니다. 쿼리의 의미적 완화로 인해 유발되는 조합적 폭발(combinatorial explosion)을 완화하기 위해, 본 방법은 동적 말뭉치 인식 가지치기(pruning)와 디스크 인식(disk-aware) 설계로 가능한 빠른 정확한 룩업(lookup)이라는 두 가지 핵심 알고리즘 아이디어에 기반합니다. 제안된 방법의 효율성을 이론적으로 분석한 결과, 검색 공간의 지수적 증가를 완화할 수 있음을 확인했습니다. 실증적으로, FineWeb-Edu (Lozhkov et al., 2024) (1.4조 토큰) 데이터셋에서 기존 방법론인 infini-gram (Liu et al., 2024), infini-gram mini (Xu et al., 2025), SoftMatcha (Deguchi et al., 2025)보다 훨씬 더 낮은 검색 지연 시간(latency)을 달성했습니다. 실용적인 응용으로서, 본 방법은 기존 접근 방식이 놓치는 학습(training) 말뭉치 내의 벤치마크 오염(contamination)을 발견하며, 정보 검색(information retrieval) 및 의역(paraphrase) 탐지에도 도움이 됩니다. 또한 7개 언어의 말뭉치에 대한 빠르고 유연한 검색 기능을 온라인 데모로 제공합니다.