우리는 주어진 텍스트가 텍스트 코퍼스 내에 일부 또는 전체로 포함되어 있는지를 효율적으로 평가하기 위해 설계된 오픈소스 Python 패키지 FindMyText를 소개한다. 이 도구는 문서 핑거프린팅(document fingerprinting)에 관한 기존 기법을 기반으로 하되, 일치하는 핑거프린트의 연속 시퀀스를 명시적으로 포착하는 새로운 메커니즘으로 이를 확장한다. 이러한 체인(chain)을 식별함으로써, 단순한 텍스트 유사성이 아닌 주어진 텍스트의 준축자적(near-verbatim) 복사본을 보다 신뢰성 있게 감지할 수 있다. 이로 인해 FindMyText는 코퍼스 내 저작권 보호 자료의 존재 여부를 검증하는 데 특히 적합하다. 분산형 디스크 기반 인덱싱 프레임워크를 활용하여, 이 시스템은 대규모 웹 크롤링 데이터셋으로 확장된다. 텍스트 포함 방법 평가를 위한 새로운 벤치마크를 사용하여, FindMyText가 세 가지 데이터셋(ArXiv 논문, Wikipedia, 일반 웹 콘텐츠)에서 대안적 접근법들보다 우수한 성능을 보임을 확인한다.
임상 머신러닝은 임상의가 주석을 달기보다 대규모 언어 모델(LLM)이 생성한 학습 코퍼스에 점점 더 의존하고 있으며, 이러한 코퍼스는 보고된 규모를 기반으로 설명되고 재사용된다. 우리는 데이터 양이 정보 내용을 반영하는지 검증한다. 167,034개의 환자 내러티브에 적용된 멀티 에이전트 임상 추출 파이프라인의 전체 출력물을 분석하여—11채널 파이프라인 중 텍스트를 포함하는 10개 채널에 걸쳐 생성된 총 25.1억 토큰—우리는 출처 기반 중복성 분해(Provenance-based Redundancy Decomposition)를 도입하여 전체 출력물을 출처에 따라 토큰 수준에서 분류한다. 출력물의 단 10.9%만이 학습 가능한 고유 콘텐츠이며, 79.4%는 중복이다. 즉 원시 토큰 수는 정보 내용을 약 9배 과대평가한다. 중복성은 두 가지 별개의 메커니즘을 통해 발생하는데, 항목별 필드에 소스 컨텍스트를 그대로 복사하는 것과 레코드 전반에 걸쳐 생성된 텍스트가 중복되는 것이며, 전자만이 손실 없이 제거 가능하다. 무손실 압축에 기반한 독립적이고 모델 비의존적인 분석이 이 중복성을 확인하며, 출처 레이블을 참조하지 않고도 두 가지 메커니즘을 복원한다. 파이프라인 채널 하나는 거의 중복성이 없어, 중복성 수준이 LLM 추출의 고정적 특성이 아니라 각 채널의 구조 방식에 따라 달라짐을 보여준다. 수정되지 않은 중복성은 가장 많은 항목을 생성하는 더 길고 복잡한 사례에 가중치를 부여하기 때문에, 코퍼스의 토큰 수준 학습 분포를 왜곡하며 이를 직접 측정한다. 통제된 다운스트림 실험에서, 동일한 토큰 예산 하에 적응(adaptation) 전 코퍼스의 중복을 제거하면 외부 질병 인식 벤치마크에서 임상 인코더 성능이 향상되었으며, 이는 적응 깊이 전반에 걸쳐 강건하게 나타났고 두 번째 벤치마크에서도 재현되어 중복성이 저장 공간 이외에도 측정 가능한 비용을 수반함을 확인한다. 분류 도구는 공개적으로 배포된다.
Chinchilla 시대 스케일링 법칙과 Compute-Equivalent Gain/Loss(CEG/CEL)로 사전학습 코퍼스의 정확 문서 반복(exact-document repetition) 손해를 재정량화한 결과, 반복 토큰 비중 10%를 고정해도 평가 손실은 반복 횟수 R의 중간 구간에서 최대가 되고 그 피크 위치는 모델 크기 N에 대한 멱법칙(R^peak ∝ N^−0.96)으로 예측된다. FineWeb-Edu-Dedup에서 Qwen3-style 344M 모델(OT=1)의 최악 반복 구조는 중복 없는 학습 대비 약 33%의 compute-equivalent loss(CEG≈0.67)에 해당하며, verbatim 중복을 갖는 잘못 지정된 선형 회귀 모델이 동일한 비단조 피크를 재현해 암기와 일반화 간 통계적 트레이드오프로 설명된다.