대규모 웹 크롤링 코퍼스에서의 견고하고 확장 가능한 텍스트 포함 감지
FindMyText: Robust, Scalable Detection of Text Containment in Large Web-Crawled Corpora
우리는 주어진 텍스트가 텍스트 코퍼스 내에 일부 또는 전체로 포함되어 있는지를 효율적으로 평가하기 위해 설계된 오픈소스 Python 패키지 FindMyText를 소개한다. 이 도구는 문서 핑거프린팅(document fingerprinting)에 관한 기존 기법을 기반으로 하되, 일치하는 핑거프린트의 연속 시퀀스를 명시적으로 포착하는 새로운 메커니즘으로 이를 확장한다. 이러한 체인(chain)을 식별함으로써, 단순한 텍스트 유사성이 아닌 주어진 텍스트의 준축자적(near-verbatim) 복사본을 보다 신뢰성 있게 감지할 수 있다. 이로 인해 FindMyText는 코퍼스 내 저작권 보호 자료의 존재 여부를 검증하는 데 특히 적합하다. 분산형 디스크 기반 인덱싱 프레임워크를 활용하여, 이 시스템은 대규모 웹 크롤링 데이터셋으로 확장된다. 텍스트 포함 방법 평가를 위한 새로운 벤치마크를 사용하여, FindMyText가 세 가지 데이터셋(ArXiv 논문, Wikipedia, 일반 웹 콘텐츠)에서 대안적 접근법들보다 우수한 성능을 보임을 확인한다.