DeGenTWeb: MGT 우세 웹사이트에 대한 첫 고찰
DeGenTWeb: A First Look at MGT-dominant Websites
한국어 초록
많은 뉴스 보도가 대규모 언어 모델(LLM)이 생성한 기계 생성 텍스트(MGT)가 웹을 장악하고 있다고 주장해 왔다. 그러나 이러한 주장은 대개 웹의 대표 표본에 기반하지 않으며, 그 근거가 되는 방법론도 불투명한 경우가 많다. 그 결과 웹에서 MGT가 실제로 얼마나 널리 퍼져 있고 어떤 특성을 갖는지에 대한 이해가 부족하다. 본 논문은 정보성 산문 콘텐츠가 대부분 MGT이고 사람의 개입이 거의 없는 사이트, 즉 MGT 우세 웹사이트를 체계적으로 식별하는 DeGenTWeb을 소개한다. 우리는 MGT 탐지기를 웹 페이지에 적용하도록 조정하는 방법과, 정확한 사이트 수준 분류를 위해 한 사이트의 여러 페이지에서 얻은 탐지 결과를 집계하는 방법을 제시한다. DeGenTWeb은 사람이 작성한 사이트 중 0.12%만을 MGT 우세로 잘못 분류한다. 분석 결과, 2026년 1월부터 7월까지 Common Crawl이 아카이빙한 사이트의 20.9%와 2025년 Bing 검색 결과에 링크된 사이트의 13.6%가 MGT 우세로 나타났다. 이 수치는 MGT 우세 사이트 비율의 하한이다. 또한 MGT 우세 사이트의 비율이 시간이 지남에 따라 증가하고 있으며, 이러한 사이트 중 다수가 동일한 소유자를 공유함을 확인했다. 논문 게재 후 모든 코드와 데이터를 공개할 예정이다.
원문 초록
Many news reports have claimed that machine-generated text (MGT) from large language models (LLMs) is taking over the web. However, these claims are typically not based on a representative sample of the web, and the methodology underlying them is often opaque. Consequently, we lack an understanding of the true prevalence and characteristics of MGT on the web. We describe DeGenTWeb, which systematically identifies MGT-dominant websites: sites whose informational prose content is mostly MGT, with little human input. We show how to adapt detectors of MGT for use on web pages, and how to aggregate detection results from multiple pages on a site for accurate site-level categorization. DeGenTWeb mislabels only 0.12% of human-authored sites as MGT-dominant. We find that 20.9% of the sites archived by Common Crawl between January and July 2026 and 13.6% of the sites linked from Bing's search results in 2025 are MGT-dominant. These figures are lower bounds on the prevalence of MGT-dominant sites. We also find that the fraction of MGT-dominant sites is growing over time, and that many such sites share the same owner. We will release all of our code and data after publication.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2605.00087v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.