arXiv:2602.15189v3 cs.IR

ScrapeGraphAI-100k: 스키마 제약 LLM 생성을 위한 데이터셋

ScrapeGraphAI-100k: Dataset for Schema-Constrained LLM Generation

William Brach, Francesco Zuppichini, Marco Vinciguerra, Lorenzo Padoan

제출 2026-11-16

한국어 초록

지정된 JSON 스키마를 따르는 출력을 생성하는 것은 현대 대규모 언어 모델의 도구 사용, 구조화된 추출, 지식 베이스 구축의 토대가 된다. 이러한 중요성에도 불구하고, 이 과제를 위한 공개 데이터셋은 규모가 작거나 합성되었거나 텍스트 전용이며, 실제 페이지 콘텐츠를 실무에서 사용되는 프롬프트 및 스키마와 짝지은 경우는 드물다. 우리는 2025년 2~3분기에 옵트아웃 방식의 ScrapeGraphAI 텔레메트리를 통해 수집하고, 900만 건의 원시 이벤트에서 중복 제거 및 스키마별 균형 조정을 거친 93,695건의 스키마 제약 추출 이벤트인 ScrapeGraphAI-100k를 소개한다. 이 코퍼스는 25,453개의 고유 스키마와 15개의 명명된 언어에 걸쳐 있으며, 탐지된 콘텐츠의 89%가 영어이다. 각 인스턴스는 마크다운으로 변환된 페이지 콘텐츠를 프롬프트, 스키마, LLM 응답, 그리고 예제별 jsonschema-rs 구조 적합성 레이블과 짝짓는다. 코퍼스 전반의 구조적 다양성을 규명하고, 스키마 복잡도가 증가할 때 나타나는 급격한 실패 임계값을 확인한다. 사례 연구로서, 이 데이터로 미세조정한 1.7B 학생 모델은 GPT-5-nano 교사 모델의 출력 분포를 근접하게 따르지만, 스키마 준수 면에서는 30B-A3B 기준 모델(활성 매개변수 33억 개)에 여전히 뒤처진다. 이 증류 결과를, 실제 실무 워크로드에 기반한 대규모 스키마 제약 생성이 기존의 합성 또는 텍스트 전용 코퍼스로는 지원할 수 없었던 학습과 벤치마킹을 가능하게 한다는 예비적 증거로 제시한다. ScrapeGraphAI-100k는 HuggingFace에 공개되어 있다.

원문 초록

Producing output that conforms to a specified JSON schema underlies tool use, structured extraction, and knowledge base construction in modern large language models. Despite this centrality, public datasets for the task remain small, synthetic, or text-only, and rarely pair real page content with the prompts and schemas used in practice. We introduce ScrapeGraphAI-100k, 93,695 schema-constrained extraction events collected via opt-out ScrapeGraphAI telemetry in Q2--Q3 2025, deduplicated and balanced by schema from 9M raw events. The corpus spans 25,453 unique schemas, across 15 named languages, with English covering 89% of detected content. Each instance pairs Markdown-converted page content with a prompt, schema, LLM response, and per-example jsonschema-rs structural conformance labels. We characterize structural diversity across the corpus and identify sharp failure thresholds as schema complexity grows. As a case study, a 1.7B student fine-tuned on this data closely tracks the output distribution of its GPT-5-nano teacher, though it still trails a 30B-A3B reference (3.3B active parameters) on schema compliance. We offer this distillation result as preliminary evidence that grounding schema-constrained generation in real practitioner workloads at scale enables training and benchmarking that prior synthetic or text-only corpora could not support. ScrapeGraphAI-100k is publicly available on HuggingFace.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2602.15189v3제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.