arXiv:2609.03047v1 cs.CL

SHELF: 다중 태스크 서지 벤치마킹을 위한 합성 하네스

SHELF: A Synthetic Harness for Multi-Task Bibliographic Benchmarking

Michael J. Bommarito

제출 2026-09-02

한국어 초록

도서관과 아카이브는 제한된 인력과 컴퓨팅 예산으로 대규모 컬렉션을 관리하지만, 기존의 일반적인 벤치마크는 이들의 서지(bibliographic) 작업을 체계적으로 테스트하지 못합니다. 따라서 이들에게는 어떤 방법이 자신들의 태스크에 적합하며, 해당 방법을 실행하는 데 무엇이 필요한지 파악하는 것이 필수적입니다. LLM 적합성 평가를 위한 합성 하네스인 SHELF(Synthetic Harness for Evaluating LLM Fitness)는 이러한 공백을 해결합니다. SHELF는 라벨이 지정된 분류 체계(taxonomy), 작성 규격, 생성 예산을 통제된 벤치마크 데이터 및 평가 태스크로 변환하는 Python 시스템입니다. 이번 첫 릴리스에는 미국 의회도서관(Library of Congress) 어휘를 기반으로 모델이 작성한 62,899개의 문서가 포함되어 있으며, 분류(classification), 군집화(clustering), 검색(retrieval), 쌍 분류(pair classification), 인스트럭션 검색(instruction retrieval) 태스크를 제공합니다. 본 연구에서는 TF, TF-IDF, BM25, 널리 쓰이는 인코더, 그리고 주제 분류에 한해 제로샷(zero-shot) 디코더를 비교하며, 각 방법은 이를 지원하는 태스크에만 적용됩니다. 실험 결과, 주제 분류는 0.8887에 도달한 반면 장르-형식 분류는 0.2605에 그쳤고, 일부 쌍 분류 및 군집화 태스크는 무작위 선택 확률(chance level) 근처에 머물렀습니다. 희소(sparse) 방식은 분류에서 여전히 경쟁력을 유지했으며, TF-IDF는 주제별 소요 시간 측정 실험에서 가장 빠른 성능을 보였습니다. 또한 SHELF는 서지 패싯(facet)을 독립적으로 변화시키며, 모델의 학습(training) 마감 시점(cutoff) 이후의 검증 가능하게 새로운 문서를 생성할 수 있습니다. LCSHBench 및 Project Gutenberg와의 비교는 절대적인 점수보다 모델 순위가 더 안정적으로 전이됨을 보여주지만, SHELF 점수가 실제 운영 카탈로그 데이터에 대한 정확도를 추정하지는 못한다는 한계도 나타냅니다. 본 연구의 모든 소스 코드와 데이터는 허용적 라이선스에 따라 GitHub와 Hugging Face에 공개됩니다.

원문 초록

Libraries and archives manage large collections with limited staff and computing budgets, yet common benchmarks do not systematically test their bibliographic work. They need to know which methods work for their tasks and what those methods require to run. SHELF, the Synthetic Harness for Evaluating LLM Fitness, addresses this gap. It is a Python system that turns labelled taxonomies, writing specifications, and a generation budget into controlled benchmark data and evaluation tasks. This first release contains 62,899 model-written documents based on Library of Congress vocabularies, with tasks for classification, clustering, retrieval, pair classification, and instruction retrieval. We compare TF, TF-IDF, BM25, popular encoders, and, on subject classification only, zero-shot decoders; each method appears only on tasks that support it. Subject classification reaches 0.8887, while genre-form classification reaches only 0.2605, and several pair and clustering tasks remain near chance. Sparse methods remain competitive on classification, while TF-IDF is the fastest measured arm in the subject timing experiment. SHELF also varies bibliographic facets independently and can generate new, verifiably unseen documents after a model's training cutoff. Comparisons with LCSHBench and Project Gutenberg show that model rankings transfer more reliably than absolute scores, but SHELF scores do not estimate accuracy on production catalogue data. We release all source code and data under permissive licenses on GitHub and Hugging Face.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.03047v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.