대규모 언어 모델을 활용한 문헌 선별 및 지식 종합의 자동화
Automating literature screening and knowledge synthesis with large language models
한국어 초록
과학 문헌은 빠르게 증가하고 있으나, 크고 이질적인 문헌 코퍼스를 탐색하는 데 막대한 작업량이 필요하기 때문에 그 지식의 상당 부분은 체계화하고 재사용하기 어렵다. 본 연구에서는 문헌 선별, 구조화된 정보 추출, 지식 종합을 하나의 통합된 워크플로에서 자동화하는, 일반화 가능한 대규모 언어 모델(LLM) 기반 프레임워크를 개발한다. 범위, 코퍼스 규모, 클래스 불균형이 서로 다른 세 가지 재료과학 선별 과제에서 최신 상용 및 오픈 가중치 LLM 11개를 벤치마크하였다. 일곱 개의 LLM이 모든 과제에서 0.90을 넘는 균형 정확도를 달성했고 최고 성능 LLM은 0.96–0.98에 도달하여, LLM이 크고 매우 불균형한 과학 코퍼스를 정확하게 선별할 잠재력을 보였다. 이 프레임워크는 수작업 선별에 약 83 인시(person-hour)가 소요되는 것과 비교해 10,000건의 기록을 4분 이내에 선별함으로써 수작업 부담도 크게 줄인다. 문헌 선별을 넘어, 이 프레임워크는 전문 논문에서 구조화된 정보를 추출하여 출판 메타데이터에 기반한 전통적 계량서지 분석을 확장하는 연구 지형의 내용 수준 정량화를 가능하게 한다. 이러한 능력은 콘크리트 재료과학의 기계학습 사례에서 보듯이 방법론적 추세와 충분히 탐구되지 않은 방향을 드러낸다. 또한 기존 검색 전략으로는 찾기 어려운 규ㅅ산염 유리 밀도 데이터를 포함한 논문을 식별함으로써 정보 및 데이터 발견에서의 유용성을 보이며, 이는 후속 가설 개발, 연구 설계, 데이터 기반 과학적 발견을 뒷받침할 수 있다. 종합하면 이러한 결과는 LLM 기반 문헌 분석이 여러 과학 분야에 폭넓게 적용 가능하며, 크고 구조화되지 않은 문헌 코퍼스를 대규모로 구조화되고 분석 가능한 지식으로 전환할 잠재력이 있음을 보여 준다.
원문 초록
Scientific literature is expanding rapidly, yet much of its knowledge remains difficult to organize and reuse due to the substantial workload needed to navigate large, heterogeneous literature corpora. Here, we develop a generalizable large language model (LLM)-powered framework that automates literature screening, structured information extraction, and knowledge synthesis within a unified workflow. We benchmarked 11 state-of-the-art proprietary and open-weight LLMs across three materials science screening tasks differing in scope, corpus size, and class imbalance. Seven LLMs achieved balanced accuracies above 0.90 across all tasks, with the best-performing LLM reaching 0.96--0.98, demonstrating the potential of LLMs to accurately screen large, highly imbalanced scientific corpora. The framework also substantially reduces manual effort, screening 10,000 records within four minutes compared with approximately 83 person-hours for manual screening. Beyond literature screening, the framework extracts structured information from full-text articles, enabling content-level quantification of research landscapes that extends traditional bibliometric analysis based on publication metadata. This capability reveals methodological trends and underexplored directions, as shown for machine learning in concrete materials science. We further demonstrate its utility for information and data discovery by identifying publications containing silicate glass density data that are difficult to retrieve using conventional search strategies, which can support downstream hypothesis development, research design, and data-driven scientific discovery. Overall, these results demonstrate the broad applicability of LLM-powered literature analysis across scientific domains and its potential to transform large, unstructured literature corpora into structured, analyzable knowledge at scale.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.18588v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.