arXiv:2603.03322v2 cs.CL

대규모 언어 모델은 새로운 지식을 도출할 수 있는가? 생물학 지식 발견을 위한 동적 벤치마크

Can Large Language Models Derive New Knowledge? A Dynamic Benchmark for Biological Knowledge Discovery

Chaoqun Yang, Xinyu Lin, Shulin Li, Wenjie Wang, Ruihan Guo, Fuli Feng, Tat-Seng Chua

제출 2026-02-10

한국어 초록

대규모 언어 모델(LLM) 에이전트의 최근 발전은 자동화된 지식 발견에서 뛰어난 잠재력을 보여주었습니다. 그러나 AI의 지식 발견 역량을 엄밀하게 평가하는 것은 여전히 중요한 과제로 남아 있습니다. 기존 벤치마크는 주로 정적 데이터셋에 의존하므로, 모델이 학습(training) 중에 평가 대상 지식을 이미 접했을 가능성이 높은 불가피한 데이터 오염이 발생합니다. 나아가 현대 LLM의 빠른 출시 주기로 인해 정적 벤치마크는 금세 구식이 되며, 진정으로 새로운 지식을 발견하는 능력을 평가하지 못합니다. 이러한 한계를 해결하기 위해, 우리는 AI의 생물학 지식 발견 능력을 평가하도록 설계된 동적 완전 자동화 벤치마크인 DBench-Bio를 제안합니다. DBench-Bio는 세 단계 파이프라인을 채택합니다: (1) 엄격하고 권위 있는 논문 초록의 데이터 수집, (2) LLM을 활용해 과학적 가설 질문과 그에 대응하는 발견 답변을 종합하는 QA 추출, (3) 관련성, 명확성, 핵심성을 기준으로 품질을 보장하는 QA 필터. 우리는 이 파이프라인을 구체화하여 12개의 생명과학 하위 분야를 포괄하는 월 단위 업데이트 벤치마크를 구축했습니다. SOTA 모델에 대한 광범위한 평가는 새로운 지식을 발견하는 데 있어 현재 모델들의 한계를 드러냅니다. 본 연구는 AI 시스템의 새로운 지식 발견 역량을 평가하기 위한 최초의 동적 자동화 프레임워크를 제공하며, AI 연구 커뮤니티가 지식 발견의 발전을 촉진할 수 있도록 살아 숨 쉬며 진화하는 자원을 구축합니다.

원문 초록

Recent advancements in Large Language Model (LLM) agents have demonstrated remarkable potential in automatic knowledge discovery. However, rigorously evaluating an AI's capacity for knowledge discovery remains a critical challenge. Existing benchmarks predominantly rely on static datasets, leading to inevitable data contamination where models have likely seen the evaluation knowledge during training. Furthermore, the rapid release cycles of modern LLMs render static benchmarks quickly outdated, failing to assess the ability to discover truly new knowledge. To address these limitations, we propose DBench-Bio, a dynamic and fully automated benchmark designed to evaluate AI's biological knowledge discovery ability. DBench-Bio employs a three-stage pipeline: (1) data acquisition of rigorous, authoritative paper abstracts; (2) QA extraction utilizing LLMs to synthesize scientific hypothesis questions and corresponding discovery answers; and (3) QA filter to ensure quality based on relevance, clarity, and centrality. We instantiate this pipeline to construct a monthly-updated benchmark covering 12 biomedical sub-domains. Extensive evaluations of SOTA models reveal current limitations in discovering new knowledge. Our work provides the first dynamic, automatic framework for assessing the new knowledge discovery capabilities of AI systems, establishing a living, evolving resource for AI research community to catalyze the development of knowledge discovery.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2603.03322v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.