arXiv:2609.27297v1 cs.AI

대규모 지식 모델: 논문에서 과학적 추론 지형으로

Large Knowledge Model: From Papers to a Scientific Reasoning Landscape

Yuan Huang, Sihan Hu, Hongyu Gu, Chao Ma, Jiaxing Zhang, Zhiyong Zou, Caiyu Fan, Yan Xiao, Mingjun Xu, Chenyu Xie, Mingzhen Ju, Zhehao Ma, Qi Zhang, Baozong Wang, Yu Li 외 6명

제출 2026-09-24

한국어 초록

축적된 과학적 지식은 이전의 발견이 연구자들로 하여금 새로운 연구 질문을 선택하고, 조사를 설계하며, 결과를 해석하는 데 기여할 때 학문적 탐구를 발전시킵니다. 이러한 가치를 대규모로 실현하려면 연구 문제, 과학적 절차, 결론, 그리고 증거를 연결하는 추론에 접근할 수 있어야 합니다. 본 연구에서는 학술 문헌을 공유 가능하고 계산적으로 접근 가능한 추론 자원으로 변환하는 과학적 지식 인프라인 대규모 지식 모델(Large Knowledge Model, LKM)을 소개합니다. LKM은 논문을 출처에 기반한(source-grounded) 추론 그래프로 표현하고, 동일한 객체에 대한 구조적 순회(structural traversal)와 의미론적 검색(semantic retrieval)을 결합하며, 여러 논문에 걸쳐 관련된 질문, 주장 및 추론 연쇄(reasoning chains)를 정렬합니다. 이러한 표현은 세 가지 연결된 뷰로 구성된 과학적 추론 지형(Scientific Reasoning Landscape)을 형성합니다. 즉, 연구 문제와 미해결 연구 방향을 구성하는 질문 지형(Question Landscape), 재사용 가능한 과학적 절차를 제시하는 워크플로 지형(Workflow Landscape), 결론을 그에 대한 지지, 불일치 및 조건과 연결하는 증거 지형(Evidence Landscape)입니다. 이 통합된 기반은 추론을 인식하는 과학적 검색, 증거 기반 질의응답, 비교 증거 분석, 연구 계획 수립을 지원합니다. 연구자와 에이전트(agent)는 과학적 의도를 통해 관련 연구를 검색하고, 검토 가능한 뒷받침 논거를 바탕으로 답변을 종합하며, 기존 워크플로와 아직 해결되지 않은 증거를 참고하여 연구 계획을 개발할 수 있습니다. 본 연구에서는 코퍼스 규모의 시스템을 설명하고, 과학적 검색 및 지식 집약적 질의응답을 평가합니다. 답변 모델을 고정한 상태에서 LKM 검색은 ChemBench, PubMedQA, SciBench에서 각각 9.30%, 4.20%, 14.69%의 정확도 향상을 달성합니다. 지식 접근을 과학적 추론 및 행동과 연결함으로써, LKM은 관련 연구 탐색, 과학적 지식 재사용, 그리고 연구자, 에이전트, 연구 주기 전반에 걸친 누적적 탐구 조율을 위한 공통 기반을 제공합니다.

원문 초록

Accumulated scientific knowledge advances inquiry when prior findings help researchers choose new questions, design investigations, and interpret results. Realizing this value at scale requires access to the reasoning that connects research problems, scientific procedures, conclusions, and evidence. We introduce the Large Knowledge Model (LKM), a scientific knowledge infrastructure that transforms the literature into a shared, computationally accessible reasoning resource. LKM represents papers as source-grounded reasoning graphs, couples structural traversal with semantic retrieval over the same objects, and aligns related questions, claims, and reasoning chains across papers. This representation forms a Scientific Reasoning Landscape with three connected views: a Question Landscape that organizes research problems and open directions, a Workflow Landscape that exposes reusable scientific procedures, and an Evidence Landscape that connects conclusions to their support, disagreement, and conditions. The unified substrate supports reasoning-aware scientific search, evidence-grounded question answering, comparative evidence analysis, and research planning. Researchers and agents can retrieve relevant work through its scientific intent, synthesize answers with inspectable supporting arguments, and develop research plans informed by established workflows and unresolved evidence. We describe a corpus-scale system and evaluate scientific retrieval and knowledge-intensive question answering. With the answering model fixed, LKM retrieval improves accuracy by 9.30%, 4.20%, and 14.69% on ChemBench, PubMedQA, and SciBench, respectively. By connecting knowledge access to scientific reasoning and action, LKM provides a common foundation for discovering relevant research, reusing scientific knowledge, and coordinating cumulative inquiry across researchers, agents, and research cycles.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.27297v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13889v1cs.AI공통 태그 Retrieval, Benchmarking, Information Retrieval

RATED: 실행 역학을 통한 신뢰성 인식 AI 에이전트 도구 검색

RATED: Reliability-Aware AI Agent Tool Retrieval via Execution Dynamics

AI 에이전트(agent)의 외부 도구 의존도가 높아짐에 따라, 신뢰할 수 있는 동작을 위해서는 정확한 도구 검색이 필수적입니다. 기존 방식들은 의미적 관련성을 최적화하지만 실행 중 도구의 가용성은 대체로 무시합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 강건한 의미적 매칭과 동적 신뢰성 적응을 결합한 검색 프레임워크인 RATED(Reliability-Aware Tool Retrieval via Execution Dynamics)를 제안합니다. RATED는 의미적 매칭을 위해 대조 미세조정(contrastive fine-tuning)이 적용된 고정된(frozen) 듀얼 인코더를 사용하며, 실시간 실행 피드백을 기반으로 후보군을 재순위화하는 경량 맥락적 밴딧(contextual bandit) 모듈을 사용합니다. 이러한 설계를 통해 모델의 값비싼 재학습 없이도 런타임 도구 실패에 신속하게 적응할 수 있습니다. 또한 오프라인 검색 및 동적 신뢰성 평가를 위해 5,172개의 실제 도구와 210,000개 이상의 쿼리-도구 쌍으로 구성된 벤치마크인 EcoAgent를 소개합니다. 실험 결과에 따르면, RATED는 실제 쿼리에서 ToolLLM API 검색기 대비 52.2%의 상대적 MRR 향상을 달성하고, 30%의 실패율을 보이는 심각한 API 장애 시나리오에서 오류 선택률을 86.2%에서 2.9%로 낮추는 동시에 인코딩 전용 추론(inference) 대비 1ms 미만의 미미한 지연 시간 오버헤드만을 발생시킵니다. 코드와 데이터셋은 https://github.com/Elliotes/EcoAgent 에서 확인할 수 있습니다.

arXiv:2610.13948v1cs.AI공통 태그 Knowledge Graphs, Benchmarking, Information Retrieval

언어 모델은 위키피디아 게임을 플레이할 수 있는가?

Can Language Models Play the Wikipedia Game?

언어 모델은 색인하기에 너무 방대한 문서 집합에서 정보 검색을 지원하거나 자동화하는 데 점점 더 많이 활용되고 있습니다. 이 작업은 전문적인 언어학적 또는 과학적 지식을 요구할 때 어려워집니다. 본 연구에서는 유사한 정보 검색 작업에서 언어 모델을 테스트하기 위해 위키피디아 게임(Wikipedia Game)을 활용했습니다. 이 게임에서 플레이어는 오직 문서 내 링크만을 사용하여 목표 문서에 도달해야 합니다. 5개 언어의 위키피디아와 5개의 학술 문헌 데이터셋에 걸쳐 문장 임베딩(embedding) 모델(model)과 대규모 언어 모델(LLM)들을 비교했습니다. OpenAlex를 사용하여 위키피디아 페이지 및 논문 인용으로 이루어진 초대형 로컬 그래프를 구축하고, 이를 생성하고 탐색할 수 있는 코드를 제공합니다. 이를 통해 서드파티 API에 의존하지 않고도 언어 모델의 탐색 능력을 연구할 수 있습니다. 또한 해당 모델들을 인간 및 TF-IDF 벤치마크와 비교했습니다. 위키피디아 게임 형식은 다양한 기법, 언어 및 도메인 전반에 걸쳐 강력한 비교를 가능하게 합니다. 가장 우수한 모델들(GPT-o3 mini, GPT-4o, QwQ:32B, DeepSeek-R1:70B)이 인간에 필적하는 성공률을 달성했으나, 인간을 유의미하게 능가한 모델은 없었습니다. 성능과 순위는 언어와 주제에 따라 다양하게 나타났으며, 이는 이러한 기법을 활용하는 실무자들에게 시사점을 제공합니다.

arXiv:2610.03020v1cs.AI공통 태그 Question Answering, Retrieval, Benchmarking

DyadMem: 에이전트와 사용자의 상호작용 방식을 평가하는 장기 기억 벤치마크

DyadMem: A Long-Term Memory Benchmark of How Agents Work with Users

장기 에이전트(agent)는 사용자에 대한 사실뿐만 아니라 공유된 히스토리가 발전함에 따라 특정 에이전트가 해당 사용자와 어떻게 상호작용해야 하는지도 기억해야 합니다. 기존 벤치마크는 주로 사용자의 사실 및 선호도나 여러 사용자 간에 재사용 가능한 경험만을 감독하여, 이러한 관계 특정적 에이전트 메모리를 암묵적인 상태로 남겨두었습니다. 또한, 대부분의 이전 연구는 긴 상호작용 기록에 대한 최종 답변 질의응답(QA)만으로 모델을 측정하므로 평가가 여전히 불완전하고 신뢰하기 어렵습니다. 이를 위해 본 논문에서는 새롭게 정의한 사용자 조건부 관계형 에이전트 메모리(URAM)와 함께 DyadMem을 소개합니다. DyadMem은 동일한 다중 세션 궤적을 따라 사용자 측 메모리와 URAM을 공동으로 주석 처리하여 6가지 메모리 범주를 구성합니다. 요약하자면, 본 벤치마크는 3,065개의 에피소드, 50,961개의 세션, 61,210개의 QA 인스턴스를 포함하며, 광범위한 세션 수준의 수집(Capture) 및 업데이트(Update) 골드 주석, 쿼리 수준의 리콜(Recall) 지원, 그리고 골드 메모리(Gold-Memory)와 전체 파이프라인(Full-Pipeline)이라는 두 가지 QA 설정을 제공합니다. 16개의 공개 가중치(weight) 모델과 4개의 독점 모델 전반에서 골드 메모리 QA는 일관되게 강력한 성능을 보였으나, 전체 파이프라인 QA는 급격히 하락했습니다. 이러한 격차는 본 연구의 세분화된 평가 설계를 명확히 뒷받침합니다. 또한, 여러 정량적 결과는 프론티어 대규모 언어 모델(LLM)에서도 낮은 수집 재현율(recall), 불완전한 검색(Recall), 안전하지 않은 삭제 문제가 발생함을 추가로 보여줍니다. 나아가 엄격한 실험을 수행하여 URAM의 효과를 검증했으며 20개 모델 모두에서 긍정적인 효과를 관찰했습니다. 요약하자면, DyadMem은 해당 분야의 발전을 위해 광범위한 주석 작업을 거친 이중 도메인, 전체 파이프라인 메모리 벤치마크입니다.

arXiv:2610.03574v1cs.AI공통 태그 Question Answering, Benchmarking, Information Retrieval

HyperBrowseComp: 웹 브라우징 에이전트를 위한 다국어 및 멀티모달 스트레스 테스트

HyperBrowseComp: A Multilingual and Multimodal Stress Test for Web-Browsing Agents

본 논문에서는 모국어 화자 또는 높은 숙련도를 갖춘 화자가 작성하고 사람이 검증한 13개 언어에 걸친 423개의 수작업 질문으로 구성된 다국어 및 멀티모달 브라우징 벤치마크인 HyperBrowseComp를 소개합니다. 질문들은 극도로 어렵게 설계되었습니다. 각 질문은 모호한 증거 탐색, 다단계 단서 추적, 또는 비디오, 스캔 문서, 이미지, 지도와 같은 이종 출처 조사를 거쳐야만 발견할 수 있는 간결하고 공개적으로 검증 가능한 정답을 목표로 합니다. 파라메트릭 지식(parametric knowledge)만으로 답변될 가능도를 낮추기 위해, 인터넷 접속이 불가능한 모델로 평가하여 더 쉬운 질문들을 걸러냈습니다. 저자들은 공통 에이전트 프로토콜 하에서 제공자 네이티브 검색 및 공유된 외부 검색 하네스를 사용하여 여러 모델을 평가합니다. 모델의 성능과 노력을 맥락화하기 위해 질문 표본에 대한 인간 평가도 수행합니다. HyperBrowseComp는 개방형 웹에서 증거를 발견하고 연결하는 과정에서 발생하는 난이도를 바탕으로, 언어와 증거 양식 전반에 걸친 지속적인 정보 탐색을 위한 도전적인 테스트베드를 제공합니다.

arXiv:2610.02202v1cs.AI공통 태그 Retrieval, Benchmarking, Information Retrieval

ScholarCatalyst: 새로운 연구에 영감을 주는 논문 검색을 위한 벤치마크

ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New Research

위대한 과학자들을 위대하게 만드는 것은 무엇일까요? AI 시스템이 미해결 문제에서 진전을 보이기 시작했음에도 불구하고, 과학자들은 끊임없이 증가하는 연구 아카이브 속에 묻혀 있는 이전 아이디어 중 새로운 문제에 필요한 것이 무엇인지 감지하는 능력에서 여전히 AI보다 훨씬 앞서 있습니다. 이러한 역량을 연구하기 위해, 우리는 논문이 그 안의 아이디어를 가리키는 지표 역할을 하도록 하여, 완료된 프로젝트를 어떤 이전 연구가 발전시켰는지 직접 알고 있는 연구자들을 활용합니다. 저자 주석을 확장 가능하게 만드는 자동화된 파이프라인을 활용하여, 최근 컴퓨터 과학 논문 207편의 제1저자 184명에게 어떤 후보 논문이 자신의 프로젝트를 발전시켰거나 발전시킬 수 있었는지 상세한 근거와 함께 라벨링하도록 함으로써 ScholarCatalyst를 구축합니다. 우리는 저자가 제공한 판단을 기반으로 하는 검색(retrieval) 태스크를 제안합니다. 즉, 초기 연구 질문이 주어졌을 때 프로젝트가 시작되었을 당시 이용 가능했던 문헌들만으로 해당 논문들을 검색하는 태스크입니다. 에이전트 기반 검색(agentic search)은 동일한 리트리버를 도구로 호출함에도 불구하고 임베딩 검색보다 나은 성과를 내지 못했습니다(Recall@20 기준 0.42 대 0.48). 학습(training) 중에 완성된 논문들을 보았을 가능성이 있는 Claude Fable 5.1 기반의 에이전트조차 R@20에서 0.51에 그쳤습니다. 이러한 결과는 방대한 코퍼스를 검색할 수 있는 전문가 수준의 직관을 모델에 부여하는 새로운 학습 레시피가 필요함을 강조합니다. 우리는 ScholarCatalyst가 완전히 다듬어지지 않은 아이디어를 바탕으로 필요한 이전 연구를 정확히 찾아낼 수 있는 과학 에이전트를 향한 발걸음이 되기를 기대합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.