arXiv:2610.02202v1 cs.AI

ScholarCatalyst: 새로운 연구에 영감을 주는 논문 검색을 위한 벤치마크

ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New Research

Sohyeon Kim, Yoonho Lee, Bo Liu, Dayoon Ko, Rulin Shao, Seungone Kim, Graham Neubig, Pang Wei Koh, Aakanksha Chowdhery, Akari Asai, Omar Khattab, Yejin Choi, Gunhee Kim, Chelsea Finn

제출 2026-10-01

저자 비고

arXiv Comments

57 pages

한국어 초록

위대한 과학자들을 위대하게 만드는 것은 무엇일까요? AI 시스템이 미해결 문제에서 진전을 보이기 시작했음에도 불구하고, 과학자들은 끊임없이 증가하는 연구 아카이브 속에 묻혀 있는 이전 아이디어 중 새로운 문제에 필요한 것이 무엇인지 감지하는 능력에서 여전히 AI보다 훨씬 앞서 있습니다. 이러한 역량을 연구하기 위해, 우리는 논문이 그 안의 아이디어를 가리키는 지표 역할을 하도록 하여, 완료된 프로젝트를 어떤 이전 연구가 발전시켰는지 직접 알고 있는 연구자들을 활용합니다. 저자 주석을 확장 가능하게 만드는 자동화된 파이프라인을 활용하여, 최근 컴퓨터 과학 논문 207편의 제1저자 184명에게 어떤 후보 논문이 자신의 프로젝트를 발전시켰거나 발전시킬 수 있었는지 상세한 근거와 함께 라벨링하도록 함으로써 ScholarCatalyst를 구축합니다. 우리는 저자가 제공한 판단을 기반으로 하는 검색(retrieval) 태스크를 제안합니다. 즉, 초기 연구 질문이 주어졌을 때 프로젝트가 시작되었을 당시 이용 가능했던 문헌들만으로 해당 논문들을 검색하는 태스크입니다. 에이전트 기반 검색(agentic search)은 동일한 리트리버를 도구로 호출함에도 불구하고 임베딩 검색보다 나은 성과를 내지 못했습니다(Recall@20 기준 0.42 대 0.48). 학습(training) 중에 완성된 논문들을 보았을 가능성이 있는 Claude Fable 5.1 기반의 에이전트조차 R@20에서 0.51에 그쳤습니다. 이러한 결과는 방대한 코퍼스를 검색할 수 있는 전문가 수준의 직관을 모델에 부여하는 새로운 학습 레시피가 필요함을 강조합니다. 우리는 ScholarCatalyst가 완전히 다듬어지지 않은 아이디어를 바탕으로 필요한 이전 연구를 정확히 찾아낼 수 있는 과학 에이전트를 향한 발걸음이 되기를 기대합니다.

원문 초록

What makes great scientists great? Even as AI systems start to make progress on open problems, scientists remain far ahead of them at sensing which prior idea, buried in an ever-growing archive of research, a new problem needs. To study this skill, we draw on researchers who know firsthand which earlier work advanced their completed projects, with papers serving as pointers to the ideas within. Using our automated pipeline that makes author annotation scalable, we build ScholarCatalyst by having 184 lead authors of 207 recent computer science papers label which candidates did or could have advanced their project, each with a detailed rationale. We introduce a retrieval task with author-provided judgments: given an initial research question, retrieve these papers from only the literature available when the project began. Agentic search does no better than embedding retrieval (0.42 vs. 0.48 Recall@20) despite calling that same retriever as a tool. Even an agent built on Claude Fable 5.1, which may have seen the completed papers during training, reaches only 0.51 R@20. These results highlight the need for new training recipes that equip models with expert intuition for searching broad corpora. We envision ScholarCatalyst as a step toward scientific agents that can take a half-formed idea and point to the prior research it needs.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.02202v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13889v1cs.AI공통 태그 Retrieval, Benchmarking, Information Retrieval

RATED: 실행 역학을 통한 신뢰성 인식 AI 에이전트 도구 검색

RATED: Reliability-Aware AI Agent Tool Retrieval via Execution Dynamics

AI 에이전트(agent)의 외부 도구 의존도가 높아짐에 따라, 신뢰할 수 있는 동작을 위해서는 정확한 도구 검색이 필수적입니다. 기존 방식들은 의미적 관련성을 최적화하지만 실행 중 도구의 가용성은 대체로 무시합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 강건한 의미적 매칭과 동적 신뢰성 적응을 결합한 검색 프레임워크인 RATED(Reliability-Aware Tool Retrieval via Execution Dynamics)를 제안합니다. RATED는 의미적 매칭을 위해 대조 미세조정(contrastive fine-tuning)이 적용된 고정된(frozen) 듀얼 인코더를 사용하며, 실시간 실행 피드백을 기반으로 후보군을 재순위화하는 경량 맥락적 밴딧(contextual bandit) 모듈을 사용합니다. 이러한 설계를 통해 모델의 값비싼 재학습 없이도 런타임 도구 실패에 신속하게 적응할 수 있습니다. 또한 오프라인 검색 및 동적 신뢰성 평가를 위해 5,172개의 실제 도구와 210,000개 이상의 쿼리-도구 쌍으로 구성된 벤치마크인 EcoAgent를 소개합니다. 실험 결과에 따르면, RATED는 실제 쿼리에서 ToolLLM API 검색기 대비 52.2%의 상대적 MRR 향상을 달성하고, 30%의 실패율을 보이는 심각한 API 장애 시나리오에서 오류 선택률을 86.2%에서 2.9%로 낮추는 동시에 인코딩 전용 추론(inference) 대비 1ms 미만의 미미한 지연 시간 오버헤드만을 발생시킵니다. 코드와 데이터셋은 https://github.com/Elliotes/EcoAgent 에서 확인할 수 있습니다.

arXiv:2610.13818v1cs.LG공통 태그 Retrieval, Benchmarking

TabMF: 정형 데이터 파운데이션 모델을 활용한 데이터셋 표현 학습

TabMF: Learning Dataset Representations with Tabular Foundation Models

지도학습 데이터셋의 표현(representation)은 데이터셋 검색 및 분포 변화(distribution shift) 모니터링과 같은 상위 수준의 머신러닝 작업을 지원합니다. 그러나 기존 접근 방식은 일반적으로 수작업으로 설계된 메타 피처나 표현 학습만을 위해 특별히 학습된 데이터셋 인코더에 의존합니다. 본 논문에서는 사전학습된 정형 데이터 파운데이션 모델(TFM)을 지도학습 데이터셋의 인코더로 재활용하는 프레임워크인 TabMF를 소개합니다. TabMF는 예측형 TFM에 구조를 고려한 데이터셋 수준의 리드아웃(readout)을 장착하고, 합성 지도학습 데이터셋의 확률적 뷰(stochastic view)에 대한 대조 사후 학습(contrastive post-training)을 사용하여 모델을 엔드투엔드로 적응시킵니다. TabICLv2 및 TabPFN-2.5에 TabMF를 적용하고, 미확인 실제 데이터셋을 대상으로 6개 작업에 걸쳐 도출된 표현을 평가합니다. 가중치를 고정한(frozen) 단순 TFM 리드아웃만으로도 경쟁력 있는 표현이 생성되며, 이는 예측 사전학습이 이미 상당한 수준의 데이터셋 차원 구조를 유도함을 시사합니다. 두 가지 TabMF 인코더는 평가된 학습 기반 및 고전적 데이터셋 표현 중 가장 강력한 종합 성능을 달성했으며, 특히 데이터셋 검색, 압축 벤치마크 구축, 분포 변화 심각도 평가에서 뛰어난 성과를 보였습니다.

arXiv:2610.13948v1cs.AI공통 태그 Benchmarking, Information Retrieval

언어 모델은 위키피디아 게임을 플레이할 수 있는가?

Can Language Models Play the Wikipedia Game?

언어 모델은 색인하기에 너무 방대한 문서 집합에서 정보 검색을 지원하거나 자동화하는 데 점점 더 많이 활용되고 있습니다. 이 작업은 전문적인 언어학적 또는 과학적 지식을 요구할 때 어려워집니다. 본 연구에서는 유사한 정보 검색 작업에서 언어 모델을 테스트하기 위해 위키피디아 게임(Wikipedia Game)을 활용했습니다. 이 게임에서 플레이어는 오직 문서 내 링크만을 사용하여 목표 문서에 도달해야 합니다. 5개 언어의 위키피디아와 5개의 학술 문헌 데이터셋에 걸쳐 문장 임베딩(embedding) 모델(model)과 대규모 언어 모델(LLM)들을 비교했습니다. OpenAlex를 사용하여 위키피디아 페이지 및 논문 인용으로 이루어진 초대형 로컬 그래프를 구축하고, 이를 생성하고 탐색할 수 있는 코드를 제공합니다. 이를 통해 서드파티 API에 의존하지 않고도 언어 모델의 탐색 능력을 연구할 수 있습니다. 또한 해당 모델들을 인간 및 TF-IDF 벤치마크와 비교했습니다. 위키피디아 게임 형식은 다양한 기법, 언어 및 도메인 전반에 걸쳐 강력한 비교를 가능하게 합니다. 가장 우수한 모델들(GPT-o3 mini, GPT-4o, QwQ:32B, DeepSeek-R1:70B)이 인간에 필적하는 성공률을 달성했으나, 인간을 유의미하게 능가한 모델은 없었습니다. 성능과 순위는 언어와 주제에 따라 다양하게 나타났으며, 이는 이러한 기법을 활용하는 실무자들에게 시사점을 제공합니다.

arXiv:2610.10608v1cs.CR공통 태그 Retrieval, Benchmarking

조사 실패로부터 신뢰할 수 있는 SOC 에이전트로: LLM 기반 경보 분류의 이해와 개선

From Investigation Failures to Reliable SOC Agents: Understanding and Improving LLM-Based Alert Triage

보안관제센터(SOC)는 대량의 경보를 분류(triage)해야 하지만 이들 대부분은 무해하며, 그 과정에서 놓친 공격은 조사되지 않은 채 방치될 수 있습니다. 도구를 사용하는 대규모 언어 모델(LLM) 에이전트(agent)는 분류 중에 증거를 수집할 수 있지만, 추론 전략이 무엇을 수집할지 결정하는 방식과 경보를 종결하기에 조사가 충분한 시점을 결정하는 방식은 여전히 명확하지 않습니다. 본 연구에서는 단일 패스 도구 사용, 반복적 검색, 샘플링된 조사, 자체 검토, 명시적 검증에 걸친 다섯 가지 대표적인 접근 방식을 조사합니다. 이 연구를 지원하기 위해 실시간 SIEM을 통해 엔터프라이즈 텔레메트리를 재생하고 각 시스템이 증거를 검색하도록 요구하는 인터랙티브 벤치마크인 ALERT-BENCH를 구축했습니다. 다단계 공격 시나리오에서 발생한 1,247개의 경보 전반에서 모든 접근 방식은 공격 관련 경보의 최소 40.4%를 놓쳤습니다. 추적 분석 결과, 검색에서 레코드가 반환되지 않을 때 공격 경보가 기각될 가능성이 더 높고, 동일 컨텍스트 검토는 순 보정 효과가 음수(-)이며, 기각이 에스컬레이션보다 일관되게 더 강력한 조사를 거치지 않는 것으로 나타났습니다. 이러한 발견을 바탕으로, 독립적인 이의 제기 전에 명시적으로 제안된 결정을 요구하고 기각 전 더 엄격한 증거 요건을 요구하는 멀티 에이전트 프레임워크인 AIDA(Adversarial Investigation and Dialectical Analysis)를 설계했습니다. AIDA는 추가 전용 조사 원장(Investigation Ledger)에 조사 기록을 보존하고 이의 제기 과정을 별도의 추론 컨텍스트로 유지합니다. 별도의 판정관(Judge)은 제안된 결정과 이의 제기를 증거와 대조하여 판정하며, 경보를 해결하거나 증거가 누락된 경우 추가 라운드를 요청합니다. 동일한 경보에서 AIDA는 연구된 접근 방식들의 0.371~0.744와 비교하여 0.958의 F1 점수를 달성했으며, 경보의 18.4%를 분석가에게 에스컬레이션하면서도 위음성률(false-negative rate)을 40.4%에서 3.1%로 낮췄습니다. 이러한 결과는 증거 검색과 결정 검토를 구조화함으로써 에이전트 기반 SOC 분류를 실질적으로 개선할 수 있음을 보여줍니다.

arXiv:2610.02249v1cs.LG공통 태그 Retrieval, Information Retrieval

서로 다른 가정 하에서 MS/MS 스펙트럼 기반 핑거프린트 예측을 위한 최근접 이웃 기준선

Nearest-neighbour baselines for fingerprint prediction from MS/MS spectra under different assumptions

최근 MS/MS 스펙트럼으로부터 분자 핑거프린트를 예측하는 작업에서 최근접 이웃(nearest-neighbour) 검색이 강력한 기준선(baseline)을 제공하며, 여러 변형 방식이 현재의 심층 학습(deep learning) 모델과 대등하거나 이를 능가하는 성능을 보인다는 사실이 입증되었습니다 (Khoo and Barzilay, 2026; Liu et al., 2026; Gupta et al., 2026). 중요한 점은 "최근접 이웃"이 추론(inference) 시 활용 가능하다고 가정하는 정보에 따라 달라지는 검색 방법군을 포괄한다는 것입니다. 본 보고서에서는 여러 최근접 이웃 변형을 체계적으로 비교하고, 이러한 서로 다른 가정이 성능에 어떤 영향을 미치는지 보여줍니다. 우리의 목표는 보다 엄밀한 벤치마킹을 가능하게 하고 이 분야의 발전을 더 잘 측정할 수 있도록 더 엄격한 기준선을 확립하는 것입니다.

arXiv:2610.02438v1cs.LG공통 태그 Retrieval, Benchmarking

합성하는 것인가, 기억해내는 것인가? 알고리즘 코드 검색에서 LLM 평가

Are you Synthesizing or Recalling? Evaluating LLMs on Algorithmic Code Retrieval

대규모 언어 모델(LLM)은 코드 생성에서 강력한 성능을 입증해 왔으며, 여기서 성공 여부는 관련 알고리즘 지식을 상기(recall)하는 것과 이를 어떻게 적용할지 추론하는 것 모두에 달려 있습니다. 그러나 기존 LLM 파이프라인은 불투명하여 이 두 구성 요소 간의 명시적인 구분이 없습니다. 우리는 사전학습 말뭉치에서 정형화된 구현체를 쉽게 접할 수 있는 잘 알려진 알고리즘의 경우, 코드 생성을 새로운 알고리즘을 합성하는 것이 아니라 내재화된 지식으로부터 명명된 알고리즘을 재현하는 \textit{파라메트릭 코드 검색(parametric code retrieval)}으로 측정하는 것이 더 적절하다고 주장합니다. 우리는 이러한 능력을 독립적으로 평가하기 위해 14개 도메인, 7개 프로그래밍 언어, 4개 그래프 입력 표현에 걸쳐 77개의 고전 알고리즘을 다루는 599개 문제로 구성된 벤치마크인 AlgoREval을 도입하고, 제로샷(zero-shot) 설정에서 15개 모델(7B~34B 파라미터)을 평가합니다. 널리 문서화된 알고리즘에 대해서도 언어 및 입력 표현 전반에 걸쳐 검색 정확도에 상당한 편차가 있음을 발견했으며, 검색된 코드 스니펫이나 구조화된 알고리즘 힌트를 활용한 프롬프트 증강이 복잡한 알고리즘에서 정확도를 향상시키는 반면, SFT는 더 넓은 언어적 이득을 달성하고 GRPO는 특정 언어에서 더 큰 언어별 이득을 달성함을 보여줍니다. 종합적으로, 우리의 결과는 파라메트릭 코드 검색을 구별되고 측정 가능한 능력으로 확립하며, 체계적인 검증 없이 AI가 생성한 알고리즘 코드를 배포하는 것에 대해 주의를 당부합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.