arXiv:2609.32123v2 cs.AI

READ-Bench: 시계열 진단을 위한 과거 사례 검색 벤치마크

READ-Bench: Benchmarking Historical Instance Retrieval for Time-Series Diagnosis

Gerardo Pastrana, Haojun Li, Dhruv Mehta, Anoushka Vyas, Sina Khoshfetrat Pakazad, Henrik Ohlsson, John Paparrizos

제출 2026-09-26

한국어 초록

시계열 진단 시스템은 관련 과거 사례를 검색하는 방식에 거의 의존하지 않으며, 이를 활용하더라도 검색 성능은 다운스트림 예측을 통해서만 간접적으로 평가됩니다. 본 연구에서는 다변량 시계열을 중심으로 12개의 진단 데이터셋에 걸쳐 과거 사례 검색을 평가하는 벤치마크인 READ-Bench를 소개합니다. READ-Bench는 신호의 형태 대신 공유된 고장 또는 이벤트 유형을 기준으로 관련성을 정의하므로, 동일한 고장이라도 시각적으로 다른 파형은 관련 사례로 간주되는 반면, 서로 다른 고장의 유사하게 보이는 파형은 관련 사례로 간주되지 않습니다. 검색을 기본 검색기(base retriever)와 리랭커(reranker)의 결합으로 구성하여, 유의성 검정과 함께 지도 수준, 데이터 오염(pollution), 코퍼스 규모를 다양화하는 단일 프로토콜 하에서 고전적 거리 지표, 기호 기반 검색기, 자기지도학습 및 파운데이션 모델 임베더와 이들의 융합, 그리고 라벨 인지형 및 언어 모델 리랭커를 평가합니다. 공통의 채널 독립적 인터페이스에서 사전학습된 표현은 검색 단계 단독으로는 강력한 고전적 및 기호 기반 베이스라인 대비 통계적으로 유의미한 이점을 보이지 않았습니다. 결정적인 요인은 리랭킹 단계에서 해결된 사례에 대한 소량의 지도 학습, 즉 임베딩 공간에서 소수의 이웃 라벨을 전파하는 가우시안 프로세스(Gaussian-process) 리랭커의 활용이었으며, 이는 더 정교한 표현이나 언어 모델 추론보다 훨씬 더 큰 도움이 되었고 데이터 오염 및 전체 코퍼스 규모에서도 유효했습니다. 이러한 결과를 바탕으로, 본 연구는 상호 순위 융합(reciprocal-rank fusion)을 통해 정상 잔차 점수 기반 임베더와 동적 시간 워핑(dynamic time warping) 방식을 결합한 후 가우시안 프로세스 리랭커로 재순위화하여, 12개 데이터셋 전체에서 자체 검색 단계 대비 NDCG@10을 향상시켰으며(리랭킹으로 +0.11 향상), 가장 강력한 단일 기본 검색기 대비 +0.16의 향상을 달성했습니다.

원문 초록

Time-series diagnostic systems rarely rely on retrieving relevant historical cases, and when they do, retrieval is evaluated only indirectly through downstream prediction. We introduce READ-Bench, a benchmark for historical-case retrieval across 12 diagnostic datasets, centered on multivariate time series, that defines relevance by shared fault or event type rather than signal shape, so visually different traces of the same fault count as relevant while similar-looking traces of different faults do not. Treating retrieval as a base retriever followed by a reranker, we evaluate classical distances, symbolic retrievers, self-supervised and foundation-model embedders, and their fusion, plus label-aware and language-model rerankers, under one protocol that varies supervision, pollution, and corpus scale with significance testing. Under a common channel-independent interface, pretrained representations offer no statistically detectable advantage over strong classical and symbolic baselines for search alone. The decisive factor is a small amount of resolved-case supervision at reranking, namely a Gaussian-process reranker that propagates a few neighbor labels in embedding space, which helps far more than more sophisticated representations or language-model reasoning and holds under pollution and at full corpus scale. Guided by these findings, we fuse a normal-residual-scored embedder with a dynamic time warping leg via reciprocal-rank fusion, then rerank with the Gaussian-process reranker, improving NDCG@10 over its own search stage on all 12 datasets, by +0.11 from reranking and +0.16 over the strongest single base retriever.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.32123v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13889v1cs.AI공통 태그 Benchmarking, Information Retrieval

RATED: 실행 역학을 통한 신뢰성 인식 AI 에이전트 도구 검색

RATED: Reliability-Aware AI Agent Tool Retrieval via Execution Dynamics

AI 에이전트(agent)의 외부 도구 의존도가 높아짐에 따라, 신뢰할 수 있는 동작을 위해서는 정확한 도구 검색이 필수적입니다. 기존 방식들은 의미적 관련성을 최적화하지만 실행 중 도구의 가용성은 대체로 무시합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 강건한 의미적 매칭과 동적 신뢰성 적응을 결합한 검색 프레임워크인 RATED(Reliability-Aware Tool Retrieval via Execution Dynamics)를 제안합니다. RATED는 의미적 매칭을 위해 대조 미세조정(contrastive fine-tuning)이 적용된 고정된(frozen) 듀얼 인코더를 사용하며, 실시간 실행 피드백을 기반으로 후보군을 재순위화하는 경량 맥락적 밴딧(contextual bandit) 모듈을 사용합니다. 이러한 설계를 통해 모델의 값비싼 재학습 없이도 런타임 도구 실패에 신속하게 적응할 수 있습니다. 또한 오프라인 검색 및 동적 신뢰성 평가를 위해 5,172개의 실제 도구와 210,000개 이상의 쿼리-도구 쌍으로 구성된 벤치마크인 EcoAgent를 소개합니다. 실험 결과에 따르면, RATED는 실제 쿼리에서 ToolLLM API 검색기 대비 52.2%의 상대적 MRR 향상을 달성하고, 30%의 실패율을 보이는 심각한 API 장애 시나리오에서 오류 선택률을 86.2%에서 2.9%로 낮추는 동시에 인코딩 전용 추론(inference) 대비 1ms 미만의 미미한 지연 시간 오버헤드만을 발생시킵니다. 코드와 데이터셋은 https://github.com/Elliotes/EcoAgent 에서 확인할 수 있습니다.

arXiv:2610.13948v1cs.AI공통 태그 Benchmarking, Information Retrieval

언어 모델은 위키피디아 게임을 플레이할 수 있는가?

Can Language Models Play the Wikipedia Game?

언어 모델은 색인하기에 너무 방대한 문서 집합에서 정보 검색을 지원하거나 자동화하는 데 점점 더 많이 활용되고 있습니다. 이 작업은 전문적인 언어학적 또는 과학적 지식을 요구할 때 어려워집니다. 본 연구에서는 유사한 정보 검색 작업에서 언어 모델을 테스트하기 위해 위키피디아 게임(Wikipedia Game)을 활용했습니다. 이 게임에서 플레이어는 오직 문서 내 링크만을 사용하여 목표 문서에 도달해야 합니다. 5개 언어의 위키피디아와 5개의 학술 문헌 데이터셋에 걸쳐 문장 임베딩(embedding) 모델(model)과 대규모 언어 모델(LLM)들을 비교했습니다. OpenAlex를 사용하여 위키피디아 페이지 및 논문 인용으로 이루어진 초대형 로컬 그래프를 구축하고, 이를 생성하고 탐색할 수 있는 코드를 제공합니다. 이를 통해 서드파티 API에 의존하지 않고도 언어 모델의 탐색 능력을 연구할 수 있습니다. 또한 해당 모델들을 인간 및 TF-IDF 벤치마크와 비교했습니다. 위키피디아 게임 형식은 다양한 기법, 언어 및 도메인 전반에 걸쳐 강력한 비교를 가능하게 합니다. 가장 우수한 모델들(GPT-o3 mini, GPT-4o, QwQ:32B, DeepSeek-R1:70B)이 인간에 필적하는 성공률을 달성했으나, 인간을 유의미하게 능가한 모델은 없었습니다. 성능과 순위는 언어와 주제에 따라 다양하게 나타났으며, 이는 이러한 기법을 활용하는 실무자들에게 시사점을 제공합니다.

arXiv:2610.03574v1cs.AI공통 태그 Benchmarking, Information Retrieval

HyperBrowseComp: 웹 브라우징 에이전트를 위한 다국어 및 멀티모달 스트레스 테스트

HyperBrowseComp: A Multilingual and Multimodal Stress Test for Web-Browsing Agents

본 논문에서는 모국어 화자 또는 높은 숙련도를 갖춘 화자가 작성하고 사람이 검증한 13개 언어에 걸친 423개의 수작업 질문으로 구성된 다국어 및 멀티모달 브라우징 벤치마크인 HyperBrowseComp를 소개합니다. 질문들은 극도로 어렵게 설계되었습니다. 각 질문은 모호한 증거 탐색, 다단계 단서 추적, 또는 비디오, 스캔 문서, 이미지, 지도와 같은 이종 출처 조사를 거쳐야만 발견할 수 있는 간결하고 공개적으로 검증 가능한 정답을 목표로 합니다. 파라메트릭 지식(parametric knowledge)만으로 답변될 가능도를 낮추기 위해, 인터넷 접속이 불가능한 모델로 평가하여 더 쉬운 질문들을 걸러냈습니다. 저자들은 공통 에이전트 프로토콜 하에서 제공자 네이티브 검색 및 공유된 외부 검색 하네스를 사용하여 여러 모델을 평가합니다. 모델의 성능과 노력을 맥락화하기 위해 질문 표본에 대한 인간 평가도 수행합니다. HyperBrowseComp는 개방형 웹에서 증거를 발견하고 연결하는 과정에서 발생하는 난이도를 바탕으로, 언어와 증거 양식 전반에 걸친 지속적인 정보 탐색을 위한 도전적인 테스트베드를 제공합니다.

arXiv:2610.00366v1cs.AI공통 태그 Benchmarking, Information Retrieval

에이전트는 무엇을 기억해야 하는가? 유한 메모리 평가에서 보존과 검색의 분리

What Should an Agent Remember? Disentangling Retention from Retrieval in Bounded-Memory Evaluation

영속적인(persistent) 에이전트는 정보가 유입될 때 무엇을 보존할지와 쿼리가 주어졌을 때 무엇을 표면화할지를 모두 결정해야 하지만, 기존의 메모리 평가는 보존과 선택 방식이 모두 서로 다른 방법들을 비교함으로써 이러한 결정들을 혼동시킬 수 있다. 본 연구에서는 보존 규칙과 선택 규칙을 교차 구성한 스트리밍 재현율(streaming-recall) 벤치마크를 구축하고, 동일한 300개의 시드 에피소드에서 모든 조건을 평가한다. 접근 가능한 범위를 고정했을 때, 쿼리 인식(query-aware) 선택은 필요한 사실에 대한 재현율을 15.5%p(95% CI: 12.8~18.2) 향상시키는 반면, 과거 이력 접근성까지 함께 변화시키는 혼합 비교에서는 68.7%p의 이점을 보고하며 이 중 53.2%p는 이력 접근성에 기인한다. 제한된 보존 조건에서 쿼리 인식, 밀집(dense), 오라클(oracle) 선택은 보존 상한선(retention ceiling)에 도달하며, 제한된 최신성(bounded recency) 조건에서 관찰된 319건의 실패는 모두 순위 지정(ranking) 오류가 아닌 축출(eviction)로 인해 발생한다. 목표 대상이 과거로 충분히 멀어짐에 따라 재현율은 0%로 떨어진다. SQuAD에서 평가를 반복해도 보존 상한선은 유지되면서 밀집 검색(dense retrieval)이 자연어 텍스트에서 어휘 검색(lexical retrieval)보다 우수한 성능을 보일 수 있음을 확인했다. 이러한 결과는 유한 메모리 평가 시 이력 접근성을 고정하고 보존과 선택을 분리하여 보고해야 함을 보여준다.

arXiv:2610.00700v1cs.AI공통 태그 Benchmarking, Diagnostic

R-GroundBench: 마쿠시 분자 편집에서의 R-그룹 그라운딩 진단 벤치마크

R-GroundBench: A Diagnostic Benchmark for R-Group Groundingin Markush Molecular Editing

과학적 발견을 위한 AI의 최근 발전은 분자에 대한 이해와 설계를 가능하게 하지만, 불완전한 화학적 표현에 대한 추론은 여전히 명확하지 않습니다. 가변적인 R-그룹 플레이스홀더(\textit{R\textsubscript{1}}, \textit{R\textsubscript{2}}, \textit{X} 등)를 통해 분자 계열을 부호화하는 마쿠시(Markush) 구조는 제약 특허에 널리 퍼져 있으며 분자, 텍스트 및 화학 정보 전반에 걸친 그라운딩(grounding)을 필요로 합니다. 그러나 기존의 분자-언어 벤치마크는 완전히 명시된 분자에만 초점을 맞추고 있어, R-그룹 그라운딩은 대체로 평가되지 않은 채로 남아 있습니다. 본 연구에서는 실제 특허 마쿠시 구조로 구축된 진단 벤치마크인 R-GroundBench를 도입하며, 이는 제어된 난이도 및 모달리티 분할을 갖춘 객관식(VQA) 트랙과 개방형 생성(Generation) 트랙을 특징으로 합니다. 실험 결과는 인식과 분자 그라운딩 사이에 상당한 격차가 있음을 보여줍니다. 모델들이 Easy VQA에서는 90\% 이상의 정확도를 달성하는 반면, 지름길(shortcut)이 제어된 Hard VQA에서는 성능이 56--66\%로 떨어집니다. 화학 도메인 VLM 또한 도메인 특화 사전학습에도 불구하고 Hard VQA에서 25.7--46.2\%만을 달성하여 신뢰할 수 없는 수준에 머물러 있습니다. 게다가 생성 정확 일치(Exact Match)는 대부분의 모델에서 20\% 미만으로 유지되며, 시각적 입력이 요구될 때는 8\% 미만으로 떨어집니다. 이러한 결과는 현재의 AI 시스템이 마쿠시 편집을 위한 신뢰할 수 있는 그라운딩 및 실행 능력이 부족함을 드러내며, AI 기반 과학적 발견의 주요 과제들을 부각합니다.

arXiv:2610.02202v1cs.AI공통 태그 Benchmarking, Information Retrieval

ScholarCatalyst: 새로운 연구에 영감을 주는 논문 검색을 위한 벤치마크

ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New Research

위대한 과학자들을 위대하게 만드는 것은 무엇일까요? AI 시스템이 미해결 문제에서 진전을 보이기 시작했음에도 불구하고, 과학자들은 끊임없이 증가하는 연구 아카이브 속에 묻혀 있는 이전 아이디어 중 새로운 문제에 필요한 것이 무엇인지 감지하는 능력에서 여전히 AI보다 훨씬 앞서 있습니다. 이러한 역량을 연구하기 위해, 우리는 논문이 그 안의 아이디어를 가리키는 지표 역할을 하도록 하여, 완료된 프로젝트를 어떤 이전 연구가 발전시켰는지 직접 알고 있는 연구자들을 활용합니다. 저자 주석을 확장 가능하게 만드는 자동화된 파이프라인을 활용하여, 최근 컴퓨터 과학 논문 207편의 제1저자 184명에게 어떤 후보 논문이 자신의 프로젝트를 발전시켰거나 발전시킬 수 있었는지 상세한 근거와 함께 라벨링하도록 함으로써 ScholarCatalyst를 구축합니다. 우리는 저자가 제공한 판단을 기반으로 하는 검색(retrieval) 태스크를 제안합니다. 즉, 초기 연구 질문이 주어졌을 때 프로젝트가 시작되었을 당시 이용 가능했던 문헌들만으로 해당 논문들을 검색하는 태스크입니다. 에이전트 기반 검색(agentic search)은 동일한 리트리버를 도구로 호출함에도 불구하고 임베딩 검색보다 나은 성과를 내지 못했습니다(Recall@20 기준 0.42 대 0.48). 학습(training) 중에 완성된 논문들을 보았을 가능성이 있는 Claude Fable 5.1 기반의 에이전트조차 R@20에서 0.51에 그쳤습니다. 이러한 결과는 방대한 코퍼스를 검색할 수 있는 전문가 수준의 직관을 모델에 부여하는 새로운 학습 레시피가 필요함을 강조합니다. 우리는 ScholarCatalyst가 완전히 다듬어지지 않은 아이디어를 바탕으로 필요한 이전 연구를 정확히 찾아낼 수 있는 과학 에이전트를 향한 발걸음이 되기를 기대합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.