arXiv:2410.02914

Streamlining Conformal Information Retrieval via Score Refinement

Yotam Intrator, Ori Kelner, Regev Cohen, Roman Goldenberg, Ehud Rivlin, Daniel Freedman

제출 2024-10-03

원문 초록

Information retrieval (IR) methods, like retrieval augmented generation, are fundamental to modern applications but often lack statistical guarantees. Conformal prediction addresses this by retrieving sets guaranteed to include relevant information, yet existing approaches produce large-sized sets, incurring high computational costs and slow response times. In this work, we introduce a score refinement method that applies a simple monotone transformation to retrieval scores, leading to significantly smaller conformal sets while maintaining their statistical guarantees. Experiments on various BEIR benchmarks validate the effectiveness of our approach in producing compact sets containing relevant information.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27279v1cs.AI공통 태그 Retrieval, Information Retrieval, Retrieval-augmented Generation

EnSIMem: 장기 에이전트 메모리를 위한 개체 구조화 색인

EnSIMem: Entity-Structured Indexing for Long-Term Agent Memory

오랜 기간 동안 사용자와 상호작용하는 에이전트는 지속적으로 증가하는 상호작용 기록에서 사실, 선호도, 사건 및 변화를 상기(recall)할 수 있어야 합니다. 기존 메모리 시스템은 상호작용을 일반적인 요약본으로 압축하거나 익명의 텍스트 청크를 검색하는 경우가 많아, 에이전트가 올바른 개체(entity), 속성(property) 및 뒷받침하는 근거를 식별하기 어렵게 만듭니다. 본 논문에서는 에이전트를 위한 개체 구조화 장기 메모리 아키텍처인 EnSIMem을 제안합니다. 오프라인 구축 단계에서 이 시스템은 상호작용을 주제 일관성을 갖는 에피소드로 구성하고, [개체][개체 유형][속성:값] 형태의 대화 기반 색인 항목을 생성합니다. 각 항목은 원래의 대화 턴(turn), 시간 정보 및 사용 가능한 멀티모달 필드를 보존합니다. 온라인 상호작용 단계에서는 에이전트의 요청이 메모리 색인과 속성이 정렬된 근거 요구사항으로 분해됩니다. 이후 개체-속성 조회 및 적응형 검색을 통해 포인트, 시간적, 구성적, 집계 추론에 필요한 근거를 수집합니다. 에이전트는 정보 손실이 있는 메모리 요약본 대신 보존된 원본 근거로부터 응답을 생성합니다. 장기 에이전트 메모리 벤치마크에서 EnSIMem은 간결한 컨텍스트와 우수한 온라인 효율성을 유지하면서도 높은 답변 정확도를 달성합니다. 이러한 결과는 개체 구조화 색인과 에피소드 수준의 출처 추적이 에이전트의 장기 메모리를 위한 신뢰할 수 있는 기반을 제공함을 보여줍니다. 모델의 코드는 https://github.com/RamonMeng/EnSIMem 에서 확인할 수 있습니다.

arXiv:2609.27297v1cs.AI공통 태그 Retrieval, Information Retrieval, Retrieval-augmented Generation

대규모 지식 모델: 논문에서 과학적 추론 지형으로

Large Knowledge Model: From Papers to a Scientific Reasoning Landscape

축적된 과학적 지식은 이전의 발견이 연구자들로 하여금 새로운 연구 질문을 선택하고, 조사를 설계하며, 결과를 해석하는 데 기여할 때 학문적 탐구를 발전시킵니다. 이러한 가치를 대규모로 실현하려면 연구 문제, 과학적 절차, 결론, 그리고 증거를 연결하는 추론에 접근할 수 있어야 합니다. 본 연구에서는 학술 문헌을 공유 가능하고 계산적으로 접근 가능한 추론 자원으로 변환하는 과학적 지식 인프라인 대규모 지식 모델(Large Knowledge Model, LKM)을 소개합니다. LKM은 논문을 출처에 기반한(source-grounded) 추론 그래프로 표현하고, 동일한 객체에 대한 구조적 순회(structural traversal)와 의미론적 검색(semantic retrieval)을 결합하며, 여러 논문에 걸쳐 관련된 질문, 주장 및 추론 연쇄(reasoning chains)를 정렬합니다. 이러한 표현은 세 가지 연결된 뷰로 구성된 과학적 추론 지형(Scientific Reasoning Landscape)을 형성합니다. 즉, 연구 문제와 미해결 연구 방향을 구성하는 질문 지형(Question Landscape), 재사용 가능한 과학적 절차를 제시하는 워크플로 지형(Workflow Landscape), 결론을 그에 대한 지지, 불일치 및 조건과 연결하는 증거 지형(Evidence Landscape)입니다. 이 통합된 기반은 추론을 인식하는 과학적 검색, 증거 기반 질의응답, 비교 증거 분석, 연구 계획 수립을 지원합니다. 연구자와 에이전트(agent)는 과학적 의도를 통해 관련 연구를 검색하고, 검토 가능한 뒷받침 논거를 바탕으로 답변을 종합하며, 기존 워크플로와 아직 해결되지 않은 증거를 참고하여 연구 계획을 개발할 수 있습니다. 본 연구에서는 코퍼스 규모의 시스템을 설명하고, 과학적 검색 및 지식 집약적 질의응답을 평가합니다. 답변 모델을 고정한 상태에서 LKM 검색은 ChemBench, PubMedQA, SciBench에서 각각 9.30%, 4.20%, 14.69%의 정확도 향상을 달성합니다. 지식 접근을 과학적 추론 및 행동과 연결함으로써, LKM은 관련 연구 탐색, 과학적 지식 재사용, 그리고 연구자, 에이전트, 연구 주기 전반에 걸친 누적적 탐구 조율을 위한 공통 기반을 제공합니다.

arXiv:2609.23971v1cs.AI공통 태그 Retrieval, Information Retrieval, Retrieval-augmented Generation

UniK: 디지털 AI와 물리 AI를 위한 범용 지식 인식

UniK: Universal Knowledge Perception for Digital and Physical AI

조직의 운영 방식을 바꾸고 있는 두 가지 혁신적인 AI 시스템 유형이 있다. 하나는 기업 지식 위에서 추론하여 챗봇과 에이전트 워크플로를 구동하는 디지털 AI(digital AI)이고, 다른 하나는 영상, 게임플레이, 센서 원격 측정(telemetry)으로부터 로봇과 자율 시스템의 제어를 학습하는 물리 AI(physical AI)이다. 둘 다 동일한 근본적 병목에 직면한다. 이질적 모달리티에 걸친 대규모 원시 지식이 사설 코퍼스에 갇혀 있어, 기존 AI 인프라가 이를 신뢰성 있게 또는 효율적으로 접근하지 못한다는 점이다. 본 논문은 범용 지식 인식(Universal Knowledge Perception, UniK)을 두 유형 모두를 아우르는 공통 플랫폼으로 제안한다. 풍부한 텍스트와 영상부터 분자 데이터 및 센서 원격 측정에 이르는 다양한 모달리티에 걸쳐, 수집(ingestion), 강화(enrichment), 색인(indexing), 검색(retrieval), 지속적 평가(evaluation)를 포함하는 지식 전 생애주기 전반을 다룬다. 과제별 미세조정 없이, 자동으로 강화된 색인에 대한 다중 색인 융합(multi-index fusion)인 Polymath Retrieval 위에 구축된 UniK를 제시한다. 의학 문헌, 개방형 QA, 화학, 법률 영상 절차, 정부 공개 데이터 등 다섯 디지털 AI 도메인에서, 오픈소스 700억 매개변수 모델과 결합한 UniK는 차수적으로 더 큰 프론티어 독점 LLM과 지속적으로 동등하거나 그 이상의 성능을 보였다. 정부 데이터에서 RAG 정확도 76%(GPT-5는 47%), 미세조정 없이 의학 QA에서 77.9%, 모든 오픈소스 화학 파이프라인을 상회했다. 동일한 인프라가 물리 AI 월드 모델 학습이 직면한 데이터 큐레이션, 색인, 검색 과제를 직접 해결할 수 있음을 보이며, 해당 영역에서는 지식 문제가 더 어렵지만 구조적으로 동일하다.

arXiv:2609.24220v1cs.CV공통 태그 Retrieval, Information Retrieval, Retrieval-augmented Generation

문서 검색-인식 청킹(D-RAC): PDF 정규화 및 멀티모달 마크다운 변환을 통한 엔터프라이즈 문서의 범용 검색-인식 수집

Document Retrieval-Aware Chunking (D-RAC): Universal Retrieval-Aware Ingestion of Enterprise Documents via PDF Normalization and Multimodal Markdown Conversion

엔터프라이즈 지식 베이스 기반의 검색-증강 생성(RAG) 시스템은 PDF, Word 문서, 프레젠테이션, 스캔본 등 다양한 문서 형식을 수집해야 하지만, 이러한 문서의 콘텐츠는 복잡한 시각적 레이아웃, 다단 페이지, 조밀한 표 내에 갇혀 있습니다. 규칙 기반 추출과 광학 문자 인식(OCR)은 읽기 순서를 훼손하고 표를 평탄화하며 제목 계층 구조를 잃어버리는 반면, 추출된 텍스트에 대해 완전 에이전트(agent) 기반 청킹을 수행하면 높은 토큰(token) 비용과 환각(hallucination) 위험이 발생합니다. 본 논문에서는 웹 검색-인식 청킹(W-RAC) 프레임워크를 임의의 문서 형식으로 확장한 문서 검색-인식 청킹(D-RAC)을 제안합니다. D-RAC은 사실상 모든 형식이 충실하고 결정론적인 PDF 렌더링을 지원한다는 점을 활용하여 모든 입력 문서를 먼저 PDF로 정규화(normalization)합니다. 이후 단일 멀티모달 LLM 패스를 통해 렌더링된 페이지를 검색에 최적화된 마크다운으로 변환하며, 이때 표를 독립적인 산문 문장으로 재작성하고 제목 계층 구조를 보존합니다. 그 뒤 청킹 과정은 W-RAC과 완전히 동일하게 진행되어, ID 주소 지정이 가능한 단위로 결정론적 파싱을 수행한 다음 텍스트가 아닌 식별자 기반의 경량 LLM 청크 계획 수립을 거칩니다. 청킹 과정에서 원본 텍스트는 결코 재생성되지 않으므로, W-RAC의 비용 절감, 결정론성, 관측 가능성 이점을 유지하는 동시에 렌더링 가능한 모든 형식을 일급 입력(first-class input)으로 활용할 수 있게 합니다. 5개 엔터프라이즈 도메인에 걸친 RAG-Multi-Corpus 벤치마크의 236개 문서, 795페이지 분량의 PDF 서브셋에서, D-RAC은 전체 말뭉치를 오류 없이 72분 만에 변환 및 청킹하여 1,748개의 검색 준비 청크를 생성했습니다. 최신 프론티어 LLM을 사용한 에이전트 기반 청킹과 비교했을 때, D-RAC은 청킹 단계의 출력 토큰을 95.7% 줄여 청킹 비용을 77.8%(GPT-4.1 가격 기준)에서 85.6%(Gemini 2.5 Pro 가격 기준)까지 절감하고 청킹 시간을 75% 단축했습니다. D-RAC은 500페이지 이상의 문서에 대해서도 선형적으로 확장(scaling)됩니다.

arXiv:2607.23524v1cs.AI공통 태그 Retrieval, Information Retrieval, Retrieval-augmented Generation

딥 서치에서의 위임 지능: 분리된 역량 진단을 위한 제어 가능한 프레임워크

Delegation Intelligence in Deep Search: A Controllable Framework for Disentangled Capability Diagnosis

딥 서치(deep search)는 현대 에이전트 시스템의 핵심 역량이 되어 가고 있지만, 일반적으로 최종 답변 정확도(end-to-end answer accuracy)만을 기준으로 평가된다. 이러한 결합된 평가 패러다임은 검색(retrieval) 품질, 장문맥 이해, 증거 검증, 도구 사용(tool-use) 결정을 얽어버려, 모델이 실제로 언제 그리고 어떻게 정보 탐색을 검색에 위임해야 하는지 알고 있는지 판단하기 어렵게 만든다. 이를 위해: (1) 우리는 이 메타 역량을 딥 서치에서의 위임 지능(Delegation Intelligence in deep search)으로 형식화하고, 이를 상보적인 차원—검색 의사결정(Search Decision-Making, 정보 부족을 인식하고 검색 여부, 시점, 방법을 결정하는 것)과 정보 종합 및 검증(Information Synthesis and Verification, 여러 출처의 증거를 집계하고 출처 신뢰성을 판단하며, 잡음이 있고 잠재적으로 적대적인 조건 하에서 정보를 종합하는 것)—으로 분해한다. (2) 분리된 재현 가능한 측정을 가능하게 하기 위해, 문서 기반 역공학(document-grounded reverse engineering)에 기반한 제어 가능한 합성 파이프라인을 개발한다. 이는 단일 고정 데이터셋이 아니라, 제어된 딥 서치 평가를 구성하기 위한 일반적인 방법(recipe)을 제공한다. (3) 구체적인 사례로, DelegSearchBench를 구축하고, 문서 구성과 도구 접근을 변화시켜 각 역량 차원을 분리하는 분리된 평가 프로토콜을 함께 제시한다. (4) 대표적인 모델들에 걸쳐, 딥 서치 역량은 최종 답변 정확도만으로는 적절히 특성화할 수 없음을 보여준다...

arXiv:2610.13889v1cs.AI공통 태그 Retrieval, Information Retrieval

RATED: 실행 역학을 통한 신뢰성 인식 AI 에이전트 도구 검색

RATED: Reliability-Aware AI Agent Tool Retrieval via Execution Dynamics

AI 에이전트(agent)의 외부 도구 의존도가 높아짐에 따라, 신뢰할 수 있는 동작을 위해서는 정확한 도구 검색이 필수적입니다. 기존 방식들은 의미적 관련성을 최적화하지만 실행 중 도구의 가용성은 대체로 무시합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 강건한 의미적 매칭과 동적 신뢰성 적응을 결합한 검색 프레임워크인 RATED(Reliability-Aware Tool Retrieval via Execution Dynamics)를 제안합니다. RATED는 의미적 매칭을 위해 대조 미세조정(contrastive fine-tuning)이 적용된 고정된(frozen) 듀얼 인코더를 사용하며, 실시간 실행 피드백을 기반으로 후보군을 재순위화하는 경량 맥락적 밴딧(contextual bandit) 모듈을 사용합니다. 이러한 설계를 통해 모델의 값비싼 재학습 없이도 런타임 도구 실패에 신속하게 적응할 수 있습니다. 또한 오프라인 검색 및 동적 신뢰성 평가를 위해 5,172개의 실제 도구와 210,000개 이상의 쿼리-도구 쌍으로 구성된 벤치마크인 EcoAgent를 소개합니다. 실험 결과에 따르면, RATED는 실제 쿼리에서 ToolLLM API 검색기 대비 52.2%의 상대적 MRR 향상을 달성하고, 30%의 실패율을 보이는 심각한 API 장애 시나리오에서 오류 선택률을 86.2%에서 2.9%로 낮추는 동시에 인코딩 전용 추론(inference) 대비 1ms 미만의 미미한 지연 시간 오버헤드만을 발생시킵니다. 코드와 데이터셋은 https://github.com/Elliotes/EcoAgent 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.