XRAG: Cross-lingual Retrieval-Augmented Generation
원문 초록
We propose XRAG, a novel benchmark designed to evaluate the generation abilities of LLMs in cross-lingual Retrieval-Augmented Generation (RAG) settings where the user language does not match the retrieval results. XRAG is constructed from recent news articles to ensure that its questions require external knowledge to be answered. It covers the real-world scenarios of monolingual and multilingual retrieval, and provides relevancy annotations for each retrieved document. Our novel dataset construction pipeline results in questions that require complex reasoning, as evidenced by the significant gap between human and LLM performance. Consequently, XRAG serves as a valuable benchmark for studying LLM reasoning abilities, even before considering the additional cross-lingual complexity. Experimental results on five LLMs uncover two previously unreported challenges in cross-lingual RAG: 1) in the monolingual retrieval setting, all evaluated models struggle with response language correctness; 2) in the multilingual retrieval setting, the main challenge lies in reasoning over retrieved information across languages rather than generation of non-English text.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MRMS: 장기 실행 AI 에이전트를 위한 다중 해상도 메모리 기반
MRMS: A Multi-Resolution Memory Substrate for Long-Lived AI Agents
장기 실행 AI 에이전트는 상호작용 전반에 걸쳐 연속성을 필요로 하지만, 연속성은 단순히 프롬프트 윈도우를 확장하는 것만으로는 확보할 수 없다. 에이전트는 유용한 과거 경험을 보존하고, 선택적으로 검색하며, 개인적 맥락을 외부 증거와 구별하고, 기저 상황이 변화할 때 메모리를 수정할 수 있어야 한다. 우리는 두 직교 축을 따라 구성된 아키텍처적 메모리 기반을 제안한다: 구조화된 레코드, 벡터 표현, 그래프 관계에 걸친 표현 축과 단기 추적, 중기 추상화, 장기 의미론적 커밋에 걸친 시간 축이다. 핵심 설계 제약은 동기화된 구조-벡터-그래프 메모리로, 구조화된 레코드는 적격성을 결정하고, 벡터 표현은 회상을 지원하며, 그래프 관계는 게이트된 컨텍스트 프로젝션 이전에 지지, 모순, 대체를 판정한다. 중심 주장은 신뢰할 수 있는 개인화가 메모리 설계 문제라는 것이다: 유용한 메모리는 미분류 대화 기록으로 저장되는 것이 아니라, 구조화되고 선택적으로 노출되며 지속적으로 통합되고 인식론적으로 레이블된다. 프레임워크를 넘어, 우리는 구조화된 레코드, 벡터 검색, 시간적 정책, 그래프 기반 수정을 구현하는 경량 프로토타입으로 MRMS를 구체화한다. 이 프로토타입은 명시적인 증거 요건을 갖춘 제어된 장기 상호작용 시나리오에서 생성 전 메모리 선택, 수정, 경계 강제, 증거 귀인을 통해 핵심 기반 메커니즘을 실증한다.
Learning User-Aware Recall: Personalized Retrieval in Long-Term Conversational Memory
When Classic Cache Policies Fail: Learning-Augmented Replacement for Semantic Retrieval Buffers
Agentic RAG-VLM: Affordance-Aware Retrieval-Augmented Generation with Self-Reflective Planning for Robotic Grasping
간섭 격차: 인간 기억과 RAG 시스템의 검색 한계 비교
The Interference Gap: Comparing Retrieval Bounds in Human Memory and RAG Systems
의미론적 간섭 하에서 인간의 일화 기억과 검색-증강 생성(RAG) 시스템의 검색 한계는 어떻게 비교될까? 우리는 두 시스템 모두에 적용되는 통합 신호 탐지 이론(SDT) 프레임워크를 제시하고, 이를 매칭된 패러다임에서 행동 및 계산 데이터에 피팅하는 데 사용한다. 두 시스템 모두 연관 수(팬)에 따른 로그적 정확도 감소를 보이지만, 인간은 밀집 구절 검색($α/σ= 0.67$)보다 낮은 간섭 민감도($α/σ= 0.41$)를 나타내며, 인지적으로 영감을 받은 HippoRAG는 두 값 사이($α/σ= 0.44$)에 위치한다. 행동 실험($N = 112$)과 시뮬레이션이 프레임워크를 검증하며, 매개변수 복원은 식별 가능성($r \geq .93$)을 확인하고 모델 비교는 로그 명세가 거듭제곱 법칙 대안보다 우수함을 지지한다($Δ$BIC $> 15$). 우리는 인코딩 특이성, 시간적 맥락 결합, 검색 게이팅을 인과적 역할이 아직 규명되지 않은 후보 메커니즘으로 논의한다. 여섯 가지 반증 가능한 예측이 인지 기억 연구와 AI 검색 평가를 연결한다.
가져오기 전에 알라: 검색-증강 생성을 위한 보정된 검색 예산 할당
Know Before You Fetch: Calibrated Retrieval-Budget Allocation for Retrieval-Augmented Generation
검색-증강 생성(RAG)은 일반적으로 모든 쿼리에 대해 고정된 수의 구절을 검색한다. 이는 리더가 이미 답을 알고 있을 때 낭비적이며, 관련 없거나 부분적으로만 관련된 구절이 리더를 산만하게 할 때는 오히려 해로울 수 있다. 우리는 적응형 RAG를 보정된 검색 예산 할당으로 공식화한다: 쿼리가 주어졌을 때, 클로즈드북으로 답변할지, 소규모 컨텍스트(k=1)를 검색할지, 전체 컨텍스트(k=5)를 검색할지, 또는 기권할지를 결정한다. 본 연구의 기여점은 새로운 원시 불확실성 신호가 아닌 확률 인터페이스이다. 우리는 시퀀스 로그 확률과 접두 문맥 로짓 불확실성 신호를 정확도 확률로 보정한 후, 이 확률을 등급별 컨텍스트 선택, 선택적 기권, 그리고 명시적 지연/토큰 트레이드오프에 활용한다. TriviaQA, Natural Questions, MS MARCO에 대한 핵심 QA 실험과 PopQA 동기 실험 및 Qwen/Llama 패밀리 검증을 포함한 실험 전반에 걸쳐, 진단적 아웃-오브-폴드 보정은 확률 품질을 극적으로 향상시킨다: 시퀀스 로그 확률의 경우, ECE가 TriviaQA에서 0.275에서 0.062로, NQ에서 0.643에서 0.009로, MS MARCO에서 0.711에서 0.031로 감소한다. 등급별 검색은 우리의 신호와 TARG 방식의 접두 문맥 엔트로피/마진 모두에서 전체 컨텍스트 및 구절 예산 프론티어를 개선하는 반면, k=1이 여전히 검색 호출에 해당하므로 검색 호출 AUC는 이진 게이팅과 본질적으로 동일하게 유지된다. 홀드아웃 훈련/검증/테스트 임계값 실험은 배포 가능한 운영 지점을 제시한다. 정확도 매칭 프론티어 운영 지점에서, 측정된 비용 모델은 게이팅이 보편적으로 더 빠르지 않음을 보여준다: Qwen3-8B에서는 지연을 약 27% 증가시키지만 Qwen3-32B에서는 약 8%를 절약한다. 이러한 결과는 적응형 RAG에 대한 섬세한 관점을 지지한다: 보정된 신뢰도는 작업 및 시스템 제약 하에서 검색 예산을 할당하기 위한 재사용 가능한 인터페이스로 이해하는 것이 가장 적합하다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.