arXiv:2607.02509v1 cs.AI

ReContext: Recursive Evidence Replay as LLM Harness for Long-Context Reasoning

Yanjun Zhao, Ruizhong Qiu, Tianxin Wei, Yuanchen Bei, Zhining Liu, Lingjie Chen, Ismini Lourentzou, Hanghang Tong, Jingrui He

제출 2026-07-02

원문 초록

Understanding and reasoning over long contexts has become a key requirement for deploying large language models (LLMs) in realistic applications. Although recent LLMs support increasingly long context windows, they often fail to use relevant evidence that is already present in the input, revealing a gap between context access and effective context utilization. In this work, we propose Recursive Evidence Replay as LLM Harness for Long-Context Reasoning (RECONTEXT), a training-free inference method for improving long-context reasoning. RECONTEXT uses model-internal relevance signals to construct a query-conditioned evidence pool and replays it before final generation while preserving the full original context. This recursive selection process separates evidence organization from answer generation without training, external memory, or context pruning. We also provide a theoretical analysis based on associative memory, which characterizes the context as a memory store, the question as a retrieval cue, attention as cue-trace association, and replay as trace reactivation. Experiments on eight long-context datasets with 128K context length show that RECONTEXT consistently improves evidence utilization across Qwen3-4B, Qwen3-8B, and Llama3-8B, achieving the best average rank on all three backbones. Code is available at https://github.com/Yanjun-Zhao/ReContext.

요약

ReContext는 대규모 언어 모델(LLM)이 긴 컨텍스트 내에 존재하는 관련 증거를 실제 생성 시 활용하지 못하는 문제를 해결하기 위해, 모델 내부의 어텐션 신호를 기반으로 질의 조건부 증거 풀을 재귀적으로 구성하고 최종 답변 생성 전에 이를 재생(replay)하는 학습 불필요 추론 방법을 제안한다. 8개의 128K 길이 장문 컨텍스트 데이터셋에서 Qwen3-4B, Qwen3-8B, Llama3-8B 모두에 대해 평균 정확도를 0.24에서 0.30으로 24.6% 향상시키며 모든 백본에서 최고 평균 순위를 달성했다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.02509v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.16003v1cs.CL공통 태그 Question Answering, Reading Comprehension, Large Language Model

PAIR: 읽기-추론 융합을 통한 메모리 효율적이고 빠른 추론

PAIR: Memory-Efficient and Fast Inference with Reading--Reasoning Fusion

문맥 기반 질의응답에서 단일 대형 모델을 근거 추출과 답변 추론 모두에 사용하는 것은 상당한 메모리와 연산량을 요구합니다. 기존 접근 방식들은 단일 모델 내에서 정확도와 효율성을 맞바꿉니다. 본 연구에서는 효율적인 추론을 위한 다중 모델 접근 방식을 제안합니다. 제안 방법인 PAIR는 서로 다른 크기의 두 모델을 각각 근거 추출과 답변 추론에 활용합니다. 더 작은 Reader 모델이 전체 문맥을 처리하고 유지하는 반면, 더 큰 Reasoner 모델은 문맥에 직접 어텐션을 수행하지 않고 질문과 생성된 시퀀스만을 봅니다. 이러한 기능들은 로짓(logit) 수준에서 융합됩니다. 각 토큰마다 Reader와 Reasoner가 모두 예측을 생성하며, 이들의 로짓이 하나로 결합되어 단일 다음 토큰 예측 모델처럼 동작합니다. 미세조정(fine-tuning)을 통해 성능을 더욱 향상시킵니다. HotpotQA에서 32B Reasoner를 적용한 PAIR는 동일한 32B 모델의 전체 문맥 정확도를 96% 유지하면서도 KV 메모리는 약 4분의 1만 사용합니다. 45.7K 토큰 문맥에서 PAIR는 동일한 GPU 상의 전체 문맥 32B 모델 대비 최대 3.2배 높은 엔드투엔드 처리량을 달성합니다. 또한 PAIR는 평가된 토큰 감소 베이스라인 대비 정확도-메모리 및 정확도-처리량 간의 상충 관계를 개선합니다. 이러한 정확도 보존 특성은 Qwen2.5, OLMo-3, Gemma-3 모델 패밀리 전반에 걸쳐 일반화됩니다.

arXiv:2610.00224v2cs.AI공통 태그 Question Answering, In-Context Learning

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

arXiv:2610.15840v1cs.LG공통 태그 Large Language Model, In-Context Learning

에이전틱 강화학습에서의 신용 할당을 위한 LLM 가치 함수

LLM Value Functions for Credit Assignment in Agentic RL

대규모 언어 모델(LLM) 에이전트를 위한 강화학습(RL)은 개별 행동에 신용을 할당하기 어려운 희소한 결과 보상 기반의 긴 호흡(long-horizon) 태스크에서 여전히 어려운 과제로 남아 있습니다. GRPO와 같은 방식은 모든 행동에 동일한 궤적 수준(trajectory-level)의 어드밴티지를 부여하는 반면, 크리틱(critic) 기반 방식은 비용이 많이 들고 불안정할 수 있는 별도의 가치 함수(value function) 학습을 필요로 합니다. 본 연구에서는 별도의 크리틱을 파인튜닝(fine-tuning)하지 않고 LLM의 사전학습된 지식과 문맥 내 학습(ICL) 능력을 활용하여 정책 인지적(policy-aware) 상태 가치를 추정하는 LLM 가치 함수 강화학습(LVRL)을 소개합니다. LVRL은 가치 모델을 그룹 컨텍스트에 조건화하고 초기 및 최종 상태의 기지 가치를 사용하여 예측을 캘리브레이션함으로써, 추정된 가치 차이로부터 스텝 수준(step-level)의 신용 할당을 가능하게 합니다. 나아가 이 아이디어를 온-정책(on-policy) 증류(OPD)를 통한 전문가 정책 학습으로 확장하여, 추정 가치의 감소와 관련된 행동에 교사(teacher)의 감독을 집중시키는 LLM 가치 함수 OPD(LVOPD)를 제안합니다. 우리는 AppWorld, BabyAI, SWE-bench Verified 등 다양한 에이전틱 벤치마크 전반에서 접근 방식을 평가합니다. 정책 규모(4B~32B) 전반에 걸쳐 LVRL은 GRPO와 PPO 모두를 일관되고 상당한 차이로 능가합니다. AppWorld 및 SWE-bench Verified에서 LVRL은 GRPO 대비 각각 최대 13.6 및 8.6퍼센트포인트의 절대적인 성능 향상을 달성합니다. 특히 BabyAI와 같이 확장된 탐험(exploration)이 필요한 태스크에서 LVRL은 완전한 실패에서 75.0% 성공으로 격차를 좁힙니다. 또한 LVOPD는 AppWorld에서 표준 증류 베이스라인 대비 일관된 개선을 보입니다. 마지막으로 몬테카를로 분석을 통해 우리의 고정된 크리틱이 시맨틱한 함정과 회복을 정확하게 식별함을 확인하여, LVRL이 희소한 최종 결과로부터 견고하고 정책 인지적인 스텝 수준 신용을 추출함을 입증합니다.

arXiv:2610.15882v1cs.AI공통 태그 Large Language Model, In-Context Learning

엔그램 주입: 매개변수 기반 언어 모델 메모리의 시간적 유효성에 관한 연구

Engram Injection: A Study of Temporal Validity in Parametric Language-Model Memory

저장된 사실은 사용자가 선호도를 변경하거나 새로운 사건이 이전 사건을 대체할 때 유효하지 않게 될 수 있습니다. 본 연구에서는 언어 모델이 파라미터 내에서 이러한 변화를 학습하고, 질문과 현재 시간만으로 올바르게 답할 수 있는지를 조사합니다. 엔그램 주입(Engram Injection)은 사실을 LoRA 어댑터에 저장하며, 동결된 Qwen2.5-3B-Instruct 모델에 FiLM 조건화를 통해 시계 정보를 제공합니다. 이를 가산적 시계 조건화, 날짜가 포함된 전체 기록을 활용한 프롬프팅, 날짜가 포함된 네 개의 기록을 검색하는 방식과 비교합니다. 테스트 대상 시점의 예제가 학습에 포함될 수 있었던 샘플러를 수정한 후, 세 가지 시드에 걸쳐 일치하는 6개의 어댑터를 학습시킵니다. 학습 감사 결과, 평가된 127,760개의 학습 입력 중 이러한 예제는 없었던 것으로 보고되었습니다. 업데이트 전후로 질문된 62쌍의 질문에 대해, 학습에서 제외된 7일 경과 시점에서 순서 코드 1을 고정한 주요 블라인드 어시스턴트 평가 결과 두 어댑터 방식 모두 0쌍을 맞혔습니다. 전체 기록 프롬프팅은 62쌍 중 59쌍을 올바르게 맞혔고, 검색 방식은 62쌍 중 62쌍을 맞혔습니다. 별도의 실험을 통해 어댑터가 사실을 저장할 수 있으며 탈착 가능한 메모리 유닛이 국소적 삭제를 지원할 수 있음을 보여줍니다. 사실 선택과 시간 기반 버전 선택을 결합하는 것은 여전히 실패 상태로 남아 있습니다. 이러한 결과는 사실을 학습하는 것과 이를 언제 사용해야 하는지 학습하는 것을 분리합니다.

arXiv:2610.13348v1cs.CL공통 태그 Question Answering, In-Context Learning

테스트 시점 메모리 구축

Test-Time Memory Construction

대규모 언어 모델(LLM)은 관련 증거가 멀리 떨어진 세션에 걸쳐 흩어져 있을 수 있는 긴 상호작용 기록을 바탕으로 질문에 답하는 데 어려움을 겪습니다. 기존 메모리 시스템은 일반적으로 사용자 질의가 관찰되기 전에 오프라인에서 정교한 메모리 표현을 구축하고 유지하므로 상당한 오버헤드가 발생하고 질의별 정보 요구에 맞춰 메모리 구축을 적응시키는 능력이 제한됩니다. 본 논문에서는 메모리 구축을 추론(inference) 시점으로 미루고 추론 과정에 따라 메모리를 점진적으로 구축하는 테스트 시점 메모리(Test-Time Memory) 구축 프레임워크인 T$^2$Mem을 제안합니다. 구체적으로 T$^2$Mem은 주요 이벤트와 시간적 연관성을 검색 단서로 포착하기 위해 가벼운 에피소드 수준의 메타데이터를 오프라인에서 추출하는 동시에, 에피소드 간의 의존성 재구성을 용이하게 하도록 원본 상호작용에 대한 링크를 유지합니다. 테스트 시점에 LLM은 메타데이터와 원시 상호작용을 적응적으로 검색 및 구성하여 추론이 진행됨에 따라 질의 맞춤형 메모리를 점진적으로 구축합니다. LoCoMo 및 LongMemEval에 대한 실험을 통해 T$^2$Mem은 다양한 백본 LLM 전반에서 강력한 베이스라인을 일관되게 능가하는 동시에 메모리 구축 오버헤드를 대폭 줄임으로써 그 효과를 입증합니다. 추가 분석을 통해 메모리 구축을 추론 시점으로 미룸으로써 메모리 구축 프로세스가 개별 질의의 정보 요구에 동적으로 적응할 수 있음을 보여줍니다. 모든 코드는 https://github.com/OpenBMB/T2Mem 에서 이용 가능합니다.

arXiv:2610.13416v1cs.AI공통 태그 Information Retrieval, Large Language Model

Web$hell: 에이전틱 웹 접근을 위한 통합 인터페이스

Web$hell: A Unified Interface for Agentic Web Access

대규모 언어 모델(LLM) 에이전트가 오픈 웹의 직접적인 사용자가 되어가고 있습니다. 에이전트가 점점 더 복잡하고 정보 집약적인 작업을 수행함에 따라, 효과적인 웹 접근은 에이전틱(agentic) 문제 해결을 위한 핵심 역량이 되고 있습니다. 기존 접근법들은 검색-증강 에이전트, 브라우저 기반 에이전트, 그리고 최근의 파일시스템 기반 에이전트 등 다양한 접근 모델을 통해 에이전틱 웹 접근을 발전시켜 왔습니다. 그럼에도 불구하고, 사용자들이 에이전트에게 장기적인(long-horizon) 엔드투엔드 작업 완수를 기대함에 따라 단일 경로(trajectory) 내에서 광범위한 정보 수집을 수행하고, 브라우저 작업을 실행하며, 획득한 근거를 다시 검토해야 할 필요성이 점점 커지고 있습니다. 그러나 본 논문의 예비 분석 결과, 기존 접근 모델들은 이러한 요구를 충족하는 데 어려움을 겪는 것으로 나타났습니다. 기존 모델들은 주로 정보 수집이나 브라우저 상호작용 중 한 가지만 지원하며, 이 두 가지 역량을 결합할 경우 상당한 비용이나 성능 트레이드오프가 발생할 수 있습니다. 이를 위해 본 연구에서는 단일 접근 모델 하에서 웹 접근을 통합하는 인터페이스인 Web$hell을 제안합니다. WebContract가 정의한 공통 스키마를 사용하여, WebCompiler는 실시간 웹페이지를 주소 지정 가능한 정보 및 행동 객체로 컴파일합니다. 이러한 객체들은 WebCache에서 유지 관리되고 공유 연산 집합을 통해 처리되어 에이전트에 일관되고, 조작 가능하며, 영속적인 웹 접근을 제공합니다. 웹 검색, 웹 내비게이션, 딥 리서치 벤치마크에 걸친 광범위한 실험을 통해, Web$hell이 더 낮은 비용으로 뛰어난 작업 성능을 달성함을 입증합니다. 또한 본 연구 결과는 효과적인 웹 접근을 위한 인터페이스 설계의 중요성을 시사하며, Web$hell이 웹상에서 더 유능하고 효율적인 LLM 에이전트를 구축하기 위한 새로운 가능성을 열어줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.