A Human-Inspired Reading Agent with Gist Memory of Very Long Contexts
원문 초록
Current Large Language Models (LLMs) are not only limited to some maximum context length, but also are not able to robustly consume long inputs. To address these limitations, we propose ReadAgent, an LLM agent system that increases effective context length up to 20x in our experiments. Inspired by how humans interactively read long documents, we implement ReadAgent as a simple prompting system that uses the advanced language capabilities of LLMs to (1) decide what content to store together in a memory episode, (2) compress those memory episodes into short episodic memories called gist memories, and (3) take actions to look up passages in the original text if ReadAgent needs to remind itself of relevant details to complete a task. We evaluate ReadAgent against baselines using retrieval methods, using the original long contexts, and using the gist memories. These evaluations are performed on three long-document reading comprehension tasks: QuALITY, NarrativeQA, and QMSum. ReadAgent outperforms the baselines on all three tasks while extending the effective context window by 3.5-20x.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
중요한 것을 실현하기: 대규모 추론을 위한 원칙 기반 컨텍스트 표현
Realize What Matters: Principled Context Representation for Large-Scale Reasoning
과학, 의학, 법률, 금융 등의 영역에서 복잡한 과제를 해결하려면 종종 모델의 컨텍스트 한계를 훨씬 넘어서는 광대하고 이질적인 출처에 흩어진 상호 의존적인 정보를 조합해야 한다. 기존 접근법은 그래프, 텍스트 메모리, 검색 컬렉션 등 모델이 추론할 수 있는 더 다루기 쉬운 표현으로 정보를 구성하여 이 과제에 대응한다. 이러한 표현은 어떤 후속 추론이 가능한지, 궁극적으로 성공 여부를 좌우하지만, 그 설계와 구축은 대체로 임의적(ad hoc)으로 이루어진다. 본 연구에서는 관련성 실현(relevance realization)의 인지 이론에 기초하여, 매우 큰 컨텍스트의 효과적인 표현을 구성하는 AI 시스템 설계를 위한 구체적 원칙을 제안한다. 기존 접근법을 분석하고 그 성공과 실패가 이러한 원칙과의 정렬(alignment)에 어떻게 대응되는지 보이며, 원칙을 보다 체계적으로 실행 가능하게 하도록 설계된 하네스 R3Con을 소개한다. R3Con을 대규모 문서 코퍼스에 대한 추론을 다룬 최근 벤치마크 두 개에서 아홉 개의 최신 기준선과 비교 평가한다. 이 벤치마크에서 R3Con은 가장 강한 기준선보다 각각 20 및 8.4 퍼센트포인트만큼 크게 우수한 성능을 보인다. 또한 더 작은 모델이 훨씬 큰 모델보다 나은 성능을 내도록 한다: 4B 및 9B 모델을 사용한 R3Con은 평가된 모든 35B 기준선을 능가하고, 35B-A3B 모델을 사용한 R3Con은 Claude-Sonnet-5를 사용한 Claude Code보다 3.7배 낮은 비용으로 더 나은 성능을 보인다. 결과는 우리의 원칙적 접근을 따르는 컨텍스트 표현이 모델 규모에 대한 의존을 줄일 수 있음을 보여주며, 더 작은 모델로 구동되는 프론티어 수준 성능의 AI 시스템의 미래를 가리킨다. 코드는 https://github.com/michaeltheologitis/r3con 에서 제공된다.
사이렌의 노래: 근접한 배경 컨텍스트가 멀리 떨어진 증거를 가릴 때
The Sirens' Song: When Proximal Background Context Overshadows Distant Evidence
긴 컨텍스트(long-context) 대규모 언어 모델(LLM)은 방대한 컨텍스트에서 멀리 떨어진 증거를 검색하는 데 집중하지만, 기존 연구는 주로 거리 자체를 극복하는 데에만 초점을 맞추어 왔습니다. 본 연구에서는 멀리 떨어진 증거에 대한 불충분한 어텐션(attention)이 거리 자체보다는 태스크와 무관하게 넘쳐나는 근접 배경과의 누적된 경쟁에서 비롯되는 경우가 많다는 '근접성 함정(Proximity Trap)'을 규명합니다. 이러한 근접성 함정을 해결하기 위해, 인코딩된 상대적 위치 정보를 보존하면서도 컨텍스트 검색 분포를 재구성하여 태스크 관련 증거로 더 많은 어텐션 비중을 유도하는 t-분포 기반 방향성 매칭 메커니즘인 LYRA(Long-context heavY-tailed Relevance Alignment)를 제안합니다. LongBench-v2, RULER, LongBench에서의 광범위한 실험을 통해 다양한 컨텍스트 길이와 태스크 범주 전반에서 일관된 성능 향상을 입증합니다. 나아가 점증하는 근접 배경 간섭 하에서 원거리 증거 활용 능력을 평가하기 위한 다단계 세그레인드 벤치마크(benchmark)인 ProxBench를 소개합니다. 프로젝트 페이지: https://xiaoyuyoung.github.io/LYRA/
선형 컨텍스트를 넘어: 로컬 9B 언어 모델의 장편 소설 추론을 위한 그래프 안내 증거 탐색
Beyond Linear Context: Graph-Guided Evidence Navigation for Long-Novel Reasoning with a Local 9B Language Model
장문 맥락 모델은 소설을 사람이 인쇄물을 읽듯 읽는다. 서사 순서대로 토큰을 하나씩 처리하며, 전체 이력이 고정된 어텐션 예산을 두고 경쟁한다. 탐정은 그렇게 일하지 않는다. 무엇이 언제 일어났는지 정리하고, 누가 누구와 어떻게 연관되는지에 대한 지도를 유지하여, 1장의 단서가 책 끝에서 던진 질문과 만날 수 있게 한다. 우리는 고정(frozen) 지식 그래프가 소규모 로컬 모델에 그와 같은 자유를 줄 수 있는지 검증한다. 탐정 소설 30편과 객관식 문제 234개에 대해, 하나의 고정된 qwen3.5:9b 리더가 아홉 가지 조건에서 답한다. 다섯 가지 그래프 경로, 최근 윈도우 기준선, 전권 압축, 일반 벡터 검색, 문제만 제시하는 대조군이다. 가장 강한 그래프 경로는 53.85%(126/234)로, 최근 윈도우 46.15%, 압축 51.28%, 벡터 검색 51.71%, 문제만 40.17%를 각각 상회한다. 책 없이는 어떤 모델도 답할 수 없는 부분집합에서 그래프 경로는 42.86%에 이른다. 그래프-기준선 대비 15건 중 Holm 보정을 통과한 것은 없으므로, 결과는 설계에 대한 탐색적 증거로 제시한다. 두 가지 구조적 발견은 요약 수치보다 검증에 더 견딘다. 주석된 증거는 이러한 그래프의 위상학적 코어(topological core)에 집중되며(풀링 기준 2.35배 enrichment), 두 그래프 구축 파이프라인은 주석 커버리지(단서 단락의 16% 대 73%)에서 크게 달라, 풀링된 정확도만으로는 어떤 병목이 측정되는지 가려진다.
THOR: 멀티홉 QA를 위한 Theta-Gamma 계층적 진동 추론 프레임워크
THOR: A Theta-Gamma Hierarchical Oscillatory Reasoning Framework for Multi-hop QA
멀티홉 질의응답은 여러 맥락에서 증거를 검색하고 통합하는 것을 요구한다. 현재 연구가 빠르게 진전하고 있음에도 불구하고, 멀티홉 추론은 두 가지 지속적인 한계에 의해 제약받는다: 어텐션 감쇠(attention decay), 즉 추론 체인이 길어질수록 주요 질문에 대한 모델의 집중이 저하되는 현상, 그리고 오류 누적(error accumulation), 즉 실수가 홉을 거치며 전파되어 최종 실패로 누적되는 현상이다. 전역 계획을 지역 검색과 분리하고, 홉 간 효율적인 어텐션 전달을 가능하게 하며 잘못된 경로에서의 오류 누적을 차단하는 검증 및 복구 메커니즘을 제공하는 Theta-Gamma 계층적 진동에서 영감을 받아, 우리는 뇌에서 영감을 받은 Theta-Gamma 계층적 진동 추론 프레임워크인 THOR를 제안한다. 멀티홉 QA 벤치마크에 대한 광범위한 비교 실험과 구체적인 검증 실험은 THOR가 한계를 완화하면서 답변 정확도와 견고성을 향상시키며, 다양한 백본에 걸친 일반화 성능을 보여준다는 것을 입증한다.
DispatchRAG: 교통사고 영상으로부터 실세계 프로토콜에 기반한 긴급 출동 결정의 그라운딩
DispatchRAG: Grounding Emergency Dispatch Decisions in Real-World Protocols from Traffic Accident Video
교통사고 상황의 심각도를 평가하는 것은 어떤 응급 서비스를 출동시킬지 결정하는 데 중요하다. 보행자 사고에서 구급차 출동을 놓치는 것은 사망으로 이어질 수 있는 치명적인 문제이다. 최근 시각-언어 모델(VLM)은 사고 추론을 위한 유망한 도구이나, 많은 VLM이 실제 사고 대응 프로토콜에 기반하지 않아 사고 심각도 평가에 그대로 사용하기 어렵다. 본 논문은 실제 일본의 교통사고 대응 프로토콜에 기반한 의사결정 지원 프레임워크 DispatchRAG를 제안하며, 이는 응급 상황에서 VLM을 사용해 적절한 응급 대응 권고를 생성함으로써 응급 출동 요원을 지원하도록 설계되었다. RAG 기반 검색 메커니즘으로 가장 관련성 높은 사고 프로토콜을 검색하고, LLM 기반 추론기로 가장 적절한 대응을 제안한다. 평가를 지원하기 위해, MM-AU 데이터셋을 바탕으로 일본의 사고 대응 프로토콜에 따른 사고 평가와 응급 대응을 담은 포괄적 데이터셋인 Accident Dispatch Dataset을 소개한다. 이 데이터셋에서 프레임워크를 검증한 결과, 기준 VLM과 비교하여 다양한 사고 시나리오 전반에서 강한 성능을 보였으며, 이는 자율주행차와 인간 출동 요원이 자신과 인근의 사고에 더 빠르게 대응하도록 도울 수 있는 의사결정 지원 도구의 가능성을 시사한다.
TRACE: 엔터프라이즈 LLM에서 지식을 보존하는 파라미터릭 도구 검색을 위한 비즈니스 규칙 기반 추론 커리큘럼
TRACE: Business Rule-Grounded Reasoning Curriculum for Knowledge-Preserving Parametric Tool Retrieval in Enterprise LLMs
파라미터릭 검색(parametric retrieval)은 각 API에 고유한 가상 토큰을 할당하고, 제약 빔 탐색(constrained beam search)을 통해 모델이 이를 생성하도록 학습함으로써 LLM이 도구를 암묵적으로 검색할 수 있게 한다. ToolSense는 이 방식이 두 가지 치명적인 단점을 갖는다고 보여준다: 학습(training) 중 파라미터릭 도구 지식을 파괴하고, 빔 탐색 디코딩이 실시간 배포에 너무 느리다는 것이다. 우리는 이러한 분리(dissociation)를 해소하는 2단계 커리큘럼인 TRACE(Tool Retrieval via Augmented Chain-of-thought and Enterprise rules)를 제안한다. 1단계는 ToolSense의 다중 형식 암기 SFT를 재사용하여 LoRA로 도구 지식을 시드(seed)한다. 2단계가 핵심 기여이다: 모델은 ToolSense의 RRB 쌍과 도메인 전문가가 큐레이션한 비즈니스 규칙을 대상으로 합성된 쿼리라는 두 가지 데이터 소스를 사용하며, 둘 다 추론 trace로 증강된 데이터로, 도구 토큰의 JSON 목록을 생성하기 전에 thinking trace를 출력하도록 학습된다. 이 학습 목표는 1단계 MCQ 및 QA 프로빙 정확도를 보존하면서 프로덕션 지연 시간에서 단일 빔 greedy 디코딩을 가능하게 한다. 두 엔터프라이즈 제품군에 걸친 8,300개 이상의 도구를 포함한 통합 엔터프라이즈 카탈로그에서 평가한 결과, 2단계 TRACE 학습은 도구 이해력을 보존할 뿐 아니라 향상시킨다: MCQ 정확도는 1단계 대비 +3.2 pp, QA 프로빙은 +9 pp 향상한다. 검색(retrieval)에서는 TRACE가 Domain A에서 ~86% 재현율, Domain B에서 ~60% 재현율을 달성한다—임베딩(embedding) 기준선(baseline) 성능 ~27% 및 ~52%와 비교—둘 다 단일 빔 greedy 디코딩으로, 프로덕션 지연 시간에서 직접 배포 가능하다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.