선형 컨텍스트를 넘어: 로컬 9B 언어 모델의 장편 소설 추론을 위한 그래프 안내 증거 탐색
Beyond Linear Context: Graph-Guided Evidence Navigation for Long-Novel Reasoning with a Local 9B Language Model
한국어 초록
장문 맥락 모델은 소설을 사람이 인쇄물을 읽듯 읽는다. 서사 순서대로 토큰을 하나씩 처리하며, 전체 이력이 고정된 어텐션 예산을 두고 경쟁한다. 탐정은 그렇게 일하지 않는다. 무엇이 언제 일어났는지 정리하고, 누가 누구와 어떻게 연관되는지에 대한 지도를 유지하여, 1장의 단서가 책 끝에서 던진 질문과 만날 수 있게 한다. 우리는 고정(frozen) 지식 그래프가 소규모 로컬 모델에 그와 같은 자유를 줄 수 있는지 검증한다. 탐정 소설 30편과 객관식 문제 234개에 대해, 하나의 고정된 qwen3.5:9b 리더가 아홉 가지 조건에서 답한다. 다섯 가지 그래프 경로, 최근 윈도우 기준선, 전권 압축, 일반 벡터 검색, 문제만 제시하는 대조군이다. 가장 강한 그래프 경로는 53.85%(126/234)로, 최근 윈도우 46.15%, 압축 51.28%, 벡터 검색 51.71%, 문제만 40.17%를 각각 상회한다. 책 없이는 어떤 모델도 답할 수 없는 부분집합에서 그래프 경로는 42.86%에 이른다. 그래프-기준선 대비 15건 중 Holm 보정을 통과한 것은 없으므로, 결과는 설계에 대한 탐색적 증거로 제시한다. 두 가지 구조적 발견은 요약 수치보다 검증에 더 견딘다. 주석된 증거는 이러한 그래프의 위상학적 코어(topological core)에 집중되며(풀링 기준 2.35배 enrichment), 두 그래프 구축 파이프라인은 주석 커버리지(단서 단락의 16% 대 73%)에서 크게 달라, 풀링된 정확도만으로는 어떤 병목이 측정되는지 가려진다.
원문 초록
Long-context models read a novel the way a person reads a printout: one token after another, in narrative order, with the whole history competing for a fixed budget of attention. A detective does not work that way. They sort what happened when, and they keep a map of who relates to whom, so a clue from chapter one can meet a question asked at the end of the book. We test whether a frozen knowledge graph can give a small local model that same freedom. Thirty detective novels and 234 multiple-choice questions are answered by one fixed qwen3.5:9b reader under nine conditions: five graph routes, a recent-window baseline, whole-book compression, ordinary vector retrieval, and a question-only control. The strongest graph route reaches 53.85% (126/234) against 46.15% for the recent window, 51.28% for compression, 51.71% for vector retrieval and 40.17% for question-only. On the subset that no model can answer without the book, the graph route reaches 42.86%. None of the fifteen graph-baseline contrasts survives Holm correction, so we present the result as exploratory evidence about a design. Two structural findings survive scrutiny better than the headline number: annotated evidence concentrates in the topological core of these graphs (2.35x enrichment, pooled), and the two graph-building pipelines differ so much in annotation coverage (16% versus 73% of clue paragraphs) that pooled accuracy alone would hide which bottleneck is being measured.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.22939v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
PAIR: 읽기-추론 융합을 통한 메모리 효율적이고 빠른 추론
PAIR: Memory-Efficient and Fast Inference with Reading--Reasoning Fusion
문맥 기반 질의응답에서 단일 대형 모델을 근거 추출과 답변 추론 모두에 사용하는 것은 상당한 메모리와 연산량을 요구합니다. 기존 접근 방식들은 단일 모델 내에서 정확도와 효율성을 맞바꿉니다. 본 연구에서는 효율적인 추론을 위한 다중 모델 접근 방식을 제안합니다. 제안 방법인 PAIR는 서로 다른 크기의 두 모델을 각각 근거 추출과 답변 추론에 활용합니다. 더 작은 Reader 모델이 전체 문맥을 처리하고 유지하는 반면, 더 큰 Reasoner 모델은 문맥에 직접 어텐션을 수행하지 않고 질문과 생성된 시퀀스만을 봅니다. 이러한 기능들은 로짓(logit) 수준에서 융합됩니다. 각 토큰마다 Reader와 Reasoner가 모두 예측을 생성하며, 이들의 로짓이 하나로 결합되어 단일 다음 토큰 예측 모델처럼 동작합니다. 미세조정(fine-tuning)을 통해 성능을 더욱 향상시킵니다. HotpotQA에서 32B Reasoner를 적용한 PAIR는 동일한 32B 모델의 전체 문맥 정확도를 96% 유지하면서도 KV 메모리는 약 4분의 1만 사용합니다. 45.7K 토큰 문맥에서 PAIR는 동일한 GPU 상의 전체 문맥 32B 모델 대비 최대 3.2배 높은 엔드투엔드 처리량을 달성합니다. 또한 PAIR는 평가된 토큰 감소 베이스라인 대비 정확도-메모리 및 정확도-처리량 간의 상충 관계를 개선합니다. 이러한 정확도 보존 특성은 Qwen2.5, OLMo-3, Gemma-3 모델 패밀리 전반에 걸쳐 일반화됩니다.
검증 가능하고 피드백 기반 언어 모델을 활용하여 임상 시험 근거 표에 대한 임상의의 질문에 답하기
Answering clinicians' questions over trial evidence tables with verifiable, feedback-driven language models
체계적 문헌고찰은 임상 시험 결과를 근거 표(evidence table)로 요약하지만, 임상의는 데이터베이스 쿼리를 통해서만 이러한 표를 질의할 수 있으며, 많은 질문은 약물의 표적 분류나 통합된 평가변수(endpoint)처럼 표에 기록되지 않은 속성과 관련되어 있습니다. 본 논문에서는 두 종류의 질문에 모두 답하고, 모든 답변의 배경이 되는 쿼리, 선정된 임상 시험 및 도출 규칙을 공개하며, 전문가의 교정으로부터 학습하는 언어 모델(LM) 프레임워크인 FD-SCoPE를 소개합니다. 159건의 면역관문억제제(immune checkpoint inhibitor) 임상 시험 기록으로 구성된 종양학 근거 표에서, FD-SCoPE는 140개의 임상의 대상 과제를 모두 완료했습니다(대안 모델 90.7~97.9%). 파생 속성이 필요한 질문의 경우, 89.8%의 양성 예측도(positive predictive value)로 관련 임상 시험 기록의 99.3%를 검색했으며 4가지 대안 접근법보다 우수한 성능을 보였습니다(파생값 F1 77.7% 대비 64.8~73.4%). 기준 답변으로부터 시뮬레이션된 299개 질문에 대한 교정은 이전에 보지 못한 1,201개 질문에 대한 F1 점수를 77.9%에서 84.9%로 향상시켰습니다. 실행 가능한 쿼리, 검증된 프로그램, 전문가 피드백과 결합된 언어 모델은 임상의에게 임상 시험 근거에 대한 검증 가능한 접근성을 제공할 수 있습니다.
DyadMem: 에이전트와 사용자의 상호작용 방식을 평가하는 장기 기억 벤치마크
DyadMem: A Long-Term Memory Benchmark of How Agents Work with Users
장기 에이전트(agent)는 사용자에 대한 사실뿐만 아니라 공유된 히스토리가 발전함에 따라 특정 에이전트가 해당 사용자와 어떻게 상호작용해야 하는지도 기억해야 합니다. 기존 벤치마크는 주로 사용자의 사실 및 선호도나 여러 사용자 간에 재사용 가능한 경험만을 감독하여, 이러한 관계 특정적 에이전트 메모리를 암묵적인 상태로 남겨두었습니다. 또한, 대부분의 이전 연구는 긴 상호작용 기록에 대한 최종 답변 질의응답(QA)만으로 모델을 측정하므로 평가가 여전히 불완전하고 신뢰하기 어렵습니다. 이를 위해 본 논문에서는 새롭게 정의한 사용자 조건부 관계형 에이전트 메모리(URAM)와 함께 DyadMem을 소개합니다. DyadMem은 동일한 다중 세션 궤적을 따라 사용자 측 메모리와 URAM을 공동으로 주석 처리하여 6가지 메모리 범주를 구성합니다. 요약하자면, 본 벤치마크는 3,065개의 에피소드, 50,961개의 세션, 61,210개의 QA 인스턴스를 포함하며, 광범위한 세션 수준의 수집(Capture) 및 업데이트(Update) 골드 주석, 쿼리 수준의 리콜(Recall) 지원, 그리고 골드 메모리(Gold-Memory)와 전체 파이프라인(Full-Pipeline)이라는 두 가지 QA 설정을 제공합니다. 16개의 공개 가중치(weight) 모델과 4개의 독점 모델 전반에서 골드 메모리 QA는 일관되게 강력한 성능을 보였으나, 전체 파이프라인 QA는 급격히 하락했습니다. 이러한 격차는 본 연구의 세분화된 평가 설계를 명확히 뒷받침합니다. 또한, 여러 정량적 결과는 프론티어 대규모 언어 모델(LLM)에서도 낮은 수집 재현율(recall), 불완전한 검색(Recall), 안전하지 않은 삭제 문제가 발생함을 추가로 보여줍니다. 나아가 엄격한 실험을 수행하여 URAM의 효과를 검증했으며 20개 모델 모두에서 긍정적인 효과를 관찰했습니다. 요약하자면, DyadMem은 해당 분야의 발전을 위해 광범위한 주석 작업을 거친 이중 도메인, 전체 파이프라인 메모리 벤치마크입니다.
DO-RAG: A Domain-Specific QA Framework Using Knowledge Graph-Enhanced Retrieval-Augmented Generation
OmniSeek: 다중 턴 시청각 추론을 위한 네이티브 도구 통합
OmniSeek: Native Tool Integration for Multi-turn Audio-Visual Reasoning
본 논문에서는 옴니 대규모 언어 모델(Omni-LLM)을 네이티브 도구 사용 능력을 갖춘 능동적인 다중 턴(multi-turn) 추론 에이전트로 변환하는 에이전트 프레임워크인 OmniSeek을 제시합니다. 전체 시청각 시퀀스를 단일 순전파(forward pass)로 수동 처리하는 대신, OmniSeek은 증거 획득을 추론 과정의 일부로 만듭니다. 즉, 긴 컨텍스트 내에서 서로 다른 모달리티 전반의 희소하지만 결정적인 증거를 검색하기 위해 보거나 들을지 여부와 그 시간 윈도우를 동적으로 결정합니다. 반복적인 다중 턴 프로토콜을 통해 검색된 원시 오디오 또는 시각 세그먼트는 후속 추론을 지원하기 위해 컨텍스트에 다시 추가됩니다. 이러한 능력을 콜드 스타트하기 위해, 오디오 및 시각 증거가 인터리빙된 다중 홉 사고의 연쇄(Chain-of-Thought) 궤적 말뭉치인 OmniTraj-170K를 합성하는 데이터 엔진을 구축합니다. 먼저 이러한 궤적을 기반으로 모델을 지도 학습하여 다중 턴 도구 사용 행동을 주입한 다음, 검증 가능한 보상을 활용한 2단계 강화학습을 통해 정책을 추가로 최적화합니다. 또한, 두 모달리티 모두에 의존하는 성공적인 추론 궤적에 명시적으로 보상을 제공하여 단일 모달리티 지름길을 억제하는 시청각 필수성(Audio-Visual Necessity) 목표를 도입합니다. 광범위한 벤치마크에 걸친 광범위한 실험을 통해 OmniSeek이 적응형 교차 모달 증거 탐색을 학습하고 시청각 추론 성능을 일관되게 향상시킴을 입증합니다.
역사는 반복된다: 선형 어텐션에서 롱컨텍스트 능력 발현하기
History Replays Itself: Unleashing Long-Context Capability in Linear Attention
선형 어텐션(linear attention)은 롱컨텍스트(long-context) 언어 모델링에 필요한 효율성을 제공하지만, 크기가 고정된 순환 상태(recurrent state)가 지속적인 연산을 지원하는 동시에 계속 증가하는 과거 정보를 보존해야만 합니다. 이러한 결합은 상태의 메모리 용량이 모델의 롱컨텍스트 능력을 규정한다는 지배적인 관점을 강화해 왔습니다. 본 연구에서는 순환 연산이 장기 저장의 모든 부담을 짊어질 필요가 없다는 점을 들어 이러한 한계성에 의문을 제기합니다. 우리는 미래의 쿼리를 알 수 없는 상태에서 선별된 텍스트를 보관하고, 백본의 고유 특징을 활용하여 기록 및 주소 지정을 수행하며, 리플레이(replay)를 통해 고유의 순전파 연산으로 검색된 근거를 읽어오는 희소 에피소딕 메모리인 NoteBank를 소개합니다. 이 학습 불필요(training-free) 플러그 앤 플레이(plug-and-play) 인터페이스는 외부 임베딩 모델이나 별도로 학습된 검색기, 독립된 신경망 리더(neural reader)를 필요로 하지 않습니다. 100만 토큰 환경에서, 이는 Gated DeltaNet의 6개 RULER 검색 태스크 평균 정확도를 1.7%에서 70.3%로 향상시켰으며, 4K에서 1M 토큰까지 유의미한 검색 성능 저하가 관찰되지 않았습니다. 이러한 성능 회복 과정에서 추가되는 이론적 FLOPs는 0.025% 이하($\leqslant$0.025%)에 불과하며, 영구 컨텍스트 저장 공간은 동일한 너비, 깊이 및 정밀도 조건의 트랜스포머 전체 MHA KV 캐시 대비 약 1/2,600 수준입니다. 실험은 세 가지 1.3B 순환 백본부터 Mamba-2-8B 및 사후학습(post-training)을 거친 Qwen3.5-9B까지 확장되어 LongBench v1/v2와 MemoryAgentBench 전반에서 성능 향상을 입증했습니다. 종합적으로 이러한 결과는 희소 근거 저장과 고유 리플레이 메커니즘이 순환 연산의 효율성을 유지하면서도 사전학습된 선형 어텐션 모델의 롱컨텍스트 역량을 크게 확장할 수 있음을 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.