PyTorchKR Papers

최신 논문

총 37편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.28447v2cs.IR

SemFlowRAG: 복잡한 추론을 위한 추상에서 증거로의 방향성 의미 흐름

SemFlowRAG: Directed Semantic Flow from Abstraction to Evidence for Complex Reasoning

지식 그래프로 강화된 검색 증강 생성(RAG)은 복잡한 다중 홉 추론 과제에서 가능성을 보여 왔다. 그러나 기존 그래프 기반 검색 방법은 일반적으로 평평하고 방향이 없는 위상에 의존한다. 검색 과정에서 확률 흐름이 차수가 높은 추상 개념 노드에 갇히는 경우가 많으며, 우리는 이를 ``확률 블랙홀''로 정의한다. 이는 의미 이탈과 잡음 누적으로 이어진다. 이를 해결하기 위해 평평한 검색 공간을 코퍼스 적응형 의미 경사 그래프로 재구성하는 프레임워크인 SemFlowRAG를 제안한다. 이러한 데이터 기반 자기 조직화는 데이터 분포로부터 계층 구조가 자연스럽게 나타나도록 하여, 코퍼스의 내재적 의미 세분도를 포착하고 구조적 잡음을 억제한다. 개체와 연관된 문단의 임베딩 분산을 통해 개체의 의미적 추상성을 정량화함으로써, 정적인 무방향 간선을 방향성 있는 의미 제약으로 변환한다. 나아가 검색 궤적이 ``높은 의미 추상성에서 낮은 의미 추상성으로''의 경사를 따르도록 강제하는 추상성 유도 방향성 PageRank 알고리즘을 설계한다. 이 메커니즘은 계층별 증거 수렴을 보장하여, 검색 과정을 추상 개념에서 구체적인 문서 증거로 부드럽게 이끈다. 복잡한 QA 데이터셋에 대한 광범위한 실험은 SemFlowRAG가 ``확률 블랙홀'' 문제를 효과적으로 완화하며, 검색 및 후속 추론 성능 모두에서 기존 베이스라인을 능가함을 보여준다.

arXiv:2605.23753v2cs.LG

SeedER: 효율적인 지식 그래프 검색을 위한 시드-확장-검색 기법

SeedER: Seed-Expand-Retrieve for Efficient Knowledge Graph Retrieval

지식 그래프(KG)는 관계형 지식을 풍부하게 표현하지만, 불규칙한 구조로 인해 검색에 어려움이 따릅니다. 에고 그래프(ego-graph) 확장은 급격히 증가하며, 조밀한 임베딩(dense embedding) 방식은 다중 홉(multi-hop) 합성 쿼리 처리에 한계를 보입니다. 여러 접근 방식에서는 대규모 언어 모델(LLM) 에이전트를 활용해 KG를 탐색하고 후보 노드를 분석하여 다음 탐색 위치를 결정합니다. 이러한 접근법은 표현력이 뛰어나지만 상당한 계산 및 메모리 비용을 초래할 수 있습니다. 반면, 본 연구에서는 구조를 보강하고 이웃 인지 특성을 반영하더라도 그래프 노드에 대해 사전 계산된 조밀한 임베딩이 일련의 지식 그래프 쿼리에 답하기 위해 그래프 크기에 필적하는 임베딩 차원을 요구할 수 있음을 이론적으로 보입니다. 이러한 한계는 특정 조건에서 쿼리 적응형 임베딩을 통해 극복할 수 있으며, 이를 수행할 수 있는 그래프 신경망(GNN) 변형들이 존재합니다. 그러나 GNN으로 전체 그래프를 처리하는 것 역시 상당한 메모리와 계산 비용을 발생시킬 수 있으며, 각 노드가 쿼리에 답하는지 여부를 나타내는 조밀한 정답 라벨이 필요합니다. 앵커 노드 주변의 단순한 $k$-홉 선택 또한 문제가 될 수 있습니다. 작은 $k$는 탐색 가능한 노드를 제한하며, 3이나 4와 같은 작은 $k$ 값에서도 $k$-홉 서브그래프는 크게 증가할 수 있습니다. 본 연구에서는 메모리와 계산 부담이 훨씬 적고, 1단계 검색기(first-stage retriever)로서 추론 시 CPU에서 실행 가능하며, 학습 중 한 번에 소수의 노드에 대한 피드백만 필요로 하는 그래프 트랜스포머(Graph Transformer) 및 강화학습 기반의 새로운 접근 방식을 고안합니다. 우리는 이 방식이 KG에서 정보를 검색하기 위해 LLM을 파인튜닝하는 방식들과 견줄 만한 성능을 보임을 입증합니다. 본 연구의 방법을 SeedER(Seed-Expand-Retrieve)이라 부르며, 적은 계산 자원으로도 실행 가능한 1단계 검색기로 주로 활용될 수 있도록 자리매김합니다.

arXiv:2609.24346v1cs.AI

LADDER: 효율적 다중 홉 추론을 위한 그래프 가이드 확산 언어 모델

LADDER: Graph-Guided Diffusion Language Models for Efficient Multi-Hop Reasoning

그래프 검색-증강 생성(GraphRAG)은 구조화된 엔티티 토폴로지를 활용하여 복잡한 추론에서 대규모 언어 모델(LLM)의 성능을 크게 향상시켜 왔다. 그러나 기존 프레임워크는 표준 자기회귀(autoregressive) 언어 모델에 크게 의존하며, 본질적인 순차 생성 특성이 전체 추론 효율을 심각하게 저해한다. 연속적인 병렬 정제(refine-in-parallel) 디코딩을 통해 대규모 병렬성을 제공하는 확산 언어 모델(DLM)에서 영감을 받아, 우리는 이산 공간에서 GraphRAG를 가속하는 것을 목표로 한다. 그러나 두 가지 과제로 인해 이는 결코 사소하지 않다. 첫째, 부분적으로 디노이즈된 초안은 매우 동적이고 불확실하여 동적 그래프 그라운딩(grounding)이 쉽지 않다. 둘째, 원시 디노이즈 상태는 본질적으로 노이즈가 많고 불안정하여, 동기식 그래프 검색과 다중 홉 집계는 계산 비용이 과도하다. 이를 위해 우리는 그래프 가이드 병렬 디코딩을 통해 확산 언어 모델링과 GraphRAG를 연결하는 새로운 프레임워크 LADDER를 제안한다. 구체적으로, (i) 부분 디노이즈 상태에서 목표 엔티티의 88%가 조기에 등장하며 최종 확정(commitment)이 평균 5.7–9.6스텝 앞당겨진다는 핵심 통찰에 기반하여, 이벤트 기반 자체 클로킹(self-clocking) 검색을 제안한다. 이 메커니즘은 그래프 연결 가능(graph-linkable) 엔티티 집합이 확장될 때만 그래프 검색을 동적으로 트리거하여, 학습된 게이트나 휴리스틱 임계값을 우회하는 비동기 자체 클로킹 정책을 만든다. (ii) 불완전 쿼리(incomplete-query) 그래프 전파 모듈은 전문 그래프 파운데이션 모델을 사용하여 새로 등장하는 엔티티 쿼리를 처리하고, 다중 홉 증거를 지속적으로 집계하여 병렬 예측을 선명하게 하고 전체 디코딩 수렴을 가속하도록 설계되었다. 세 가지 도전적인 다중 홉 QA 벤치마크에 대한 광범위한 실험에서 LADDER는 평균 정확 일치를 39.6%에서 45.2%로 높이면서 지연(latency)을 4.1배 감소시킨다.

arXiv:2609.24092v1cs.AI

DocMIDE: 시각적으로 풍부한 문서에서 다중 홉 암시적 유도 학습

DocMIDE: Learning Multi-Hop Implicit Derivation in Visually Rich Documents

실제 문서 처리 시스템은 경직된 사전 정의 스키마에 의존하지만, 중요한 대상 필드는 페이지에 직접 대응하는 시각적 요소가 없는 경우가 많다. 이러한 암시적 값을 추출하려면 하위 카테고리 집계나 시각적 표시에 대한 추론과 같은 다중 홉 유도가 필요하다. 기존 방법은 명시적 텍스트 스팬이나 단순한 암시적 질의는 처리하지만, 표준 미세조정 후에도 다중 홉 시각적 추론에서는 실패한다. 모델이 잘못된 시각적 증거를 검색하거나, 올바르게 검색한 뒤 유도의 중간 단계를 건너뛴다. 이를 위해 답을 유도하기 전에 시각적 증거를 명시적으로 검색하도록 소형 비전-언어 모델을 학습시키는 미세조정 프레임워크인 DocMIDE를 제안한다. DocMIDE는 생성을 plan-retrieve-derive 구조로 제한하고, 검증된 참조 trace에 대해 출력 형식, 검색된 증거 블록, 모든 중간 유도 단계, 최종 값을 채점하는 4구성요소 규칙 기반 보상 하에서 Group Relative Policy Optimization(GRPO)으로 최적화한다. 4,151쌍 암시적 추출 벤치마크에서 DocMIDE는 소량의 주석 예시만으로 Qwen3.5-4B의 정확도를 70.8%에서 95.9%로 끌어올리며, 두 번째 백본 아키텍처로도 전이된다. 지도 학습 시연만으로는 우리가 시험한 어떤 예산에서도 이 격차를 메우지 못한다. 중간 단계에 보상을 주는 것이 격차를 메운다.

arXiv:2607.00341v2cs.CL

DiscoLoop: Looping Discrete Embeddings and Continuous Hidden States for Multi-hop Reasoning

표준 Transformer의 깊이-국소 저장 문제(depth-local storage problem)와 Looped Transformer의 표현 불일치(representation mismatch) 문제를 분석하고, 이를 해결하기 위해 이산 임베딩 채널과 연속 은닉 상태 채널을 동시에 순환시키는 DiscoLoop 아키텍처를 제안한다. DiscoLoop은 다중 홉 추론(multi-hop reasoning) 태스크에서 기존 Looped Transformer 대비 훨씬 적은 학습 스텝으로 거의 완벽한 정확도를 달성하며, 실제 언어 모델 사전학습에서도 낮은 학습 손실과 향상된 벤치마크 성능을 보인다.

arXiv:2607.22571v1cs.AI

SCAIR: 기업 지식 그래프를 위한 스키마 조건 에이전트 반복 추론

SCAIR: Schema-Conditioned Agentic Iterative Reasoning for Enterprise Knowledge Graphs

지식 그래프 기반 검색-증강 생성(KG-RAG)은 구조화된 기업 지식과의 자연어 상호작용을 가능하게 하지만, 공개 벤치마크에서 우수한 성능을 보이는 기존 에이전트 접근법은 밀집적이고 스키마 중심이며 운영상 제약이 있는 실제 기업 지식 그래프(KG)로 일반화하는 데 자주 실패한다. 이러한 한계를 해결하기 위해, 우리는 스키마 조건 구조적 사전 지식을 주입하고 다중 홉 추론 동안 스키마 인식 탐색을 강제함으로써 구조화된 계획과 제어된 반복 추론을 통합하는 학습 없는 프레임워크인 SCAIR(Schema-Conditioned Agentic Iterative Reasoning)을 제안한다. 실제 구성 관리 데이터베이스(CMDB)로부터 구축된 기업 지향 벤치마크에서의 실험은 SCAIR이 기존 KG-RAG 방법 대비 성능을 크게 향상시킴을 보여준다. 중요하게도, 본 연구는 신뢰할 수 있는 기업 그래프 추론이 범용적인 에이전트 설계에 의존할 수 없으며, 대신 추론 과정에 대상 도메인의 구조적·운영적 제약을 명시적으로 통합해야 함을 강조한다. 우리는 에이전트 설계를 비즈니스 로직에 정렬함으로써 비용이 큰 모델 재학습 없이도 상당한 성능 향상을 달성할 수 있음을 보여준다.

arXiv:2607.22562v1cs.AI

SF-AMS: LLM 에이전트의 구조화된 메모리를 위한 전략적 망각

SF-AMS: Strategic Forgetting for Structured Memory in LLM Agent

장기 컨텍스트 의존성 관리는 LLM 에이전트의 주요 병목으로 남아 있으며, 중복되고 무관한 정보는 다단계 추론을 저하시킬 수 있다. 에이전트 메모리 시스템을 위한 전�ategic Forgetting for Agent Memory Systems, SF-AMS)은 메모리 단위의 장기적 중요도를 모델링하여 간결하고 고유용성(high-utility) 메모리를 유지하는 프레임워크로 제안된다. SF-AMS는 정적 검색과 휴리스틱 감쇠를 사용 빈도 중복성과 시간적 신호로부터 메모리 중요도를 갱신하는 유틸리티 기반 생존 메커니즘으로 대체하며, 이를 통해 안정적이고 엔티티 일관성(entity-consistent) 정보를 우선시하고 노이즈를 걸러내는 계층적 메모리 구조를 형성한다. 이를 바탕으로 복합 중요도 점수(Composite Importance Scoring)는 의미적 및 엔티티 수준 신호를 통합하여 검색의 견고성(robustness)을 향상시킨다. LoCoMo 및 LongMemEval-s에서의 실험은 LightMem, MemO, A-Mem을 포함한 강력한 최신(state-of-the-art) 기준선 대비 일관된 성능 향상을 보여준다. 가장 큰 개선은 Qwen2.5-7B에서의 다중 홉(multi-hop) 추론에서 나타나며, SF-AMS는 가장 강한 기준선 대비 F1 +9.65를 달성한다. 이어 GPT-4o-mini에서의 시간적 추론(temporal reasoning) +6.91 F1, 개방형(open-domain) 태스크 +6.53 F1이 뒤를 이으며, 강력한 백본(backbone) 간 일반화를 보여준다. 이러한 결과는 메모리 중요도를 동적 유틸리티 신호로 모델링하는 것이 신뢰할 수 있는 장기 컨텍스트 추론에 핵심적임을 보여준다.

arXiv:2607.09328v2cs.CL

WILDTRACE: 장문 컨텍스트 추론에서 자연적 증거 흔적 벤치마킹

WildTrace: Benchmarking Natural Evidence Trails in Long-Context Reasoning

긴 문서에서 복잡한 질문에 답하려면, 원문 자체가 멀리 떨어진 구절들에 걸쳐 자연스럽게 분산시킨 증거를 통합해야 하는 경우가 많다. 사고 보고서에서는 재난을 공동으로 설명하는 운영 조건, 설계 결함, 누락된 안전 점검이 수십 개의 섹션에 걸쳐 분산되어 나타날 수 있으며, 소설에서는 등장인물의 진짜 동기가 그것이 연관성을 갖는 순간과는 거리가 먼 장면들을 통해서만 드러날 수 있다. 이러한 원문 내부 증거 통합은 실제 장문서 분석의 핵심이지만, 기존 벤치마크들은 대체로 이를 회피해왔다. 니들 프로브(needle probe), 삽입된 사실(planted facts), 역설계된 다중 홉 체인(multi-hop chain)은 분포, 배치, 또는 어조 면에서 호스트 텍스트와 다를 수 있는 증거를 내장하므로, 높은 성능이 진정한 원문 추론을 반영하는지 아니면 분포적 아티팩트를 반영하는지 불분명하다. 우리는 기술적 사고 보고서 및 잘 알려지지 않은 문학적 서사와 같은 214개의 자연 발생 장문 원문에 걸쳐 481개의 태스크로 구성된 벤치마크인 WILDTRACE를 소개한다. 이 벤치마크에서 모든 증거 흔적은 문서 자체의 인과적·시간적·서사적 논리에서 비롯된다. 펄(Pearl)의 인과 계층 구조와 기존의 다중 홉 추론 유형론을 바탕으로, 장문서에서 분석적 독해의 고유한 관계적 요구를 특징짓는 일곱 가지 원문 내부 증거 기하학(source-internal evidence geometry)을 정의한다. 원문 우선 구성 파이프라인은 질문을 작성하기 전에 문서 구조에서 후보 흔적을 채굴하며, 각 항목은 단서 필요성, 답변 근거성, 루브릭 충실도, 오염 저항성 및 답변 가능성을 다루는 다단계 검증(validation)을 거친다. 모델이 실제 고위험 분석 태스크에 점점 더 많이 활용됨에 따라, 정보 접근과 자연스럽게 분산된 증거에 대한 추론 사이의 이러한 격차가 장문 컨텍스트 연구의 다음 단계를 정의하는 핵심 과제로 부상하고 있다.

arXiv:2607.20510v1cs.AI

Telco-GAIA: 통신 도메인 에이전트를 위한 이중언어 벤치마크

Telco-GAIA: Bilingual Benchmark for Agents in Telecom Domain

우리는 실제 통신 사업자의 데이터를 대상으로 도구 사용 에이전트를 평가하기 위한 이중언어, 멀티모달 벤치마크인 Telco-GAIA를 소개한다. Telco-GAIA는 영어와 아랍어로 구성된 100개의 사람이 검증한 질의응답 태스크로 이루어져 있으며, 각 태스크는 정적 웹사이트 스냅샷(HTML, 이미지, 링크된 PDF), 합성 관계형 SQL 데이터베이스, 외부 웹 아카이브라는 세 가지 이질적 소스에 걸친 다중 홉 추론(평균 4.2 홉)을 요구하고, 텍스트, 이미지, 표 형식 모달리티를 포괘한다. 이 벤치마크는 샌드박스 Docker 환경으로 제공되며, 정규화된 정확 문자열 매칭으로 채점되어 LLM-as-a-judge 없이도 평가가 객관적이고 결정적이며 시간에 따라 재현 가능하다. 12개의 상용 및 오픈 LLM에 대해 목적에 맞게 구축된 참조 에이전트를 평가한 결과 Telco-GAIA가 도전적임을 확인했다. 가장 강력한 모델도 태스크의 71%만 해결하며, 중간 수준의 비용 예산에서는 약 40%로 떨어진다. 시각적 그라운딩 카테고리는 여전히 가장 약한 영역으로, 평균 백엔드 점수가 30% 미만이어서 문서 및 이미지 이해에 상당한 여지가 남아 있다. Telco-GAIA는 엔터프라이즈 에이전트를 위한 엄격하고 재현 가능한 테스트베드이며, 폐쇄 도메인 벤치마크 구축을 위한 템플릿을 제공한다.

arXiv:2607.19359v1cs.AI

LLM 에이전트를 위한 Profile-Graph Memory: 서사적 프로필을 통한 엔티티 간 암묵적 순회

Profile-Graph Memory for LLM Agents: Implicit Cross-Entity Traversal through Narrative Profiles

세션 간 상호작용하는 LLM 에이전트에게 장기 메모리는 필수적이지만, 현재 메모리 벤치마크는 주로 단일 홉(single-hop) 회상을 평가하여 다중 홉(multi-hop) 연관은 대부분 측정되지 않는다. 우리는 세 가지 기여를 한다. 첫째, MemHop을 제안한다. 이는 10개 소셜 네트워크 시나리오에 걸쳐 홉 깊이 1–5에서 1,000개의 질문으로 구성된 다중 홉 메모리 벤치마크이며, 홉별 증거 주석을 포함한다. 둘째, Profile-Graph Memory(ProGraph)를 제시한다. 이는 (i) 프로필 확장(profile expansion)—LLM이 작성한 프로필 서사에 자연스럽게 나타나는 엔티티 이름의 부분 문자열 매칭 순회로, 명시적 지식 그래프 구축의 최소 대안—과 (ii) 압축 잔차(compression residuals)—추가 API 비용 없이 각 프로필 업데이트와 함께 공동 추출되는 정확한 날짜, 수량, 명명된 항목—을 결합한 2층 메모리 아키텍처이다. 셋째, 전체 그리드 ablation은 벤치마크 간 메커니즘 특화를 보여준다: 프로필 확장은 다중 홉 추론을 주도하며(제거 시 MemHop에서 -22.6pp), 압축 잔차는 정밀도와 재현율을 주도한다(공동 추출하지 않을 때 LoCoMo에서 -8.6pp), 단일 아키텍처 내 교차 효과는 3pp 미만이다. ProGraph는 MemHop에서 평균 80.1%(FullContext 기준선과 동일)를, LoCoMo에서 78.4%(FullContext 대비 11.3pp 초과)를 기록하며, 두 벤치마크 모두에서 Mem0, A-Mem, HippoRAG, RAG를 능가한다. MemHop, ProGraph, 및 기준선 구현을 공개한다.

arXiv:2607.14886v1cs.AI

시간적 지식 그래프 추론에서 효율적 목표 지향 경로 탐험을 위한 도달 가능성 인식 사전학습

Reachability-Aware Pretraining for Efficient Target-Oriented Path Exploration in Temporal Knowledge Graph Reasoning

외삽(extrapolation) 설정 하에서의 시간적 지식 그래프(TKG) 추론은 시간적 지식 그래프의 역사적 데이터로부터 미래의 시간 스탬프 이벤트(사실)를 예측하는 것에 초점을 맞춘다. 기존 접근 방식 중 강화학습(RL) 기반 다중 홉(multi-hop) 추론 방법은 명시적인 다중 홉 경로 추적을 통해 사람이 해석 가능한 예측을 생성하기 때문에 TKG 추론에서 두드러진다. 그러나 RL 학습 중 보상은 보통 희소하고, 방대하고 시간에 따라 변화하는 행동 공간(action space)으로 인해 탐험이 매우 비효율적이다. 이러한 문제는 효율적인 학습을 저해하고 종종 전반적인 성능을 제한한다. 이러한 과제를 해결하기 위해, 우리는 에이전트에 도달 가능성 인식(reachability-aware) 귀납적 바이어스(inductive bias)를 주입하는 자기지도 사전학습 방법인 RAPTOR(Reachability-Aware Pretraining for Efficient Target-Oriented Path Exploration)를 제안한다. 후보 행동이 목표 엔티티에 도달 가능한지 추정하도록 학습함으로써, RAPTOR는 유망하지 않은 경로에 대한 탐험을 줄이고 하류 RL 미세조정을 위한 강력한 초기화를 제공한다. ICEWS14, ICEWS05-15, ICEWS18 데이터셋에서의 실험 결과는 RAPTOR 사전학습이 학습 효율을 현저히 향상시키고 기존 베이스라인을 일관되게 능가함을 보여주며, TKG 추론을 위한 RL 기반 다중 홉 추론 방법을 강화하는 효과적인 접근법임을 입증한다.

arXiv:2607.14149v1cs.AI

지식 그래프 그라운딩을 통한 소형 언어 모델 추론 능력 향상

Enhancing Small Language Models Reasoning through Knowledge Graph Grounding

대규모 언어 모델(LLM)은 제로샷(zero-shot) 추론에서 벤치마크를 세웠지만, 배포 비용이 과도하고 환경 부담도 큽니다. 소형 언어 모델(SLM)은 지속 가능한 대안이지만, 복잡한 다중 홉(multi-hop) 논리적 그라운딩(grounding)이 요구되는 과제에서는 오류에 취약합니다. 우리는 CLUTRR kinship 벤치마크를 사용하여 Gemma 3 (1B, 4B) 및 Llama 3.2 (3B)와 같은 SLM의 추론 능력을 향상시키기 위한 뉴로-심볼릭(neuro-symbolic) 에이전트 프레임워크를 조사합니다. 우리 접근법은 SLM을 두 가지 특화된 도구 호출을 활용하는 미니멀리스트 에이전트로 변환합니다: extract_facts는 심볼릭 triplet 추출용이고, get_hint는 Relational Graph Convolutional Network(RGCN)를 통한 전문가 추론용입니다. 우리는 정답 triplet을 사용하는 Oracle 시나리오와 자체 추출 지식에 의존하는 Realistic 시나리오라는 두 가지 구성에서 이 모델들을 평가합니다. 결과는 RGCN 파생 힌트가 스토리만 사용하는 baseline 대비 1.5~2배 성능 향상을 제공하지만, 시스템이 추출 병목(extraction bottleneck)과 순차적 연역적 취약성(sequential deductive fragility)에 의해 제약받으며, 초기 추출 오류가 다중 홉 체인 전체에서 누적된다는 것을 보여줍니다. 또한 우리는 특정 아키텍처에서 전문가 힌트가 존재함에도 불구하고 노이즈가 있는 자체 생성 사실이 성능을 저하시키는 "distraction effect"를 확인합니다. 본 연구는 저자원 에이전트 시스템에서 심볼릭 그라운딩의 과제를 규명하고, 뉴로-심볼릭 에이전트 파이프라인에서 반복적 검증을 위한 로드맵을 제시합니다.

arXiv:2607.12267v1cs.LG

추적, 순위화, 해결: 인식론적 작업 기억이 언어 에이전트의 다중 홉 추론을 확장한다

Track, Rank, Crack: Epistemic Working Memory Scales Multi-Hop Reasoning in Language Agents

추론과 도구 사용을 번갈아 수행하는 언어 에이전트는 각 개별 단계가 쉬운데도 추론 체인이 길어질수록 성능이 급격히 저하된다. 이를 컨텍스트 희석(context dilution)으로 귀인한다. 에이전트의 조사 상태(확인한 내용, 의심하는 내용, 아직 필요한 내용)가 점점 커지는 컨텍스트 윈도우에 암묵적으로만 존재하며, 초기 발견이 이후 검색 결과 아래에 묻혀 버리기 때문이다. 우리는 SLEUTH를 제안한다. 이는 구조화된 인식론적 작업 기억(epistemic working memory)을 통해 이 상태를 명시적이고 실행 가능하게 만든다. 에이전트는 출처에 그라운딩된 확인된 사실(Confirmed Facts), 증거에 따라 순위가 매겨진 활성 가설(Active Hypotheses), 다음 행동을 직접 이끄는 미해결 질문(Open Questions)을 유지한다. 5개의 다중 홉 벤치마크와 5개의 기존 베이스라인에 걸쳐, SLEUTH의 이점은 난이도가 높아질수록 커져 HotpotQA에서 +5점, 4-hop 체인에서 +11점에 이르며, 여러 에피소드 없이 Reflexion을 능가한다. 남은 격차가 어디에 있는지 분석한 결과, 증거 충분성 문제(evidence sufficiency problem)를 확인했다. 에이전트는 종종 답을 찾지만 확정(commit)하지 못하고, 불필요한 검증에 예산을 소진한다. 경량 확정 트리거가 이를 해결하지만, 에이전트가 이미 구조화된 상태를 유지할 때에만 효과가 있다. 동일한 트리거를 비구조화 에이전트에 적용하면 개선이 없어, 조직화된 인식론적 상태가 효과적인 확정의 필요 조건임을 분리해 보여준다. 마지막으로, 더 약한 모델에 프로토콜 준수를 강제하면 가장 어려운 문제에서 최대 +19점까지 회복되며, 다중 홉 추론을 확장하는 핵심 요소는 원시 모델 역량이 아니라 에이전트가 추론을 조직하는 방식임을 보여준다.

arXiv:2607.10562v1cs.AI

CRiT-QA: 반사실적 체인과 디스트랙터 트랩을 활용한 다단계 추론 평가

CRiT-QA: Evaluating Multi-hop Reasoning with Counterfactual Chains and Distractor Traps

대규모 언어 모델(LLM)의 다단계 추론 능력을 평가하는 것은 여전히 중요한 과제로 남아 있다. 현재 모델들이 기존 다단계 질의응답 데이터셋에서 높은 성능을 달성하고 있음에도 불구하고, 이러한 성능은 두 가지 핵심적인 취약점을 가리는 경우가 많다: (1) 제공된 컨텍스트를 따르지 않고 내부 파라메트릭 지식에 의존하는 문제, (2) 단일 문서 단서나 유형 매칭과 같은 데이터셋 단축키를 활용(exploitation)하여 다수의 문서에 걸친 실질적인 증거 집계의 필요성을 줄이는 문제. 우리는 이 두 가지 한계를 모두 해결하기 위해 명시적으로 설계된 데이터셋인 CRiT-QA(Counterfactual Reasoning with Traps)를 제안한다. 기억된 지식에 대한 의존을 무력화하고 엄격한 컨텍스트 의존성을 강제하기 위해, CRiT-QA는 사실적 추론 체인을 반사실적(counterfactual) 개체로 변환한다. 나아가, 서로 다른 추론 단계에서 분기하는 그럴듯하지만 잘못된 추론 경로인 다중 앵커 디스트랙터 체인을 주입한다. 이러한 트랩은 모델이 얕은 휴리스틱을 활용하는 대신 전체 추론 과정을 따르도록 요구한다. 실험 결과, LLM은 표준 데이터셋에 비해 CRiT-QA에서 상당한 성능 저하를 보이며, 반사실적 조건과 디스트랙터 트랩에 대한 취약성이 드러났다. 따라서 CRiT-QA는 진정한 다단계 추론을 평가하는 엄밀한 진단 도구로서 기능하며, 더욱 신뢰할 수 있는 증거 기반 LLM 개발을 위한 토대를 제공한다.

arXiv:2607.10463v1cs.AI

GRASP: 에이전틱 RAG를 위한 세분성 인식 검색 정책

GRASP: GRanularity-Aware Search Policy for Agentic RAG

에이전틱 검색-증강 생성(RAG)은 언어 모델이 반복적으로 추론하고, 검색 쿼리를 생성하며, 증거를 검색하고, 답변을 예측할 수 있도록 함으로써 정적 RAG를 확장한다. 그러나 언제 검색할지, 어휘적 매칭과 의미적 유사도 중 무엇을 사용할지, 그리고 관련 없는 토큰이 에이전트 추론을 방해하지 않도록 컨텍스트 세분성을 어떻게 제어할지를 결정하는 것은 여전히 어려운 과제로 남아 있다. 본 논문에서는 다단계 추론 과정에서 상보적인 검색 도구를 적응적으로 조율하도록 에이전트를 학습시키기 위한 강화학습(RL) 프레임워크인 GRASP를 소개한다. GRASP는 에이전트에게 의미적 검색, 키워드 검색, 단락 읽기 행동을 제공하여 문장 수준의 증거를 검색하고 필요할 때만 추가 컨텍스트를 확장할 수 있도록 한다. 우리는 답변 정확도, 근거 기반 읽기, 상보적 검색, 턴 효율성을 공동으로 고려하는 보상으로 정책을 학습한다. 멀티홉 추론 벤치마크에서의 실험은 GRASP가 단일 단계 검색, 프롬프팅 기반 에이전틱 RAG, 강화학습 기반 검색 기준선과 비교하여 검색 재현율과 다운스트림 질의응답 성능 모두를 향상시킴을 보여준다. 정성적 분석 및 절제 분석은 학습된 정책이 해석 가능한 훑어보기(skimming)와 세밀히 읽기(scanning) 행동을 발전시킴을 보여준다: 광범위한 탐험에는 의미적 검색을, 국소적 검증에는 단락 읽기를, 개체 특정 증거에는 키워드 검색을 사용한다. 이러한 결과는 검색 신호와 컨텍스트 세분성을 조율하는 방법을 학습하는 것이 에이전트의 올바른 추론에 핵심적임을 시사한다.

arXiv:2607.09678v1cs.AI

Faithful, Not Corrective: Message-Format Effects in Multi-Hop Agent Relays Are Tier-Dependent

When LLM agents hand off information to one another, does the message format matter? Two literatures disagree: format-optimization work reports that structured messages cut cost without hurting accuracy, while format-restriction work finds that imposing structure degrades generation -- and neither measures what happens when a message traverses multiple hops, where copy fidelity, not one-shot generation, dominates. We introduce a controlled relay testbed: briefs of twelve programmatically generated atomic facts are re-encoded hop-by-hop in five formats (free NL, precision-instructed NL, JSON, triples, key-value) over six hops, scored by a fixed strong grader against programmatic ground truth, across two relay-capability tiers, a cognitive-load condition, and a paired-fork error injection. We find that message-format effects are tier-dependent. (i) Under faithful-relay instructions a strong relay is nearly lossless -- the documented "telephone-game" collapse does not occur -- and adding per-hop cognitive load leaves format-level fidelity unchanged (within +/-1.8 points) while raising generation cost by 24-53%. (ii) Under a weak (1.5B) relay the across-format spread of six-hop recall grows by a factor of 8.7 (from 2.3 to 20.5 points), driven by two opposing mechanisms -- an encoding toll paid by the rigid formats and drift resistance specific to the fixed-key JSON schema -- that flip the format ranking in transit. (iii) In a paired-fork injection, an injected wrong value, once present, persists to the final hop in 83-100% of chains in every format, closely matching each format's retention of the true value, with no detectable collateral damage to neighboring facts. Structure buys a faithful, error-localizing channel -- not an error-correcting code -- and format choice should follow the weakest relay in the pipeline.

arXiv:2607.06527v1cs.CL

RSF-GLLM: 순환 소프트-플로우와 분리된 LLM 생성을 통한 멀티홉 지식 그래프 QA의 의미론적 간극 해소

RSF-GLLM: Bridging the Semantic Gap in Multi-Hop Knowledge Graph QA via Recurrent Soft-Flow and Decoupled LLM Generation

RSF-GLLM은 지식 그래프 기반 멀티홉 질의응답에서 중간 노드와 쿼리 간 어휘적 중복이 없는 의미론적 간극 문제를 해결하기 위해, GRU 기반 쿼리 업데이터와 동적 게이팅 메커니즘을 활용한 순환 소프트-플로우(RSF) 모듈로 미분 가능한 그래프 추론을 수행하고 추출된 경로로 LLM을 파인튜닝하는 분리형 프레임워크다. WebQSP와 CWQ 벤치마크 실험에서 기존 LLM 기반 에이전트 방식 대비 월등히 향상된 추론 효율성으로 경쟁력 있는 성능을 달성했다.

arXiv:2607.06507v1cs.CL

DynaKRAG: 다중 홉 검색-증강 생성에서 학습 가능한 증거 제어를 위한 통합 프레임워크

DynaKRAG: A Unified Framework for Learnable Evidence Control in Multi-Hop Retrieval-Augmented Generation

DynaKRAG는 다중 홉 RAG에서 반복 검색, 질의 재구성, 브리지 엔티티 확장, 충분성 판단 등 이질적인 증거 연산을 통합된 상태 조건부 프레임워크로 정식화하며, 유효성 레이어가 실행 가능한 액션 집합을 구성하고 학습된 컨트롤러가 최적 연산을 선택한다. Qwen2.5-7B-Instruct 기반으로 HotpotQA, 2WikiMultiHopQA, MuSiQue 세 벤치마크에서 모든 기준선을 능가하며, 학습된 컨트롤러 제거 시 F1이 최대 5.78 포인트 하락해 상태 조건부 제어 정책 학습의 효과를 입증한다.

arXiv:2607.05943v1cs.AI

SearchEyes: 검색 세계 시뮬레이션을 통한 프런티어 멀티모달 심층 검색 지능을 향하여

SearchEyes: Towards Frontier Multimodal Deep Search Intelligence via Search World Simulation

멀티모달 검색 에이전트의 다중 홉 추론 학습에서 학습 데이터·검색 환경·보상 신호가 독립적으로 구성되는 구조적 단절 문제를 해결하기 위해, SearchEyes는 Wikidata5M 기반 타입화된 지식 그래프를 통합 백본으로 삼아 Perception-Knowledge Chains(PKC)로 단계별 보상 앵커가 포함된 학습 데이터를 합성하고 Hop-Anchored Policy Optimization(HaPO)으로 별도의 프로세스 보상 모델 없이 단계별 크레딧을 할당한다. SearchEyes-27B는 6개의 멀티모달 지식 집약적 벤치마크에서 오픈소스 최강 기준선 대비 평균 6.2점 향상을 달성하며 최고 성능을 기록했다.

arXiv:2607.03929v1cs.CL

프롬프트 말고 프로브: Multi-Meta-RAG 메타데이터 필터링을 위한 은닉 상태 프로브

Probe, Don't Prompt: A Hidden-State Probe for Metadata Filtering in Multi-Meta-RAG

Multi-Meta-RAG는 각 쿼리에서 gpt-3.5-turbo를 프롬프트하여 메타데이터(뉴스 출처)를 추출한 뒤 벡터 스토어를 필터링함으로써 다중 홉 질의응답의 검색 성능을 향상시킨다. 본 연구에서는 이 독점적·자유 형식 추출기를 소규모 오픈소스 언어 모델의 은닉 상태로 학습된 로컬·결정론적 프로브로 대체할 수 있음을 보인다. 전체 2556개의 MultiHop-RAG 쿼리에 대해 프로브는 집합 정확 일치(set-exact accuracy) 기준 90.9%에 도달하였으며, 이는 모델 없는 부분문자열 기준선의 88.0%, GPT-3.5의 80.9%를 상회하는 수치이다. 이 마진은 전적으로 null 쿼리에서 비롯되는데, GPT-3.5는 null 쿼리에서 단 한 번도 기권(abstain)하지 않는 반면, non-null 쿼리에서는 세 방법 모두 약 1점 이내의 차이를 보인다. 프로브의 출력 공간이 고정된 49개 출처 어휘로 엄격히 제한되므로, 프롬프트 기반 모델과 달리 허용 목록 밖으로 벗어나는 드리프트가 발생하지 않는다. 이를 가능하게 하는 세 가지 설계 선택은 얕은 층 선택, 평균 풀링, 그리고 출처의 긴 꼬리 분포를 고려한 클래스 불균형 인식 다중 레이블 학습이다. 1.35억 매개변수 모델이 15억 매개변수 모델 대비 약 1.5점 이내의 성능을 달성하므로, 이 필터는 API 없이 처음 몇 개 층의 부분 순전파와 단일 선형 헤드만으로 저비용 출력이 가능하다. 코드는 https://github.com/mxpoliakov/Multi-Meta-RAG에서 이용할 수 있다.