PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.28349v1cs.IR

HMARS: A Hierarchical Multi-Agent Memory System for Long-Context Reasoning

Long-context reasoning requires models to access, retrieve, and integrate evidence scattered across documents, dialogues, and accumulated interaction histories. Standard retrieval-augmented generation reduces this problem to top-$K$ chunk retrieval, but such passive access can discard relevant evidence before reasoning begins, especially when relevance depends on broader context. We propose HMARS, a hierarchical multi-agent memory system that treats long contexts as managed memory rather than a flat retrieval corpus. Sub-agents maintain grounded access to bounded memory regions, mid-agents manage regional context and provide query-specific coordination, and a frontier model performs final reasoning over retrieved evidence pages. To evaluate this view, we construct two diagnostic benchmarks targeting evidence breadth and context-dependent relevance. Across long-document and multi-turn memory tasks, HMARS achieves the best overall performance against retrieval, reranking, full-context, graph-based, and agentic long-context baselines. Evidence coverage analysis further shows that its gains come from retrieving the required supporting evidence more completely, rather than merely changing the final answer prompt.

arXiv:2606.18520v1stat.ML

계층 구조의 압축된 기하학적 표현

Compact Geometric Representations of Hierarchies

데이터의 기하학적 표현을 계산하는 것은 현대 머신러닝의 핵심 요소로, 일반적으로 쿼리와 문서를 공유 임베딩 공간으로 매핑하는 듀얼 인코더를 학습시켜 달성됩니다. You et al. [NeurIPS '25]의 최근 연구는 이 접근 방식을 계층적 검색으로 확장했는데, 여기서 관련성은 방향성 비순환 그래프(DAG) 내의 조상-자손 관계에 의해 결정됩니다. 이전 연구는 자손의 수가 적을 때 유효한 임베딩이 존재함을 보였지만, 깊은 계층 구조에서는 이러한 경계가 크게 악화되어 전체 노드 수만큼 큰 차원이 필요합니다. 본 논문에서는 더 일반적인 그래프 클래스에 대한 압축된 도달 가능성 임베딩을 조사하고, 그래프 구조 매개변수에 의존하는 차원을 가진 임베딩을 사용하여 계층 구조를 표현하기 위한 이론적 보장을 제공합니다. 우리는 모든 방향성 트리에 대해 트리의 크기나 깊이와 무관하게 차원 3의 도달 가능성 임베딩이 존재함을 증명합니다. 우리는 이 결과를 트리 너비(treewidth) $t$로 특징지어지는 그래프로 일반화하여, $n$이 노드의 수일 때 차원 $O(t \log n)$의 임베딩을 구성합니다. 이러한 상한(upper bounds)을 보완하여, 일반적인 DAG에는 차원 $\Omega(n)$이 필요하고 트리 너비 $t$를 가진 그래프에는 $\Omega(t/\log(n/t))$가 요구됨을 보여주는 일치하거나 거의 일치하는 하한(lower bounds)을 제공합니다. 또한 DAG 내의 교차 엣지(cross-edges) 수에 따라 매개변수화된 상한과 하한도 도출합니다. 또한 우리의 임베딩이 실제 데이터셋에서 구성될 수 있음을 보이며, 이론적 보장이 있는 기존 임베딩과 비교할 때 높은 재현율(high recall) 영역에서 훨씬 더 작은 차원을 제공함을 보여줍니다.

arXiv:2606.18381v1cs.CL

SproutRAG: 긴 문서 RAG를 위한 점진적 임베딩 기반 어텐션 유도 트리 탐색

SproutRAG: Attention-Guided Tree Search with Progressive Embeddings for Long-Document RAG

SproutRAG는 학습된 문장 간 어텐션으로 이진 청킹 트리를 구성해 문장 수준부터 다중 입도로 검색할 수 있는 계층적 RAG(검색-증강 생성) 프레임워크로, 추가 LLM 호출이나 손실 요약 없이 문맥 일관성과 검색 정밀도를 함께 확보한다. 과학·법률·오픈 도메인 4개 벤치마크에서 최강 baseline 대비 정보 효율성(IE)을 평균 6.1% 향상했다.