PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2601.08160v2cs.CL

SwiftMem: 쿼리 인식 인덱싱을 통한 빠른 에이전트 메모리

SwiftMem: Fast Agentic Memory via Query-aware Indexing

에이전트형 메모리 시스템은 LLM 에이전트가 장기 문맥을 유지하고 관련 정보를 효율적으로 검색할 수 있게 하는 데 핵심적이 되었다. 그러나 기존 메모리 프레임워크는 저장 층이 HNSW와 같은 효율적인 벡터 인덱스로 뒷받침되는 경우에도 전체 메모리 임베딩 공간에 대해 쿼리와 무관한(query-agnostic) 검색을 수행하는 경우가 많다. 이 전체 범위 검색 경로는 메모리가 커질수록 지연 병목을 만들어 실시간 에이전트 상호작용을 방해한다. 우리는 SwiftMem을 제안한다. 이는 시간적 및 의미적 차원에 대한 특화 인덱싱을 통해 검색 범위를 쿼리 관련 메모리 부분집합으로 좁히는 쿼리 인식 에이전트형 메모리 시스템이다. 우리의 시간적 인덱스는 시간에 민감한 검색을 위한 로그 시간 범위 쿼리를 가능하게 하며, 의미적 DAG-Tag 인덱스는 계층적 태그 구조를 통해 쿼리를 관련 주제에 매핑한다. 성장 과정에서의 메모리 단편화를 해결하기 위해, 우리는 의미적 클러스터를 기반으로 저장소를 재구성하여 지역성을 개선하는 임베딩-태그 공동 통합(co-consolidation) 메커니즘을 도입한다. LoCoMo와 LongMemEval$_S$에서 SwiftMem은 강력한 HNSW 기반 메모리 시스템 대비 경쟁력 있는 LLM-judge 정확도를 유지하면서 10.8/12.7 ms 검색 지연 시간을 달성한다. 보정된 벤치마크인 LoCoMo Refined에서 SwiftMem은 최상위 LLM-judge 점수에 근접한 수준을 유지하면서 한 자릿수(order-of-magnitude) 지연 시간 우위를 보존한다.

arXiv:2603.08001v3cs.LG

학습된 지원 함수를 통한 최대 내적 탐색(MIPS)의 상각

Amortized Maximum Inner Product Search with Learned Support Functions

최대 내적 탐색(MIPS)은 머신러닝에서 중요한 서브루틴으로, 주어진 쿼리와 가장 잘 정렬되는 데이터베이스(키) 내의 벡터를 식별해야 합니다. 본 논문에서는 상각 MIPS(amortized MIPS)를 제안합니다. 이는 고정된 키 데이터베이스에 대한 알려진 분포에서 추출된 쿼리에 대해 MIPS를 반복적으로 해결하는 비용을 상각하기 위해, 신경망을 학습시켜 MIPS 해를 직접 예측하는 회귀 기반 접근법입니다. 우리의 핵심 통찰은 MIPS 가치 함수가 키 집합의 지원 함수(support function)라는 점입니다. 이는 잘 연구된 볼록 함수로, 그 그래디언트가 최적의 키를 도출합니다. 이는 두 가지 상호 보완적인 상각 모델을 동기합니다: 지원 함수를 회귀하도록 학습된 입력 볼록 신경망인 SupportNet과 최적의 키를 직접 회귀하는 벡터값 신경망인 KeyNet입니다. SupportNet은 쿼리를 관련 데이터베이스 파티션으로 유도하는 클러스터 라우터로 사용될 수 있으며, KeyNet은 기존 쿼리에 대한 대체 가능한 구성 요소로 사용되어 기성 색인 파이프라인에 직접 입력될 수 있습니다. BEIR 벤치마크에 대한 우리의 실험은, 문서 임베딩의 경우, 학습된 SupportNet과 KeyNet이 FLOPs, 프로브(probe) 수, 또는 실제 경과 시간 중 무엇으로 측정하든 계산 비용을 고려할 때 IVF 일치율을 크게 향상시킴을 보여줍니다. 우리의 코드는 https://github.com/apple/ml-amips에서 확인할 수 있습니다.