조회에서 교훈으로: 검색된 지식을 파라미터 메모리로 전환하기
From Lookups to Lessons: Turning Retrieved Knowledge into Parametric Memory
한국어 초록
검색 증강 생성(RAG)은 대규모 언어 모델(LLM)이 학습 데이터 범위를 넘어선 사실적 질문에 답하도록 돕지만, 저장 비용과 추론 비용이 추가된다. 이전에 검색된 정보를 파라미터 메모리로 증류하면 온라인 검색 없이 이를 재사용할 수 있다. 그러나 메모리가 검색기를 모방하도록 학습시키면 독립적으로 정확한 예측에 보상이 주어지는데, 이러한 예측이 LLM의 기존 예측과 결합될 때 최종 출력 품질을 반드시 향상시키지는 않는다. 이를 해결하기 위해 본 논문은 LLM이 검색된 텍스트를 오프라인으로 읽어 교사 타깃을 생성하는 ResMem을 제안한다. 이 설계는 k-최근접 이웃(kNN) 데이터스토어에 의존하는 MLP Memory와 같은 기존 파라미터 메모리 접근법과 달리 방대한 토큰 표현을 저장하지 않아도 된다. 더 나아가 LLM을 입력과 함께 특권적 검색 증거를 읽는 오프라인 교사로 활용하여, 파라미터 메모리가 가산적 로짓 잔차를 학습하도록 훈련한다. 이 잔차는 동일한 백본을 공유하는 학생의 예측을 교사 분포에 정렬하며, 자기 증류 갱신은 파라미터 메모리에만 국한된다. Wikipedia 부분집합에서 ResMem은 평가된 kNN 파이프라인 대비 교사 구성을 위해 유지되는 저장 공간을 94.7% 줄인다. 다섯 개의 질의응답 데이터셋에 걸쳐 ResMem은 평균 토큰 F1을 고정된 LLM의 32.83%에서 34.48%로 높인다. 또한 kNN으로 학습한 메모리보다 LLM의 정답을 훼손하는 경우가 21% 적다. 이러한 결과는 검색을 학습 자원으로 간주하고, 검색된 지식이 모델의 향후 예측에 활용되는 방식에 따라 파라미터 메모리를 형성한다는 본 연구의 동기를 뒷받침한다. 코드와 모델 가중치는 https://github.com/SSRand/From-Lookups-to-Lessons 및 https://huggingface.co/RandHan/ResMem-Mistral-7B-v0.3 에서 확인할 수 있다.
원문 초록
Retrieval-augmented generation (RAG) helps large language models (LLMs) answer factual questions beyond their training data, but it adds storage and inference costs. Distilling previously retrieved information into parametric memories enables reuse without online retrieval. However, training the memory to mimic a retriever rewards accurate independent predictions, which do not necessarily improve the final output quality when combined with the LLM's existing predictions. To address this, we introduce ResMem, in which the LLM reads retrieved text offline to generate teacher targets. This design avoids storing massive token representations, unlike existing parametric memory approaches such as MLP Memory, which relies on k-nearest neighbor (kNN) datastores. Furthermore, by using the LLM as an offline teacher that reads privileged retrieved evidence alongside the input, we train a parametric memory to learn an additive logit residual. This residual aligns the predictions of a student sharing the same backbone with the teacher distribution, while self-distillation updates remain confined to the parametric memory. On a Wikipedia subset, ResMem reduces the storage retained for teacher construction by 94.7% compared with the evaluated kNN pipeline. Across five question answering datasets, ResMem raises mean token F1 from 32.83% for the frozen LLM to 34.48%. It also breaks 21% fewer of the LLM's correct answers than a kNN-trained memory. These findings validate our motivation of treating retrieval as a learning resource, with parametric memory shaped by how retrieved knowledge is used to inform the model's future predictions. Code and model weights are available at https://github.com/SSRand/From-Lookups-to-Lessons and https://huggingface.co/RandHan/ResMem-Mistral-7B-v0.3.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.00450v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.