저장된 사실은 사용자가 선호도를 변경하거나 새로운 사건이 이전 사건을 대체할 때 유효하지 않게 될 수 있습니다. 본 연구에서는 언어 모델이 파라미터 내에서 이러한 변화를 학습하고, 질문과 현재 시간만으로 올바르게 답할 수 있는지를 조사합니다. 엔그램 주입(Engram Injection)은 사실을 LoRA 어댑터에 저장하며, 동결된 Qwen2.5-3B-Instruct 모델에 FiLM 조건화를 통해 시계 정보를 제공합니다. 이를 가산적 시계 조건화, 날짜가 포함된 전체 기록을 활용한 프롬프팅, 날짜가 포함된 네 개의 기록을 검색하는 방식과 비교합니다. 테스트 대상 시점의 예제가 학습에 포함될 수 있었던 샘플러를 수정한 후, 세 가지 시드에 걸쳐 일치하는 6개의 어댑터를 학습시킵니다. 학습 감사 결과, 평가된 127,760개의 학습 입력 중 이러한 예제는 없었던 것으로 보고되었습니다. 업데이트 전후로 질문된 62쌍의 질문에 대해, 학습에서 제외된 7일 경과 시점에서 순서 코드 1을 고정한 주요 블라인드 어시스턴트 평가 결과 두 어댑터 방식 모두 0쌍을 맞혔습니다. 전체 기록 프롬프팅은 62쌍 중 59쌍을 올바르게 맞혔고, 검색 방식은 62쌍 중 62쌍을 맞혔습니다. 별도의 실험을 통해 어댑터가 사실을 저장할 수 있으며 탈착 가능한 메모리 유닛이 국소적 삭제를 지원할 수 있음을 보여줍니다. 사실 선택과 시간 기반 버전 선택을 결합하는 것은 여전히 실패 상태로 남아 있습니다. 이러한 결과는 사실을 학습하는 것과 이를 언제 사용해야 하는지 학습하는 것을 분리합니다.
LoRA 기반 외부 파라메트릭 메모리(EPM)의 제로샷 라우팅을 위해, 기존 방법들의 평가 분산 및 라우팅 신호 비일관성 문제를 해결하는 Parametric Memory Decoding(PMD) 프레임워크와 PMD-Bench 벤치마크를 제안한다. PMD를 기반으로 구현된 PMDRouter는 단일 베이스 모델 프리필의 응답 크기(magnitude)로 각 LoRA를 채점하며, PMD-Bench 실험에서 Task-LoRA 기준 최대 63.8점 향상을 달성하는 등 다수의 제로샷 라우팅 설정에서 최강 내부 신호 성능을 보였다.
긴 입력 시퀀스는 대규모 언어 모델(LLM)에서 문서 이해와 다단계 추론의 핵심이지만, 어텐션의 이차적 비용으로 인해 추론이 메모리 집약적이고 느려집니다. 컨텍스트 증류는 문맥 정보를 모델 파라미터로 압축하여 이 문제를 완화하며, Doc-to-LoRA와 같은 최근 연구는 문서별로 하나의 LoRA 어댑터를 생성하는 단일 순전파로 컨텍스트 증류를 상각합니다. 그러나 모든 쿼리에 대해 단일 통합 어댑터를 생성하는 것은 무관한 쿼리 간섭, 제한된 구성적 재현율, 그리고 장문 문서 추론에 대한 낮은 확장성을 초래합니다. 이러한 문제를 해결하기 위해 우리는 각 문서를 의미적으로 유형화된 지식 원자로 분해하는 구성적 파라메트릭 메모리 프레임워크인 Doc-to-Atom (Doc2Atom)을 제안합니다. 각 원자는 독립적인 마이크로 LoRA 어댑터와 출처 검색 키로 컴파일됩니다. 추론 시 경량 쿼리 라우터는 관련 원자만 선택하여 쿼리 특화 어댑터로 조립한 다음, 이를 동결된 기본 모델에 주입합니다. 전체 시스템은 다목적 증류 프레임워크를 통해 엔드 투 엔드로 학습됩니다. 6가지 다양한 QA 벤치마크에 대한 실험에서 Doc2Atom은 문서 내면화의 메모리 비용을 줄이면서 Doc-to-LoRA 기준선을 능가하는 것으로 나타났습니다.