PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.12400v1cs.CL

Doc-to-Atom: 메모리 원자를 컴파일하고 구성하는 법 학습하기

Doc-to-Atom: Learning to Compile and Compose Memory Atoms

긴 입력 시퀀스는 대규모 언어 모델(LLM)에서 문서 이해와 다단계 추론의 핵심이지만, 어텐션의 이차적 비용으로 인해 추론이 메모리 집약적이고 느려집니다. 컨텍스트 증류는 문맥 정보를 모델 파라미터로 압축하여 이 문제를 완화하며, Doc-to-LoRA와 같은 최근 연구는 문서별로 하나의 LoRA 어댑터를 생성하는 단일 순전파로 컨텍스트 증류를 상각합니다. 그러나 모든 쿼리에 대해 단일 통합 어댑터를 생성하는 것은 무관한 쿼리 간섭, 제한된 구성적 재현율, 그리고 장문 문서 추론에 대한 낮은 확장성을 초래합니다. 이러한 문제를 해결하기 위해 우리는 각 문서를 의미적으로 유형화된 지식 원자로 분해하는 구성적 파라메트릭 메모리 프레임워크인 Doc-to-Atom (Doc2Atom)을 제안합니다. 각 원자는 독립적인 마이크로 LoRA 어댑터와 출처 검색 키로 컴파일됩니다. 추론 시 경량 쿼리 라우터는 관련 원자만 선택하여 쿼리 특화 어댑터로 조립한 다음, 이를 동결된 기본 모델에 주입합니다. 전체 시스템은 다목적 증류 프레임워크를 통해 엔드 투 엔드로 학습됩니다. 6가지 다양한 QA 벤치마크에 대한 실험에서 Doc2Atom은 문서 내면화의 메모리 비용을 줄이면서 Doc-to-LoRA 기준선을 능가하는 것으로 나타났습니다.