PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.28399v1cs.LG

메모리 어텐션

Memory Attention

언어 모델은 일반적으로 문맥적 은닉 상태로부터 어텐션 value를 구성하는데, 그 내용의 일부는 문맥 간 재사용될 수 있음에도 불구하고 그렇게 한다. 우리는 문맥 정보로 보완될 때 토큰 색인 메모리가 전용 value projection을 대체할 수 있는지 조사한다. 층별 토큰 메모리와 문맥적 key를 결합하여 value를 형성하는 Memory Attention(MA)을 제안한다. 메모리는 토큰별 표현을 제공하고, key는 문맥 의존성을 유지한다. 추론 시 정규화를 메모리 테이블에 흡수할 수 있어 value 구성을 조회와 덧셈으로 줄일 수 있다. 토큰 색인 검색은 prefetching을 동반한 CPU 오프로딩도 가능하게 하여 GPU 매개변수 저장을 줄인다. 일치하는 학습 토큰 예산 하에서 추가 메모리 매개변수를 두고, 여러 어텐션 구성에 걸친 실험은 언어 모델링과 평균 다운스트림 성능의 개선을 보여준다.