PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.28006v1cs.LG

공유 전역 KV와 층별 로컬 히스토리

Shared Global KV with Layer-Specific Local History

디코더 전용 트랜스포머(Transformer) 언어 모델은 생성 과정에서 과거 연산을 재사용하기 위해 키와 값(KV)을 캐시한다. 층 간에 KV를 공유하면 저장 공간을 절약할 수 있지만, 깊이에 따라 사용할 수 있는 표현의 다양성이 줄어든다. 본 연구는 공유된 전역 KV와 함께 로컬 메모리가 무엇을 보존해야 하는지를 연구하며, 이때 히스토리 내용과 그것을 형성하는 데 사용되는 입력 소스를 구분한다. 126M 파라미터와 2K 컨텍스트에서 수행한 8개 시드 실험 결과, 로컬 히스토리를 사용한 경우가 현재 토큰 로컬 브랜치를 사용한 경우보다 보류(held-out) 테스트 퍼플렉시티가 약 1.4% 낮았다. 용량, 항목 수, 학습 연산량 통제 실험은 히스토리 내용의 가치를 뒷받침한다. 2개 시드 비교에서는 인접한 층이 로컬 입력을 공유하면서도 독립적인 프로젝션을 유지하는 경우에도 이 가치가 유지되며, 소스 공유는 정확한 캐시 구성 의존성도 단축한다. GQA 및 인접 층 KV 공유와 비교했을 때, 동일한 제한 범위의 학습률 탐색과 새로운 시드를 이용한 확인 실험에서 더 큰 캐시와 더 높은 긴 요청 지연 시간을 대가로 동일 소스 가능도가 더 우수했다. 인접 층 공유와의 이러한 순위는 동일 토큰 수로 8K까지 적응시킨 뒤에도 유지되지만, 짧은 컨텍스트에서는 비용이 발생한다. 8개 시드로 측정한 외부 도서 히스토리 효과는 여전히 불확실하며, 다운스트림 결과는 작업에 따라 다르다. 또한 정확한 산술 하에서 완전한 캐시를 보존하면서 상위 층의 구성 작업량을 줄이는 충분 접미사 스케줄(sufficient suffix schedule)을 유도한다.