PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.25053v1cs.CL

LatentPort: KV 캐시를 넘어서 - 하이브리드 언어 모델 간 순환 메모리 모델 간 전이: 타깃 접두 문맥 재생 없는 4B에서 9B로의 하이브리드 상태 인계

LatentPort: Beyond KV Cache - Cross-Model Transfer of Recurrent Memory in Hybrid Language Models: A 4B-to-9B Hybrid-State Handoff Without Target Prefix Replay

수신 모델이 문맥을 다시 읽지 않고도 한 언어 모델(language model)이 실시간 메모리를 다른 모델로 넘겨줄 수 있을까? 본 연구에서는 구조가 일치하는 단일 Qwen3.5 4B-9B 형제 모델 쌍 사이에서 유용한 영속적 하이브리드 상태 전이를 입증한다. 우리가 아는 한, 이는 타깃 접두 문맥(prefix) 재생 없이 크기가 서로 다른 하이브리드 언어 모델 간에 영속적 순환 추론(inference) 상태를 모델 간 인계한 최초의 실증 사례이다. 변환된 어텐션(attention) KV만으로는 큰 격차가 남지만, Gated DeltaNet(GDN) 영속 상태 패키지를 추가하면 교사 강제(teacher-forced) 음의 로그 가능도(negative log-likelihood, NLL)(평균 다음 토큰 로그 손실)가 0.747 nats/토큰(95% 쌍체 문서 부트스트랩 신뢰구간 [0.6921, 0.8047])만큼 감소하여 64개 PG19 문서 전체에서 성능이 향상된다. 순환 및 합성곱(convolution) 상태의 직접 재사용은 테스트된 학습 기반 GDN 매핑보다 우수한 성능을 보였으며, 이는 영속 상태 좌표의 부분적인 기능적 호환성과 일치한다. 새로운 구성 요소 요인 분석을 통해 직접 순환 및 합성곱 상태를 결합한 변환된 KV를 최적 조합으로 선정했다. 434,176개의 매개변수(parameter)를 갖는 추가 보정은 64개의 새로운 웹 문서에서 해당 베이스를 더욱 향상시켜, 지속 손실(continuation loss)이 네이티브 9B 대비 0.076 nats/토큰(초과 NLL) 수준에 머물렀고 젠슨-섀넌(JS) 발산은 0.022, 네이티브 문맥 복구(NCR)는 0.918을 기록했다. 보정된 9B는 과거 접두 문맥 토큰(token)을 전혀 처리하지 않으면서도 지속된 4B 추론보다 유의미하게 우수한 성능을 보인다. 본 실증 결과는 단일 방향, 단일 기하구조 매칭 Base 모델 쌍, 그리고 4K 교사 강제 지속 조건에 국한된다. 즉, 거의 네이티브 수준에 도달하는 게이트는 실패했고 16K 브랜치는 실행되지 않았으며, 자유 생성(free-generation) 동등성 및 일반 상태 인터페이스는 여전히 검증되지 않은 상태로 남아 있다.