하이브리드 언어 모델(hybrid language model)을 위한 트리 투기적 디코딩(tree speculative decoding)은 순환(recurrent), 합성곱(convolution), 어텐션(attention) 상태 전반에서 하나의 일관된 연속성을 유지해야 합니다. 본 논문에서는 순환 경로를 병렬로 실행하고 각 경로 내에서 상태 타일을 재사용하며, 공유된 논리적 트리를 통해 네이티브 순환 재생(recurrent replay), 합성곱 기록 수집(convolution-history gathering), 어텐션 캐시 재매핑을 조율하는 검증기인 LumoTree를 제시합니다. 융합된 후보 선택(fused candidate selection), GPU 상주 수락(GPU-resident acceptance), 그룹화된 split-K 어텐션이 검증 주기를 지원합니다. 컴포넌트 실험 결과, 정확한 후보 선택 동등성과 쌍을 이룬 오차 범위 내에서의 순환 일치성을 확인했습니다. 단일 NVIDIA DGX Spark(GB10)에서의 탐색적 Qwen3.8-27B NVFP4 배포는 10개의 SWE-bench Verified Astropy 태스크에서 초당 25.63 풀링 토큰(pooled tokens/s)을 기록했습니다. 이러한 결과는 컴포넌트 수준의 수치적 일치성과 코딩 에이전트(agent) 배포 특성을 보여주며, 완전한 모델 연속성 및 통제된 애플리케이션 속도 향상은 향후 과제로 남아 있습니다.
LatentPort: Beyond KV Cache - Cross-Model Transfer of Recurrent Memory in Hybrid Language Models: A 4B-to-9B Hybrid-State Handoff Without Target Prefix Replay
수신 모델이 문맥을 다시 읽지 않고도 한 언어 모델(language model)이 실시간 메모리를 다른 모델로 넘겨줄 수 있을까? 본 연구에서는 구조가 일치하는 단일 Qwen3.5 4B-9B 형제 모델 쌍 사이에서 유용한 영속적 하이브리드 상태 전이를 입증한다. 우리가 아는 한, 이는 타깃 접두 문맥(prefix) 재생 없이 크기가 서로 다른 하이브리드 언어 모델 간에 영속적 순환 추론(inference) 상태를 모델 간 인계한 최초의 실증 사례이다. 변환된 어텐션(attention) KV만으로는 큰 격차가 남지만, Gated DeltaNet(GDN) 영속 상태 패키지를 추가하면 교사 강제(teacher-forced) 음의 로그 가능도(negative log-likelihood, NLL)(평균 다음 토큰 로그 손실)가 0.747 nats/토큰(95% 쌍체 문서 부트스트랩 신뢰구간 [0.6921, 0.8047])만큼 감소하여 64개 PG19 문서 전체에서 성능이 향상된다. 순환 및 합성곱(convolution) 상태의 직접 재사용은 테스트된 학습 기반 GDN 매핑보다 우수한 성능을 보였으며, 이는 영속 상태 좌표의 부분적인 기능적 호환성과 일치한다. 새로운 구성 요소 요인 분석을 통해 직접 순환 및 합성곱 상태를 결합한 변환된 KV를 최적 조합으로 선정했다. 434,176개의 매개변수(parameter)를 갖는 추가 보정은 64개의 새로운 웹 문서에서 해당 베이스를 더욱 향상시켜, 지속 손실(continuation loss)이 네이티브 9B 대비 0.076 nats/토큰(초과 NLL) 수준에 머물렀고 젠슨-섀넌(JS) 발산은 0.022, 네이티브 문맥 복구(NCR)는 0.918을 기록했다. 보정된 9B는 과거 접두 문맥 토큰(token)을 전혀 처리하지 않으면서도 지속된 4B 추론보다 유의미하게 우수한 성능을 보인다. 본 실증 결과는 단일 방향, 단일 기하구조 매칭 Base 모델 쌍, 그리고 4K 교사 강제 지속 조건에 국한된다. 즉, 거의 네이티브 수준에 도달하는 게이트는 실패했고 16K 브랜치는 실행되지 않았으며, 자유 생성(free-generation) 동등성 및 일반 상태 인터페이스는 여전히 검증되지 않은 상태로 남아 있다.