arXiv:2609.25053v1 cs.CL

LatentPort: KV 캐시를 넘어서 - 하이브리드 언어 모델 간 순환 메모리 모델 간 전이: 타깃 접두 문맥 재생 없는 4B에서 9B로의 하이브리드 상태 인계

LatentPort: Beyond KV Cache - Cross-Model Transfer of Recurrent Memory in Hybrid Language Models: A 4B-to-9B Hybrid-State Handoff Without Target Prefix Replay

Simon P. Villani

제출 2026-09-23

한국어 초록

수신 모델이 문맥을 다시 읽지 않고도 한 언어 모델(language model)이 실시간 메모리를 다른 모델로 넘겨줄 수 있을까? 본 연구에서는 구조가 일치하는 단일 Qwen3.5 4B-9B 형제 모델 쌍 사이에서 유용한 영속적 하이브리드 상태 전이를 입증한다. 우리가 아는 한, 이는 타깃 접두 문맥(prefix) 재생 없이 크기가 서로 다른 하이브리드 언어 모델 간에 영속적 순환 추론(inference) 상태를 모델 간 인계한 최초의 실증 사례이다. 변환된 어텐션(attention) KV만으로는 큰 격차가 남지만, Gated DeltaNet(GDN) 영속 상태 패키지를 추가하면 교사 강제(teacher-forced) 음의 로그 가능도(negative log-likelihood, NLL)(평균 다음 토큰 로그 손실)가 0.747 nats/토큰(95% 쌍체 문서 부트스트랩 신뢰구간 [0.6921, 0.8047])만큼 감소하여 64개 PG19 문서 전체에서 성능이 향상된다. 순환 및 합성곱(convolution) 상태의 직접 재사용은 테스트된 학습 기반 GDN 매핑보다 우수한 성능을 보였으며, 이는 영속 상태 좌표의 부분적인 기능적 호환성과 일치한다. 새로운 구성 요소 요인 분석을 통해 직접 순환 및 합성곱 상태를 결합한 변환된 KV를 최적 조합으로 선정했다. 434,176개의 매개변수(parameter)를 갖는 추가 보정은 64개의 새로운 웹 문서에서 해당 베이스를 더욱 향상시켜, 지속 손실(continuation loss)이 네이티브 9B 대비 0.076 nats/토큰(초과 NLL) 수준에 머물렀고 젠슨-섀넌(JS) 발산은 0.022, 네이티브 문맥 복구(NCR)는 0.918을 기록했다. 보정된 9B는 과거 접두 문맥 토큰(token)을 전혀 처리하지 않으면서도 지속된 4B 추론보다 유의미하게 우수한 성능을 보인다. 본 실증 결과는 단일 방향, 단일 기하구조 매칭 Base 모델 쌍, 그리고 4K 교사 강제 지속 조건에 국한된다. 즉, 거의 네이티브 수준에 도달하는 게이트는 실패했고 16K 브랜치는 실행되지 않았으며, 자유 생성(free-generation) 동등성 및 일반 상태 인터페이스는 여전히 검증되지 않은 상태로 남아 있다.

원문 초록

Can one language model hand its live memory to another without the receiver rereading the context? We demonstrate useful persistent hybrid-state transfer across one architecture-matched Qwen3.5 4B-to-9B sibling pair. To our knowledge, this is the first demonstrated cross-model handoff of persistent recurrent inference state between differently sized hybrid language models without target prefix replay. Translated attention KV alone leaves a large gap; adding the Gated DeltaNet (GDN) persistent-state package lowers teacher-forced negative log-likelihood (NLL), the average next-token log-loss, by 0.747 nats/token (95% paired document bootstrap CI [0.6921, 0.8047]), improving all 64 PG19 documents. Direct recurrent and convolution reuse outperforms the tested learned GDN maps, consistent with partial functional compatibility of persistent-state coordinates. A fresh component factorial selects translated KV with direct recurrent and convolution state. An additional 434,176-parameter correction improves that base on 64 fresh web documents: continuation loss is 0.076 nats/token above native 9B (excess NLL), Jensen-Shannon (JS) divergence is 0.022, and native context recovery (NCR) is 0.918. Corrected 9B significantly beats continued 4B inference while processing zero historical prefix tokens. Evidence covers one direction, one geometry-matched Base-model pair, and 4K teacher-forced continuation; the near-native gate failed, the 16K branch was not run, and free-generation equivalence and a general state interface remain unproven.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.25053v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.23900v2cs.LG공통 태그 Language Modeling, hybrid language models

LumoTree: 하이브리드 언어 모델을 위한 경로 병렬 투기적 검증

LumoTree: Path-Parallel Speculative Verification for Hybrid Language Models

하이브리드 언어 모델(hybrid language model)을 위한 트리 투기적 디코딩(tree speculative decoding)은 순환(recurrent), 합성곱(convolution), 어텐션(attention) 상태 전반에서 하나의 일관된 연속성을 유지해야 합니다. 본 논문에서는 순환 경로를 병렬로 실행하고 각 경로 내에서 상태 타일을 재사용하며, 공유된 논리적 트리를 통해 네이티브 순환 재생(recurrent replay), 합성곱 기록 수집(convolution-history gathering), 어텐션 캐시 재매핑을 조율하는 검증기인 LumoTree를 제시합니다. 융합된 후보 선택(fused candidate selection), GPU 상주 수락(GPU-resident acceptance), 그룹화된 split-K 어텐션이 검증 주기를 지원합니다. 컴포넌트 실험 결과, 정확한 후보 선택 동등성과 쌍을 이룬 오차 범위 내에서의 순환 일치성을 확인했습니다. 단일 NVIDIA DGX Spark(GB10)에서의 탐색적 Qwen3.8-27B NVFP4 배포는 10개의 SWE-bench Verified Astropy 태스크에서 초당 25.63 풀링 토큰(pooled tokens/s)을 기록했습니다. 이러한 결과는 컴포넌트 수준의 수치적 일치성과 코딩 에이전트(agent) 배포 특성을 보여주며, 완전한 모델 연속성 및 통제된 애플리케이션 속도 향상은 향후 과제로 남아 있습니다.

arXiv:2609.14743v3cs.CL공통 태그 Language Modeling

음성-텍스트 언어 모델에서 생성 모달리티 간극 정량화

Quantifying the Generation Modality Gap in Speech-Text Language Models

순수 음성 언어 모델(speech language model)은 일관성 있는 콘텐츠를 생성하는 데 있어 텍스트 및 음성-텍스트 언어 모델에 비해 뒤처지는 경우가 많지만, 음성과 텍스트 시스템이 일반적으로 서로 다른 지표로 평가되고 서로 다른 데이터로 학습(training)되기 때문에 이러한 간극을 정량화하기는 어렵습니다. 본 연구에서는 연속적인 음향 특징(feature) 생성을 위한 플로우 매칭(flow matching)을 기반으로 하는 일련의 음성 언어 모델 계열에서 음성-텍스트 모달리티 간극(modality gap)을 연구합니다. 일치된 데이터 분포에서 학습되고 일치된 생성 환경에서 평가되는 음성 전용, 텍스트 전용, 음성-텍스트 언어 모델을 비교하는 통합 생성 기반 평가 스위트를 구축합니다. 생성된 음성을 전사하고 참조 언어 모델로 점수를 매겨 측정한 의미론적 일관성(semantic coherence), 음소 n-그램 분포 통계로 측정한 국소적 음소 구조, 화자 일관성 및 음향 품질, 감정 기반 분포 지표 등 여러 차원에 걸쳐 생성된 연속 발화를 평가합니다. 데이터셋 전반에 걸쳐 음성-텍스트 결합 모델링이 의미론적 일관성을 크게 향상시킨다는 점을 확인했습니다. 그러나 이러한 개선이 모든 지표에서 균일하지는 않습니다. 음소 수준 지표는 미미하게만 변화하고, 음성-텍스트 연속 생성물에서 화자 유사도와 예측 품질은 더 낮은 반면 감정 기반 분포 지표는 향상됩니다. 더 큰 규모의 음성 전용 모델과 비교할 때, 제안하는 음성-텍스트 모델은 전사 기반 의미론적 일관성에서 스케일링(scaling) 격차의 상당 부분을 좁히며, 이는 텍스트가 음성 언어 모델링에 효율적인 의미론적 학습 신호를 제공함을 시사합니다.

arXiv:2606.29858v3cs.CL공통 태그 Language Modeling

매끄러운 스케일링 법칙이 단계적 토큰 학습을 감추다

Smooth Scaling Laws Hide Stepwise Token Learning

언어 모델 손실은 모델 및 데이터 크기에 걸쳐 놀라울 정도로 규칙적인 스케일링 법칙을 따르지만, 집계 손실이 왜 거듭제곱 법칙 형태를 나타내는지는 여전히 불분명하다. 기존의 설명들은 이 규칙성을 자연어에서 패턴 난이도의 중꼬리(heavy-tailed) 스펙트럼에 귀인하는 경우가 많지만, 이 견해는 대규모 실제 데이터 학습에서 토큰 수준의 세밀도로 직접 검증된 바 없다. 우리는 스케일링 법칙을 개별 문맥화된 토큰의 국소적 학습 이벤트로 분해하는 토큰 수준 프레임워크를 제시한다. 토큰 손실 궤적을 시그모이드로 피팅함으로써, 토큰 학습이 국소적 전환에 집중되어 있음을 보이며, 이로부터 스케일링 법칙의 형태를 지배하는 학습 시간 스펙트럼이 도출됨을 확인한다. 현대적인 대규모 언어 모델(LLM) 아키텍처를 사용하여 크고 다양한 실제 언어 코퍼스에서 100회 이상의 사전학습 실행에 걸쳐—최대 60억 개의 파라미터와 3,000억 개의 학습 토큰으로 스케일업—측정된 학습 시간 스펙트럼은 학습 스텝 $T$, 데이터 스케일 $D$, 모델 스케일 $M$ 축을 따른 검증 손실 도함수를 정량적으로 재구성한다. 나아가 동일한 신호가 실행 가능함을 보인다. 토큰이 학습 가능해지는 시점에 따라 학습 분포를 재구성함으로써 최적화 궤적을 변경하고, 검증 손실 감소를 11% 가속화한다. 이러한 결과들은 스케일링 법칙이 주로 토큰 수준 학습 시간의 분포에 의해 지배된다는 직접적인 경험적 증거를 제공하며, 이 분포가 스케일링 동작을 설명하는 데 그치지 않고 학습 성능을 향상시키는 데에도 활용될 수 있음을 보인다.

arXiv:2607.23379v2cs.CL공통 태그 Language Modeling

활성화 오라클이 읽지 않는 법을 배울 때: 파인튜닝된 오라클의 개념별 사각지대

When Activation Oracles Learn Not to Read: Concept-Specific Blind Spots in Fine-Tuned Oracles

활성화 오라클(Activation Oracles, AOs)은 다른 모델의 내부 활성화에 대한 자연어 질문에 답하도록 학습된 언어 모델이다. 이들은 모델 상태에서 숨겨진 정보를 읽어내는 유연한 인터페이스를 제공하며, 특히 관련 정보가 내부적으로 표현되어 있지만 가시적 행동에서는 부재하거나 불완전한 경우에 유용하다. 그러나 AOs는 그 자체가 학습된 시스템이다. 이들의 답변은 표현된 정보의 중립적 판독이 아니라, 학습 데이터, 목표(objective), 그리고 학습된 보고(reporting) 행동에 의해 형성된다. 이를 통제된 금기어(Taboo Word) 추측 설정에서 연구한다. 여기서 피험 모델(subject model)은 직접적 공개를 피하면서 내부적으로 숨겨진 개념(concept)을 사용하도록 파인튜닝된다. 이러한 피험 모델에 대해 학습된 AO가 전문 판독자(specialist reader)가 될 것이라는 기대와 달리, 파인튜닝된 AO는 개념별 반판독자(concept-specific anti-reader)가 될 수 있음을 발견한다. 즉, 자신의 학습 동안 지속적으로 존재하는 개념을 선택적으로 회복하지 못한다. 이 실패는 단순히 피험 모델이나 오라클 표현에서 해당 개념이 부재하기 때문이라고 설명되지 않는다. 표적 개념은 오라클 내부에서 여전히 디코딩 가능하며, LogitLens 및 층(layer) 절제(ablation) 분석은 이 실패가 AO 판독(readout) 경로에서 발생함을 시사한다. 우리의 결과는 행동적 누출(behavioral leakage), 표현 수준의 디코딩 가능성(representation-level decodability), AO 언어화 가능성(AO-verbalizability)이 서로 분리될 수 있음을 보여주며, 학습된 해석 가능성(interpretability) 인터페이스에 대한 신뢰성 우려를 제기한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.