리플레이 없이 순환 상태를 이전할 때의 정보 한계
Information Limits of Replay-Free Recurrent State Migration
한국어 초록
순환 모델을 교체할 때 기존 모델의 상태만으로는 새 모델이 같은 이력을 처리했을 때의 상태를 결정하지 못할 수 있다. 본 연구는 어떤 모델로 교체할지 알기 전에 보존해야 하는 정보를 규명한다. 시간 불변 아핀 선형 계열에서 $k$차 국소 이전에 필요한 최소 연속 인과 메모리는 확장 계수 시스템의 도달 가능 차원에서 기준 상태가 담은 정보를 뺀 값이다. 스칼라 입력을 받고 제어 가능한 $d$상태 모델은 스트리밍이 끝난 뒤 임의의 행렬 교체 방향이 알려져도 실수 좌표를 최대 $kd$개 더 저장하면 된다. 단일 랭크 1 방향에서도 $kd$개 모두가 필요할 수 있다. 조건부 특잇값과 보조 비트 수의 경계로 이 국소 정보 법칙을 허용 오차가 고정된 복원 문제와 구분한다. 불변 부분공간 및 미래 출력에 기반한 구성법도 제시한다. 통제 실험에서 얻은 표현들을 비교했다. 소형 언어 모델에서는 메모리 크기를 같게 맞춘 3차 보간이 3차 계수 방식보다 평균 상태 충실도가 높았으나 의미 있는 예측 개선은 없었다. 결합 식별 과제에서는 해석적으로 구한 이력 기저가 유용한 적응 정보를 더 적은 메모리로 보존했다. 느린 극점이 중복된 경우에는 전체 상태의 오차가 커도 이력 좌표 여덟 개로 적합 시드 다섯 개에서 정규화 출력 오차 $10^{-4}$ 기준을 충족했다. 극점을 서로 다른 값으로 나누면 시험한 폭 중 처음으로 기준을 충족한 값은 64였다.
원문 초록
When a recurrent model is replaced, its old state may not determine what the new model would compute from the same history. We characterize the information that must be retained before the replacement is known. For a time-invariant affine linear family, the minimum continuous causal memory for order-$k$ local migration equals the reachable dimension of a lifted coefficient system minus the information in the anchor state. A controllable $d$-state model with scalar input needs at most $kd$ additional real coordinates, even when arbitrary matrix replacement directions are revealed only after streaming. A single rank-one direction can already require all $kd$. Conditional singular values and auxiliary-bit bounds distinguish this local information law from recovery at a fixed tolerance. We also give invariant-subspace and future-output constructions. Controlled experiments compare the resulting representations. In a small language model, equal-memory cubic interpolation improves mean state fidelity over third-order coefficients but provides no meaningful predictive gain. An analytic history basis preserves useful adaptation more economically in a coupled identification task. With repeated slow poles, eight history coordinates meet normalized output error $10^{-4}$ across five fitted seeds despite substantial full-state error. Splitting the poles raises the smallest tested successful width to 64.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.19345v2제출 시각 미확인
- arXiv:2611.19345v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.