arXiv:2605.00206v2 cs.LG

State Stream Transformer(SST) V2: 잠재 공간 추론을 위한 비선형 순환의 병렬 학습

State Stream Transformer (SST) V2: Parallel Training of Nonlinear Recurrence for Latent Space Reasoning

Thea Aviss

제출 2026-04-30

저자 비고

arXiv Comments

51 pages, 21 figures. Added exact-recurrence validation experiment, and more detailed training and inference costs; clarified architectural-capacity evaluation and corrected the flat-depth overthinking analysis. Headline results unchanged

한국어 초록

현재의 트랜스포머는 위치들 사이에서 풍부한 잠재 잔차 스트림을 버리고, 매 새로운 위치마다 잠재 추론 맥락을 다시 구성하여 잠재적인 추론 역량을 활용하지 못하고 있다. State Stream Transformer(SST) V2는 각 디코더 층에서 FFN 기반의 비선형 순환을 통해 연속 잠재 공간에서의 매개변수 효율적인 추론을 가능하게 하며, 이때 잠재 상태들은 학습된 블렌드를 통해 전체 시퀀스에 걸쳐 수평으로 스트리밍된다. 이와 동일한 메커니즘은 추론 시점에서 위치별 연속적인 잠재 숙고를 지원하여, 토큰을 확정하기 전에 추가적인 FLOPs를 추상적 추론 탐색에 할당할 수 있게 한다. 2단계 병렬 학습 절차는 순차적 순환을 근사하여 공동 학습을 계산적으로 실용적으로 만든다. 은닉 상태 분석에 따르면, 상태 스트림은 연속 잠재 공간에서 명확하고 내용에 의존적인 재구성을 통해 추론을 촉진하며, LM 헤드는 그 결과로 나타나는 잠재 신념 상태를 출력 분포를 통해 드러내고, 상태 스트림은 이를 이후 위치들에 영향을 미치도록 전달한다. 학습된 프로브는 첫 번째로 생성된 토큰에서 이미 잠재 상태가 이후의 모든 위치에서 추가적인 잠재 계산 하에 최종 답이 유지될지 또는 무너질지를 예측함을 보여준다. 단지 소규모의 GSM8K 예제 데이터셋만을 사용하여 기존 27B 백본에 공동 학습시키고, 각 질문을 토큰당 1회에서 4회의 순환적 순전파 깊이로 라우팅하는 오라클을 사용하여 평가한 결과, SST는 분포 외 GPQA-Diamond에서 61.11%의 아키텍처 역량 상한을 달성했으며, 이는 미세조정 매칭 기준선 대비 +15.15포인트의 향상이고, 동일한 기준선에 남아 있는 GSM8K 오류를 46% 줄인다. 이러한 결과들은 비선형 순환을 효율적으로 학습시키는 방법을 제시하며, 상태 스트림이 그 외에는 학습이 매칭된 트랜스포머가 가진 역량을 넘어서는 추가적인 추론 역량을 제공함을 보여준다.

원문 초록

Current transformers discard their rich latent residual stream between positions, reconstructing latent reasoning context at each new position and leaving potential reasoning capacity untapped. The State Stream Transformer (SST) V2 enables parameter-efficient reasoning in continuous latent space through an FFN-driven nonlinear recurrence at each decoder layer, where latent states are streamed horizontally across the full sequence via a learned blend. This same mechanism supports continuous latent deliberation per position at inference time, dedicating additional FLOPs to exploring abstract reasoning before committing to a token. A two-pass parallel training procedure approximates the sequential recurrence, making co-training computationally practical. Hidden state analysis shows that the state stream facilitates reasoning through sharp, content-dependent reorganisations in continuous latent space; the LM head exposes the resulting latent belief states through the output distribution, while the state stream carries them forward to influence future positions. A learned probe shows that at the first generated token, the latent state already predicts whether the eventual answer will survive or break under additional latent computation for every subsequent position. Co-trained into an existing 27B backbone using only a small dataset of GSM8K examples and evaluated using an oracle to route each question to a depth of one to four recurrent forward passes per token, the SST achieves an architectural capacity bound of 61.11% on out-of-distribution GPQA-Diamond, a +15.15 point gain over a fine-tuning-matched baseline, and cuts that same baseline's remaining GSM8K errors by 46%. Together, these results provide a method for efficiently training a nonlinear recurrence and show that the state stream provides additional reasoning capacity beyond that of an otherwise training-matched transformer.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.00206v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10592v2cs.CL공통 태그 Language Modelling, Decoder

Wieszcz-XIX: 31억 단어 규모의 1918년 이전 폴란드어 코퍼스와 처음부터 학습된 시간적 제약 언어 모델

Wieszcz-XIX: A 3.1-Billion-Word Corpus of Pre-1918 Polish and Temporally Bounded Language Models Trained From Scratch

역사적 폴란드어는 언어로서 잘 문서화되어 있으나, 본 논문에서 다루는 시기의 기계 가독형 주석 데이터는 약 100만 단어에 불과하며, 나머지는 품질이 다양한 광학 문자 인식(OCR) 상태로 남아 있습니다. 본 논문에서는 1800년부터 1918년 사이에 출판된 폴란드어 문헌(대부분 정기간행물 호) 294,369개 문서, 67억 5천만 토큰(약 31억 단어) 규모의 코퍼스인 Wieszcz-XIX를 제시합니다. 이는 필터링, 중복 제거, 1918년 이후 데이터 유출 감사 및 문서 수준 분할을 수행하는 파이프라인을 통해 Wolne Lektury 및 Internet Archive로부터 수집되었습니다. 이 코퍼스는 동일한 시기의 주석 코퍼스보다 3자릿수 이상(1,000배 이상) 크며, 본 연구에서는 그 결함을 정량화합니다. 즉, 위양성 하한 기준의 인식 오류, 제거된 유사 중복, 그리고 전사된 출처에서 발견된 0.04~0.38% 바이트 수준의 알려진 잔여물을 제외하고 학습(training) 코퍼스 자체에서 배제된 1918년 이후 데이터 유출을 정량화하여, 공개된 코퍼스가 문서 단위로 학습에 사용된 코퍼스와 동일하도록 구성했습니다. 수작업으로 교정된 표본에서 텍스트 판독이 가능한 경우 문자 오차율(CER)은 0.68%이며, 표본 구절의 45%는 교정이 불가능했습니다. 이 데이터를 기반으로 47M부터 349M 매개변수 규모의 디코더 전용(decoder-only) 모델 계층을 처음부터(from scratch) 학습하고 시간적 제약성(temporal boundedness)을 측정합니다. 훨씬 더 큰 모델을 포함한 두 개의 현대 폴란드어 베이스 모델과 비교했을 때, 349M 모델은 역전 현상(crossover)을 보였으며 동일 규모의 비교 모델 대비 107M 모델 또한 유사한 역전 현상을 나타냈습니다. 1918년 이후 어휘는 비교 모델에서는 나타나지 않는 격차로서 해당 시대 어휘보다 약 3.1비트/바이트 더 많은 비용이 들었으며, 해당 시대 어휘는 비교 모델보다 더 적은 비트를 소모했습니다. 해당 시대의 텍스트가 주어졌을 때 본 모델들은 그 철자법을 유지한 반면 비교 모델들은 부분적으로만 유지했습니다. 매개변수를 늘리는 것이 데이터를 2회 순회(second pass)하는 것보다 약 2배 더 높은 성능 향상을 얻었습니다. 코퍼스, 코드, 가중치를 함께 공개합니다. 콘텐츠 주의: 모델은 반유대주의적 발언을 포함하여 당시 시대의 편견을 재현합니다.

arXiv:2610.13536v1stat.ML공통 태그 Language Modelling, Representation Learning

증류의 어둠의 기술에 대한 방어: 서브리미널 학습(subliminal learning)의 비지도 발견

Defence against the dark arts of distillation: Unsupervised discovery of subliminal learning

언어 모델(language model)이 기본 매개변수(parameter)를 공유하는 교사 모델로부터 증류(distillation)될 때, 학생 모델은 해당 특성과 의미적으로 무관한 데이터로부터도 교사 모델의 행동적 특성---정렬 실패(misalignment)를 포함하여---을 물려받을 수 있다(Cloud et al., 2026). 기존의 모든 방어 기법은 해당 특성을 미리 알아야 한다는 조건을 요구한다. 본 연구는 이러한 요구 조건을 제거하고, 서브리미널하게 전이된 특성이 단 하나의 비대칭성을 활용함으로써 감독(supervision) 없이 매개변수 업데이트만으로도 복원될 수 있음을 증명한다: 그 특성은 교사 모델이 생성한 다양한 데이터셋(dataset) 전반에서 일관되게 나타나는 반면, 과제별 능력과 공유 능력은 데이터셋마다 달라진다. 이로부터 도출되는 추정량(estimator)은 가중치(weight) 공간상의 방향을 반환하며, 이를 증폭하여 해당 특성을 발견하고 해석할 수도 있고, 투영 제거(project out)하여 그 특성의 발현을 억제할 수도 있다. (Cloud et al., 2026)의 서브리미널 학습 벤치마크(benchmark)에 적용한 결과, 본 방법은 특성 레이블(label) 없이도 전이된 동물 선호(animal-preference) 특성을 복원하며, 과제 성능에는 거의 영향을 주지 않으면서 그 발현을 억제한다.

arXiv:2610.03827v2cs.CL공통 태그 Language Modelling, Representation Learning

점수는 구조가 아니다: 뇌 정렬과 교차 언어 전이

The Score Is Not the Structure: Brain Alignment and Cross-Lingual Transfer

유사도 점수는 모델(model)이 뇌 또는 여러 언어 전반에 걸쳐 구조를 공유한다는 증거로 자주 제시됩니다. 본 연구에서는 두 가지 설정에서 해당 구조가 제거되거나 이를 측정하는 도구가 작동하지 않을 때 이러한 점수가 무엇을 나타내는지 질문합니다. 17개 언어 전반에서 문법성 프로브(probe)는 거리가 더 먼 언어 간에 전이 성능이 더 낮습니다(r = -0.66). 그러나 프로브 자체의 정확도도 동일한 축을 따라 하락하며 가장 먼 5개 언어 중 4개를 포함한 4개 언어에서는 무작위 확률 수준(chance level)에 머뭅니다. 이들을 제외하면 설명 변량이 절반으로 줄어들고, 거리 범위 또한 좁아지기 때문에 이러한 설계로는 그래디언트(gradient) 중 얼마만큼이 측정 도구에 기인한 것인지 밝힐 수 없습니다. 272개의 언어 쌍을 독립적인 것으로 간주하면 조향 효과(steering effect)에 대해 p = 0.0006이 산출되지만, 17개 언어를 단위로 삼을 경우 이는 무효합니다(p = 0.155). 뇌 정렬(brain alignment)의 경우, 학습(training) 목표는 언어 모델(language model)과 fMRI 반응 간의 유사도를 0.10에서 0.34로 높이지만(신뢰도 상한선 0.54), 뇌 대응 관계가 파괴된 타깃도 여전히 0.31에 도달합니다. 셔플된 타깃은 랭크 k와 n개의 문장에 대해 실제 타깃 대비 약 k/n의 점수를 기록하는데, 이는 어떤 모델도 학습되기 전에 계산할 수 있는 기준선(baseline)입니다. 두 개입 모두 작동하지만, 거리 등급에 따른 조향 효과나 정렬을 통한 구문론적 이점은 감지되지 않았습니다. 대응 점수를 해석하기 전에, 대응 관계가 없는 상태에서 해당 점수가 얼마만큼 유지되는지 먼저 측정해야 합니다.

arXiv:2610.10996v1cs.LG공통 태그 Representation Learning, latent reasoning

불변 측도 추론기: 잠재 추론을 위한 안정적 표현

Invariant-Measure Reasoners: Stable Representations for Latent Reasoning

잠재 추론(latent reasoning) 모델은 동일한 순환 블록(recurrent block)을 사용하여 잠재 상태(latent state)를 반복적으로 갱신한다. 순환 깊이(recurrent depth)가 증가함에 따라 잠재 상태의 수열은 고정점(fixed point)으로 반드시 수렴하지는 않으면서도 상태 공간의 한 콤팩트한 부분집합으로 수렴할 수 있다. 기존 모델들은 일반적으로 단일 잠재 상태에 예측 헤드(prediction head)를 적용하여 예측을 수행한다. 그러나 잠재 상태는 여러 번의 갱신 이후에도 계속 변화할 수 있으며, 이는 순환 깊이에 따라 예측이 불안정해질 가능성을 만든다. 이러한 불안정성을 해결하기 위해, 우리는 불변 측도(invariant measure)를 안정적 표현으로 사용하는 프레임워크인 불변 측도 추론기(invariant-measure reasoners, ImR)를 제안한다. 이 측도는 콤팩트한 부분집합 위에서 잠재 상태의 장기 분포(long-run distribution)를 나타내며, 순환 블록에 의한 갱신에 대해 불변이다. ImR은 이 측도 하에서 예측 헤드 출력의 기댓값으로부터 예측을 수행한다. 우리는 ImR을 두 가지 방식으로 사용한다: 기존 모델의 예측 헤드만을 미세조정(fine-tuning)하는 방식과 모델을 처음부터 학습(training)하는 방식이다. 두 방식 모두 미로(maze) 및 스도쿠(Sudoku) 과제에서 많은 설정에서 예측 불안정성을 줄이고 정확도를 향상시킨다. 일부 설정에서는 ImR로 학습된 모델이 기존 모델보다 비고정점(non-fixed-point) 행동을 더 자주 보이면서도, 기존 모델과 달리 그러한 행동에서도 높은 정확도를 달성한다. 이러한 결과는 ImR이 그렇지 않았다면 불안정화를 유발했을 동역학(dynamics)을 잠재 추론에 활용할 수 있음을 시사한다.

arXiv:2610.01917v1cs.CV공통 태그 Representation Learning, latent reasoning

MoLE: 상호보완적 시각 추론을 위한 잠재 전문가 혼합

MoLE: Mixture of Latent Experts for Complementary Visual Reasoning

잠재 시각 추론(latent visual reasoning)은 명시적인 텍스트 추론 경로(trace)나 반복적인 이미지 연산 없이도 시각적 증거를 처리할 수 있는 연속적인 중간 상태를 비전-언어 모델(vision-language model)에 제공합니다. 그러나 기존 방식들은 공유된 가치 프로젝션(value projection)을 통해 여러 잠재 토큰이 동일한 시각적 증거에 접근하도록 허용하는 경우가 많아, 상호보완적인 시각 정보를 추출할 수 있는 메커니즘을 제공하지 못합니다. 따라서 단순히 잠재 토큰의 예산(budget)을 늘리는 것만으로는 중복된 잠재 표현이 생성될 수 있습니다. 본 연구에서는 효과적인 잠재 추론을 위해 서로 다른 잠재 토큰들이 상호보완적인 시각 정보를 추출하도록 유도하여 전문화된 시각 전문가 역할을 수행하게 해야 한다고 주장합니다. 이러한 통찰을 바탕으로, 각 잠재 시각 전문가가 관찰하는 시각적 증거와 이를 변환하는 방식을 모두 제어하는 잠재 전문가 혼합(Mixture of Latent Experts) 프레임워크인 MoLE를 제안합니다. MoLE는 증거 추출 과정에서 잠재 시각 전문가들을 격리하고, 전용 잠재 요약 전문가를 활용해 잠재 시각 전문가들의 상호보완적인 표현을 집계합니다. 2단계 학습 파이프라인은 먼저 시각적 증거가 이 잠재 경로를 통과하도록 강제한 후 직접적인 시각적 접근을 복원하므로, 사전에 정의된 전문가 역할이나 중간 시각적 목표가 필요하지 않습니다. 5개의 시각 추론 벤치마크 전반에서 MoLE는 평균 점수 78.6점을 달성하여, 동일한 데이터로 매칭된 지도 미세조정(supervised fine-tuning)보다 4.9점, 동일한 잠재 예산에서 평가된 가장 강력한 잠재 시각 추론 기준선(baseline)보다 3.6점 높은 성능을 보였습니다. 표현 분석 결과 잠재 상태 간 유사도가 낮아지고 더 다양한 시각적 어텐션이 나타났으며, 잠재 경로를 마스킹했을 때는 평균 성능이 9.2점 감소했습니다. 이러한 결과는 단순히 잠재 토큰 수를 늘리는 것보다 잠재 연산을 전문화하는 것이 더 효과적임을 입증합니다.

arXiv:2609.28212v1cs.LG공통 태그 Decoder, Representation Learning

대수 깊이 순환 언어 모델링

Log-Depth Recurrent Language Modeling

Transformer를 이용한 언어 모델링은 고정된 계산 깊이와 입력 토큰 수에 대한 이차 시간 복잡도에도 불구하고 널리 쓰이게 되었다. 반면 순환 모델은 선형 깊이를 제공하지만 병렬 실행은 불가능하다. 본 연구에서는 균형 트리(balanced-tree) 재귀 연산자를 시퀀스 인코딩에서 자기회귀(autoregressive) 예측으로 확장하여, 모든 접두 문맥 표현을 대수 깊이와 선형 실행 시간으로 계산할 수 있게 한다. 실험을 통해 이 모델 클래스에 대한 초기 특성 분석을 제공하며, 견고한 길이 외삽(length extrapolation)과 ALiBi 기반 Transformer에 근접한 성능을 보여, 언어 모델링을 위한 대안 아키텍처로서의 잠재력을 부각한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.