PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.00206v2cs.LG

State Stream Transformer(SST) V2: 잠재 공간 추론을 위한 비선형 순환의 병렬 학습

State Stream Transformer (SST) V2: Parallel Training of Nonlinear Recurrence for Latent Space Reasoning

현재의 트랜스포머는 위치들 사이에서 풍부한 잠재 잔차 스트림을 버리고, 매 새로운 위치마다 잠재 추론 맥락을 다시 구성하여 잠재적인 추론 역량을 활용하지 못하고 있다. State Stream Transformer(SST) V2는 각 디코더 층에서 FFN 기반의 비선형 순환을 통해 연속 잠재 공간에서의 매개변수 효율적인 추론을 가능하게 하며, 이때 잠재 상태들은 학습된 블렌드를 통해 전체 시퀀스에 걸쳐 수평으로 스트리밍된다. 이와 동일한 메커니즘은 추론 시점에서 위치별 연속적인 잠재 숙고를 지원하여, 토큰을 확정하기 전에 추가적인 FLOPs를 추상적 추론 탐색에 할당할 수 있게 한다. 2단계 병렬 학습 절차는 순차적 순환을 근사하여 공동 학습을 계산적으로 실용적으로 만든다. 은닉 상태 분석에 따르면, 상태 스트림은 연속 잠재 공간에서 명확하고 내용에 의존적인 재구성을 통해 추론을 촉진하며, LM 헤드는 그 결과로 나타나는 잠재 신념 상태를 출력 분포를 통해 드러내고, 상태 스트림은 이를 이후 위치들에 영향을 미치도록 전달한다. 학습된 프로브는 첫 번째로 생성된 토큰에서 이미 잠재 상태가 이후의 모든 위치에서 추가적인 잠재 계산 하에 최종 답이 유지될지 또는 무너질지를 예측함을 보여준다. 단지 소규모의 GSM8K 예제 데이터셋만을 사용하여 기존 27B 백본에 공동 학습시키고, 각 질문을 토큰당 1회에서 4회의 순환적 순전파 깊이로 라우팅하는 오라클을 사용하여 평가한 결과, SST는 분포 외 GPQA-Diamond에서 61.11%의 아키텍처 역량 상한을 달성했으며, 이는 미세조정 매칭 기준선 대비 +15.15포인트의 향상이고, 동일한 기준선에 남아 있는 GSM8K 오류를 46% 줄인다. 이러한 결과들은 비선형 순환을 효율적으로 학습시키는 방법을 제시하며, 상태 스트림이 그 외에는 학습이 매칭된 트랜스포머가 가진 역량을 넘어서는 추가적인 추론 역량을 제공함을 보여준다.