재형상화와 순환: 입력 재형상화 및 깊이 순환을 통한 SSM 개선
Reshape and Recur: Improving SSMs with Input Reshaping and Depth Recurrence
상태 공간 모델(SSM)은 대규모 언어 모델(LLM)과 비교하여 유사한 성능에서 더 작은 메모리, 학습(training), 추론(inference) 풋프린트를 제공하므로 에지(Edge) 환경에 점점 더 많이 배포되고 있습니다. 이러한 세 가지 장점은 SSM 아키텍처 고유의 시간 순환성에서 비롯된 직접적인 결과입니다. 본 연구에서는 기존에 충분히 탐구되지 않았던 두 가지 직교적인 질문에 긍정적인 답을 제시함으로써 이러한 순환 아키텍처를 더욱 개선합니다: (1) 깊이 순환(depth recurrence)을 함께 적용하여 성능 저하 없이 SSM의 메모리 풋프린트를 줄일 수 있는가? (2) 모든 작업에 걸쳐 고정되고 일관된 시간 단위(time-granularity)를 사용하여 SSM 성능을 향상시킬 수 있는가? SSM이 이미 순환적이라는 점을 고려할 때 첫 번째 질문은 다소 의외일 수 있습니다. 그러나 직교적인 깊이 순환은 SSM의 메모리 풋프린트를 더욱 줄여줍니다. 우리는 $k$개의 파라미터를 가지고 $M$번 적응적으로 반복되는 루프형 SSM이, $k \cdot L$개의 독립적인 파라미터를 가진 표준 SSM($M \leq L$)과 대등한 성능을 달성함을 보여줍니다. 두 번째 질문 역시 SSM 아키텍처의 시간 순환적 특성을 고려할 때 예상 밖일 수 있습니다. 하지만 전체 입력 시퀀스에 대한 SSM의 시간 병렬 학습 관점에서는 완전히 타당합니다. 우리는 저차원 시퀀스 요소에 대해 시간 단계를 연결(concatenate)하거나, 고차원 요소에 대해 결합된 특징(feature)-시간 차원을 평탄화(flattening) 및 재청킹(re-chunking)함으로써 정보가 모델(model)에 제시되는 방식을 개선하여 기준선(baseline)을 향상시킬 수 있음을 보여줍니다. 두 가지 확장에 대한 우리의 결과는 네 가지 대표적인 SSM 아키텍처인 LRU, S5, LinOSS, LrcSSM 전반에 걸쳐 일관된 이점으로 이어집니다.