상태 공간 모델(SSM)은 대규모 언어 모델(LLM)과 비교하여 유사한 성능에서 더 작은 메모리, 학습(training), 추론(inference) 풋프린트를 제공하므로 에지(Edge) 환경에 점점 더 많이 배포되고 있습니다. 이러한 세 가지 장점은 SSM 아키텍처 고유의 시간 순환성에서 비롯된 직접적인 결과입니다. 본 연구에서는 기존에 충분히 탐구되지 않았던 두 가지 직교적인 질문에 긍정적인 답을 제시함으로써 이러한 순환 아키텍처를 더욱 개선합니다: (1) 깊이 순환(depth recurrence)을 함께 적용하여 성능 저하 없이 SSM의 메모리 풋프린트를 줄일 수 있는가? (2) 모든 작업에 걸쳐 고정되고 일관된 시간 단위(time-granularity)를 사용하여 SSM 성능을 향상시킬 수 있는가? SSM이 이미 순환적이라는 점을 고려할 때 첫 번째 질문은 다소 의외일 수 있습니다. 그러나 직교적인 깊이 순환은 SSM의 메모리 풋프린트를 더욱 줄여줍니다. 우리는 $k$개의 파라미터를 가지고 $M$번 적응적으로 반복되는 루프형 SSM이, $k \cdot L$개의 독립적인 파라미터를 가진 표준 SSM($M \leq L$)과 대등한 성능을 달성함을 보여줍니다. 두 번째 질문 역시 SSM 아키텍처의 시간 순환적 특성을 고려할 때 예상 밖일 수 있습니다. 하지만 전체 입력 시퀀스에 대한 SSM의 시간 병렬 학습 관점에서는 완전히 타당합니다. 우리는 저차원 시퀀스 요소에 대해 시간 단계를 연결(concatenate)하거나, 고차원 요소에 대해 결합된 특징(feature)-시간 차원을 평탄화(flattening) 및 재청킹(re-chunking)함으로써 정보가 모델(model)에 제시되는 방식을 개선하여 기준선(baseline)을 향상시킬 수 있음을 보여줍니다. 두 가지 확장에 대한 우리의 결과는 네 가지 대표적인 SSM 아키텍처인 LRU, S5, LinOSS, LrcSSM 전반에 걸쳐 일관된 이점으로 이어집니다.
순환 신경망(RNN) 학습은 긴 연산 시퀀스에 걸쳐 credit을 할당해야 한다. 표준 시간 역전파(BPTT)는 이 문제를 잘 해결하지 못한다. 시간적으로 순차적이어서 병렬성을 제한하고, 소실 또는 폭발 그래디언트에 시달려 장거리 연관을 학습하기 어렵다. 우리는 지도 기억 학습(Supervised Memory Training, SMT)을 제안한다. 이는 RNN 학습을 일(step) 기억 전이 레이블 $(m_t, x_{t+1}) \rightarrow m_{t+1}$에 대한 지도 학습으로 환원함으로써 순환 credit 전파를 완전히 우회하는 비선형 RNN 학습 방법이다. SMT는 예측 상태 목적(predictive state objective)으로 트랜스포머 기반 인코더를 학습하여 이러한 기억 레이블을 획득한다—미래를 예측하는 데 필요한 과거 정보만을 유지한다. 무엇을 기억할지와 기억을 어떻게 갱신할지를 분리함으로써, SMT는 RNN을 전개(unroll)하지 않고도 임의의 두 토큰 사이에 안정적인 $O(1)$ 길이의 그래디언트 경로를 갖는 시간 병렬 RNN 학습을 가능하게 한다. 언어 모델링 및 픽셀 시퀀스 모델링과 같은 과제에서 다양한 RNN 아키텍처를 사전학습할 때 SMT가 BPTT보다 우수한 성능을 보임을 확인했다. SMT는 비선형 RNN이 장거리 의존성을 더 잘 포착하고 병렬로 학습할 수 있게 하며, 과거 경험의 시간적 추상화를 구축하는 모델의 스케일링을 잠재적으로 가능하게 한다.
구조화된 상태 공간 모델(SSM)은 최근 인기 있는 Mamba 아키텍처의 핵심이며, 시퀀스 모델링을 위한 강력한 도구이다. 그러나 이들의 이론적 기반은 연속 시간 모델링과 이후 이산화를 거치는 복잡한 다단계 과정에 의존하므로 직관을 흐릴 수 있다. 우리는 유연하고 모듈적인 이산 시간 SSM을 구성하기 위한 직접적이고 제1원칙(first-principles) 기반의 프레임워크를 제안한다. 우리의 접근법은 새로운 지연 연산자(lag operator)에 기반하며, 시스템의 기저 함수들이 한 타임스텝에서 다음 타임스텝으로 넘어갈 때 우리가 도메인 확장(domain expansion)이라고 부르는 변화를 겪는 방식을 측정하여 이산 시간 재귀 관계를 기하학적으로 유도한다. 결과적인 상태 행렬은 이 연산자를 포함하는 단일 내적을 통해 계산되며, 서로 다른 기저 함수와 시간 왜곡(time-warping) 방안을 유연하게 결합하여 새로운 SSM을 만들 수 있는 모듈형 설계 공간을 가능하게 한다. 프레임워크의 검증을 위해, 특정 인스턴스가 영향력 있는 HiPPO 모델의 재귀 관계를 정확히 복원함을 보여준다. 수치 시뮬레이션은 우리의 유도를 확인하며, 유연하고 견고한 시퀀스 모델을 설계하기 위한 새로운 이론적 도구를 제공한다.
인터넷의 급속한 발전과 함께 사용자들은 온라인 콘텐츠 소비 플랫폼의 추천 정확도에 대해 점점 더 높은 기대를 갖고 있다. 그러나 단편 동영상에는 다양한 구간이 포함되는 경우가 많으며, 사용자가 모든 구간에 대해 동일한 태도를 갖는 것은 아니다. 동영상을 하나의 통합된 개체로 취급하는 전통적인 이진 분류 기반 추천 모델은 이러한 미묘한 선호를 정확히 포착하는 데 한계가 있다. 사용자 소비가 시간적 과정이라는 점을 고려하여, 본 논문은 통계 분석과 행동 패턴 검토를 통해 사용자 행동의 시점이 다양한 의도를 나타낼 수 있음을 보인다. 이 통찰에 기반하여, 시간 차원을 따라 사용자 행동을 정제하고 이를 시퀀스로 연결하여 통합 처리 및 예측을 수행하는 새로운 모델링 패러다임인 Action-Aware Generative Sequence Network(A2Gen)를 제안한다. 먼저, 항목별 맥락적 특징으로 풍부해진 행동 시퀀스를 모델링하기 위해 Context-aware Attention Module(CAM)을 도입한다. 이를 바탕으로 사용자의 과거 행동으로부터 시간적 행동 패턴을 학습하는 Hierarchical Sequence Encoder(HSE)를 개발한다. 마지막으로 CAM을 활용하여 행동 시퀀스 생성을 위한 모듈인 Action-seq Autoregressive Generator(AAG)를 설계한다. Kuaishou 데이터셋과 Tmall 공개 데이터셋에서의 광범위한 오프라인 실험은 제안 모델의 우수성을 입증한다. 또한 Kuaishou 플랫폼에 배포한 대규모 온라인 A/B 테스트를 통해, 본 모델은 시퀀스 정보를 활용한 다중 과제 예측에서 기준선 방법 대비 유의미한 개선을 달성한다. 구체적으로 사용자 시청 시간 0.34%, 상호작용률 8.1%, 전체 사용자 유지율(LifeTime-7) 0.162%의 증가를 달성하였으며, 이에 따라 전체 트래픽에 성공적으로 배포되어 매일 4억 명 이상의 사용자에게 서비스를 제공한다.
상태 공간 모델(SSM)은 효율적인 장문 시퀀스 모델링을 위한 강력한 패러다임으로 부상했으며, 병렬 학습과 빠른 선형 시간 순환 추론을 제공한다. 그러나 다른 순환 아키텍처와 마찬가지로, SSM은 무한한 이력을 고정 크기 상태로 압축해야 하므로 컨텍스트 보존이 제한되고 장거리 컨텍스트에서의 정밀한 검색이 본질적으로 어렵다. 이러한 한계를 극복하기 위해, 우리는 지연 상태 공간 모델(DSSM)을 제안한다. DSSM은 지연 미분 방정식(DDE)에서 착안한 대각 SSM의 확장으로, 이산 SSM 순환에 명시적 지연 상태 피드백을 추가한다. 명시적 지연 피드백을 실용적으로 구현하려면 새로운 안정성 매개변수화, 이력 관리, FFT 학습 도구가 필요하다. 우리는 단순한 지연 독립적 안정성 조건에 기반한 실용적인 이산화 및 매개변수화를 통해 이러한 과제를 해결한다. 시간 영역 커널 직접 구성을 우회하기 위해 DSSM 전달 함수를 유도하고 주파수 영역에서 커널을 계산하며, 커널 등고선 이동을 사용하여 앨리어싱을 억제하고 정확한 FFT 학습을 복원한다. 실험적으로, DSSM은 목표 지연 검색 태스크에서 성능을 크게 향상시키는 동시에 대부분의 표준 시퀀스 지표에서 S4D를 능가하며 나머지 지표에서도 근접한 성능을 유지한다.
단위원 다양체 $S^1$ 위에서 시퀀스 상태를 위상(phase)으로 표현하는 Phasor Transformer 블록을 제안하며, 학습 가능한 위상 이동과 파라미터 없는 이산 푸리에 변환(DFT) 토큰 결합을 조합해 명시적 어텐션 맵 없이 $\mathcal{O}(N\log N)$ 전역 토큰 혼합을 달성한다. 이를 쌓아 구성한 Large Phasor Model(LPM)은 합성 다중 주파수 시계열 벤치마크에서 셀프-어텐션 대비 훨씬 적은 파라미터로 경쟁력 있는 성능을 보이며, 진동 도메인에서의 확장 가능한 시간적 모델링에 대한 효율성-정확도 프론티어를 제시한다.
신분증의 홀로그램(OVD) 진위 검증을 위해 공격 샘플 없이 자기지도(self-supervised) 방식으로 학습 가능한 두 가지 시퀀스 모델링 접근법—판별적 스팬 기반 분류기 HoloVerif-Span과 생성적 마스크 시퀀스 모델링(MSM)—을 제안하며, OVD의 시간적 전이 동역학을 명시적으로 모델링함으로써 MIDV-Holo 및 MIDV-DynAttack 데이터셋에서 기존 최신 기법을 능가함을 입증한다.
층 단위(layer-wise) 동역학의 한계를 극복하고자, TND(Topological Neural Dynamics)는 각 뉴런이 방향성 그래프 위상을 통해 독립적으로 진화하는 뉴런 단위(neuron-wise) 시퀀스 모델링 프레임워크를 제안한다. 1인용 Pong 행동 복제 태스크에서 TND는 라운드당 평균 17.47회의 연속 캐치를 달성하며, 가장 강력한 기준선인 CfC(6.14회) 대비 세 배 이상의 성능을 기록했다.
기존 SSM의 1차 업데이트에서 비롯되는 스펙트럼 불균형과 장기 메모리 열화 문제를 해결하기 위해, MuonSSM은 모멘텀 기반 경로와 Newton–Schulz 정규화를 통해 메모리 업데이트의 기하학적 조건을 명시적으로 개선하는 범용 프레임워크를 제안한다. 병렬 스캔 복잡도를 유지하면서 그라디언트 전파 안정성과 스펙트럼 조건화를 이론적으로 보장하며, 언어·비전·시계열 벤치마크 전반에 걸쳐 다양한 SSM 백본에 통합 시 일관된 성능 향상을 보인다.
Sequence learning has emerged as the promising paradigm in recommendation systems, surpassing traditional Deep Learning Recommendation Models (DLRM) by capturing the temporal nuances of user behavior. However, current state-of-the-art architectures operate under a limiting analogy: they treat user history as a monolithic chronological sequence like a sentence in a Large Language Model (LLM). We observe a fundamental divergence between natural language and recommendation data: unlike the linear, logical flow of text, user history is inherently multi-faceted. A user's journey is a fragmented reflection of diverse interests, resulting in much weaker coherence between items than is found in LLM training data. This lack of structural unity leads to context pollution. In single-sequence modeling, unrelated behaviors compete for the same attention budget. This "noisy" signal dilutes the model's focus, effectively capping its ability to discern high-intent patterns from background activity. To address this, we propose Constructive Multi-Sequence Learning (CMSL), a paradigm shift from passive sequence ingestion to active "context engineering" that constructs multiple coherent sequences in latent space. CMSL leverages a learnable Sequence Construction Module to disentangle user history into "pure" thematic strands, followed by a linear attention mechanism to efficiently model these strands at scale. CMSL has been deployed across ranking and retrieval tasks and across four major surfaces at Meta.
SSM과 LRU 같은 선형 순환 신경망은 장시퀀스 모델링에서 강하지만 초기화·정규화가 복잡한 한계가 있어, 회전 행렬(rotation matrix)로 순환 상태를 매개변수화한 RotRNN을 제안한다. 이 모델은 단순하고 효율적이며 학습 내내 이론과 구현이 일치하는 안정적 정규화(normalization)를 제공하고, 여러 장시퀀스 모델링 데이터셋에서 최신 선형 순환 모델과 경쟁력 있는 성능을 달성한다.
에어비앤비 검색 랭킹에 JourneyFormer를 배포해 길고 탐색적인 게스트 여정과 희소한 예약 라벨 문제 아래에서 게스트 이벤트 선택, ID 임베딩, 모델 아키텍처, 라벨 귀속 등 운영 설계와 학습·추론 가속 전략을 다루며 Transformer로 게스트 여정을 인코딩했다. 오프라인 랭킹 지표가 개선되었고 두 프로덕션 서피스의 온라인 A/B 테스트에서 핵심 비즈니스 지표도 유의미하게 향상되었다.