딥 상태 공간 모델(deep SSM)의 가우시안 잠재 전이 한계와 확산 모델(diffusion model)의 기저 역학 추론 부족을 해결하기 위해, 가우시안 전이를 확산 모델로 대체하는 DDSSM(Diffusion-Driven State Space Model)을 제안하고 순차 데이터에서 오토인코더와 확산 모델의 공동 학습(joint training) 방법을 제시한다. 다중모드 전이를 갖는 시뮬레이션 시계열에서 DDSSM이 최첨단 딥 SSM보다 적합과 예측에서 우수한 성능을 보였다.
최근의 Mamba 아키텍처와 같은 심층 상태 공간 모델(SSM)은 CNN 및 Transformer 네트워크의 유망한 대안으로 부상하고 있다. 기존의 Mamba 기반 복원 방법은 이미지 패치를 1차원 시퀀스로 변환한 뒤 스캔하는 평탄화-스캔 전략을 활용하여 시각 데이터를 처리한다. 그러나 이러한 스캔 방식은 국소 픽셀 의존성을 무시하고 멀리 떨어진 픽셀을 잘못 인접하게 배치하여 공간적 불일치를 야기하며, 이는 저수준 비전 작업에서 국소 잡음 인식을 낮추고 이미지 선명도를 저하시킨다. 이러한 문제를 극복하기 위해 슬라이스 내부와 슬라이스 간 스캔을 번갈아 수행하는 새로운 슬라이스-스캔 전략을 제안한다. 또한 이미지 디블러링을 위한 새로운 비전 상태 공간 모듈(VSSM)을 설계하고, 현재 Mamba 기반 비전 모듈의 비효율성 문제를 해결한다. 이를 바탕으로 향상된 이미지 디블러링을 위해 경량 특징 융합 모듈이 통합된 SSM 아키텍처인 XYScanNet을 개발한다. XYScanNet은 경쟁력 있는 왜곡 지표를 유지하면서 지각적 성능을 크게 향상시킨다. 실험 결과, XYScanNet은 가장 근접한 경쟁 모델 대비 KID를 $17\%$ 향상시킨다.
선형 어텐션(Linear attention) 및 순환 모델(recurrent model)은 이전 토큰들을 매 스텝마다 업데이트되는 고정 크기의 상태(state)로 압축합니다. 그러나 대규모 배치 크기에서 이러한 상태를 높은 정밀도로 저장하면 상당한 메모리 및 대역폭 비용이 발생하므로 저비트 상태 양자화(quantization)가 요구됩니다. 가중치나 키-값 캐시(key-value cache)와 달리, 순환 상태는 매 업데이트 후 다시 양자화되므로 양자화 오차가 스텝에 걸쳐 누적됩니다. 본 연구의 분석에 따르면 이러한 오차는 스텝 전반에 걸쳐 높은 일관성(coherence)을 보이므로, 스텝별 오차를 줄이는 것만으로는 충분하지 않습니다. 이러한 일관성은 주로 반올림 과정에서 손실되는 미세한 업데이트로 인해 발생합니다. 본 논문에서는 이러한 업데이트를 보존하기 위해 반올림 전과 반올림 시점 모두에서 개입하는 방안을 제안합니다. 반올림 전 단계에서는 미세한 업데이트를 소형 저계수 버퍼(low-rank buffer)에 누적하고 충분히 커진 요소를 주기적으로 상태에 병합하는 저계수 바이패스(Low-Rank Bypass, LRB)를 제안합니다. 반올림 시점에서는 상태 요소가 업데이트 방향과 반대로 이동할 수도 있으며, 이러한 역전 현상이 특히 유해함을 확인했습니다. 따라서 추가적인 저장 공간 없이 역전된 요소를 업데이트 방향으로 반올림하는 유계 방향성 반올림(Bounded Directional Rounding, BDR)을 제안합니다. BDR은 반올림 오차를 증가시키지만 모델 성능을 향상시키며, 이는 단일 스텝에서의 반올림 오차보다 업데이트 방향이 더 중요함을 시사합니다. Gated DeltaNet, GLA, Mamba2, RetNet 전반에서 본 연구의 학습(training) 불필요 방식은 INT4를 크게 능가하는 동시에, FP32 상태 대비 상태 메모리를 최대 5.3배 절감하고 디코딩 속도를 최대 1.9배 향상합니다.
구조화된 상태 공간 모델(SSM)은 S4 및 S4D 아키텍처를 포함하여, 최근 시퀀스 데이터에서 장기 의존성을 포착하는 데 있어 어텐션 기반 모델의 강력한 대안으로 부상했다. 그러나 뛰어난 실증적 성능에도 불구하고, 계산 및 메모리 요구량으로 인해 시간 및 자원이 제약된 환경에서 이러한 모델을 배치하는 것은 여전히 어렵다. 본 논문에서는 S4 및 S4D 기반 모델을 위한 새로운 점진적 연산자 수준 가지치기 접근법을 제안한다. 이 방법은 예측 성능을 유지하면서 추론 비용을 크게 줄인다. 우리의 지식 범위 내에서, 본 연구는 SSM에 대한 구조화된 연산자 가지치기를 체계적으로 조사한 최초의 연구이다. 우리의 방법은 구조화된 마스킹과 미세조정을 교차 적용하면서 모델 연산자를 점진적으로 가지치기하고, 정확도와 추론 지연 시간을 함께 모니터링한다. 우리는 이 접근법을 통합 학습 및 평가 프레임워크 내에 구현하여, 효율성-정확도 트레이드오프를 체계적으로 탐험할 수 있게 한다. 여러 벤치마크 데이터셋에 걸친 실험 결과, 모델 연산자의 최대 70%까지 가지치기해도 대부분의 경우 원본 모델의 성능을 유지하면서 추론 지연 시간을 크게 줄일 수 있음을 보여준다. 이러한 결과는 구조화된 연산자 가지치기가 SSM의 효율성을 향상시키는 효과적이고 이전에 탐구되지 않은 전략임을 보여주며, 실용적인 자원 제약 시나리오에서의 배치를 촉진한다.
본 논문에서는 메모리에 대한 명시적 가정으로부터 효율적인 순환 시퀀스 매핑을 유도하는 방식인 설계-모델 프레임워크(design-model framework)를 소개합니다. 설계 모델은 정확한 베이즈 필터링(Bayesian filtering)을 통해 증거를 메모리에 기록하며, 쿼리 의존적 판독(query-dependent readout)은 평균이 층 출력이 되는 예측 분포를 생성합니다. 선형 가우시안(linear-Gaussian) 구체화에서 베이지안 층(Bayesian Layer)은 평균과 공분산을 모두 전파합니다. 여기서 공분산은 저장된 연관성에 대한 불확실성을 추적하여, 쓰기 동작을 불확실한 방향으로 유도하고 증거가 축적됨에 따라 이득을 감쇄시키며 확신도가 높은 메모리를 보존합니다. 동일한 프레임워크는 여러 아이차(sub-quadratic) 순환 모델을 통합합니다. 즉, 선형 어텐션(linear attention), GLA 및 Mamba-2/SSD는 잠재 입력(latent-input) 설계 모델 하에서의 정확한 필터인 반면, DeltaNet 및 관련 델타 규칙(Delta-rule) 모델들은 베이지안 층 설계 모델의 공분산 초기화 축약형입니다. 공분산 전파를 복원하면 검색 동역학에 대한 닫힌 형식(closed-form)의 예측이 가능해지며, 이를 실증적으로 검증하고 제어된 충돌 연구, 학습된 연관 재현율(associative recall) 및 Zoology MQAR 벤치마크에서 학습 범위를 넘어서는 견고성을 향상시킵니다. 일치된 상태 예산 하에 WikiText-103에서 처음부터 학습(training from scratch)했을 때 연관 재현율 적중 시의 펄플렉서티(perplexity)가 낮아집니다. 사전학습된 340M Gated DeltaNet에 베이지안 층을 지식 증류하면 2.5–2.7%의 검증 펄플렉서티 비용으로 동일 연산량 제어군 대비 RULER 긴 컨텍스트 검색 성능이 향상됩니다.
재귀적 자기 개선을 향해, 우리는 대규모 언어 모델(LLM) 에이전트가 표준 트랜스포머(Transformer)를 넘어 파운데이션 모델을 자율적으로 설계하는 방안을 연구한다. 우리는 고수준 아키텍처 탐색을 위한 AIRA-Compose와 저수준 메커니즘 구현을 위한 AIRA-Design이라는 이중 프레임워크 접근법을 소개한다. AIRA-Compose는 24시간의 예산 하에 11개의 에이전트를 사용하여 기본적인 계산 프리미티브를 탐색한다. 에이전트들은 백만 단위 매개변수 후보들을 평가하고, 상위 설계를 350M, 1B, 3B 규모로 외삽한다. 이를 통해 두 가지 패밀리에 걸친 14개의 아키텍처, 즉 AIRAformer(트랜스포머 기반)와 AIRAhybrid(트랜스포머-Mamba 기반)가 도출된다. 1B 규모에서 사전학습된 이 모델들은 Llama 3.2 및 Composer 기반 기준 모델들을 일관되게 능가한다. 다운스트림 태스크에서 AIRAformer-D와 AIRAhybrid-D는 Llama 3.2 대비 정확도를 각각 2.4% 및 3.8% 향상시킨다. 나아가 AIRA-Compose는 매우 효율적인 스케일링 프론티어를 갖춘 모델들을 발견하는데, AIRAformer-C는 Llama 3.2 및 Composer의 최적 트랜스포머보다 54% 및 71% 더 빠르게 스케일링되며, AIRAhybrid-C는 Nemotron-2보다 23%, Composer의 최적 하이브리드보다 37% 뛰어난 스케일링 속도를 보인다. AIRA-Design은 20개의 에이전트에게 장거리 의존성을 위한 새로운 어텐션(attention) 메커니즘과 고성능 학습(training) 스크립트를 작성하도록 지시한다. Long Range Arena 벤치마크에서 에이전트가 설계한 아키텍처는 문서 매칭 및 텍스트 분류(classification)에서 인간의 최고 성능(SOTA) 대비 2.3% 및 2.6% 이내의 격차를 달성한다. Autoresearch 벤치마크에서는 Greedy Opus 4.5가 고정된 시간 예산 하에서 0.968의 검증(validation) 비트/바이트(bits-per-byte)를 달성하여 기존에 발표된 최솟값을 넘어섰다. 종합하면, 이러한 프레임워크들은 AI 에이전트가 사람이 수작업으로 설계한 기준 모델과 대등하거나 이를 능가하는 아키텍처 및 알고리즘 최적화를 자율적으로 발견할 수 있음을 보여준다. 이는 차세대 파운데이션 모델을 발견하기 위한 강력한 패러다임을 확립하며, 재귀적 자기 개선을 향한 분명한 진전을 나타낸다.
문맥 내 학습(ICL)을 통해 시퀀스 모델은 입력에 포함된 예시들로부터 새로운 작업에 적응할 수 있습니다. 기존의 주요 연구들은 순전파(forward pass) 과정에서 문맥 내 예시에 적합하도록 선형 예측기에 경사하강법을 구현하는 셀프 어텐션 구성 방식을 보여주었습니다. 상태 공간 모델(SSM) 및 기타 선형 순환 신경망(LRNN)은 선형 시간 복잡도로 시퀀스를 모델링하지만, 이러한 순환 업데이트가 어떻게 동일한 문맥 내 경사하강법을 수행할 수 있는지는 불분명합니다. 본 논문에서는 지도 학습 그래디언트 단계를 짧은 윈도우 외적(cross-product) 쓰기와 다음 쿼리의 곱셈 기반 읽기로 인수분해하는 대각 LRNN 구조인 Gradient-based Recurrent In-context Learner(GRIL)를 소개합니다. 선형 회귀의 경우, 이 구성은 행렬 상태에 문맥 그래디언트를 누적하고 이를 $O(f^2)$개의 학습된 자유도로 단일 순전파 내에서 적용합니다. 동일한 설계는 다단계 업데이트와 교차 엔트로피 분류로 확장되며, MLP 기반의 제한적인 확장을 통해 비선형 회귀에도 적용할 수 있습니다. 우리는 합성 ICL 작업에서 학습된 GRIL이 이론적 분석을 통해 예측된 동작과 파라미터를 그대로 재현함을 실험적으로 보입니다. 나아가 동일한 아키텍처를 확장하여 Long Range Arena, 언어 모델링, 연상 회상(associative recall)을 포함한 범용 벤치마크에서 학습할 수 있습니다. 종합적으로 이러한 결과들은 윈도우 기반 외적 셀프 어텐션이 범용 작업에서 학습 가능한 상태를 유지하면서도, LRNN이 경사하강법과 유사한 업데이트를 통해 문맥 내 학습을 수행할 수 있도록 하는 구체적인 귀납적 편향(inductive bias)임을 규명합니다.
Mamba2와 같은 최신 상태 공간 모델(SSM)은 선형 시간 시퀀스 모델링과 순환 상태 공간 역학을 결합하여 트랜스포머의 강력한 대안을 제시합니다. 그러나 분산 학습 환경에서 SSM의 동작은 여전히 잘 이해되지 않고 있습니다. 특히 기존의 표준 연합학습(federated learning) 방식들은 대부분 아키텍처에 구애받지 않으며(architecture-agnostic), 최신 선택적 SSM의 특징인 안정성, 선택성 및 상태 공간 파라미터화를 고려하지 않습니다. 이를 해결하기 위해 본 논문에서는 단일 층 및 다중 층 선택적 SSM에 대한 아키텍처 인지 그래디언트 및 평활도(smoothness) 경계를 도출하고, FedAvg와 FedProx에 대한 수렴 경계를 도출하여 순환 안정성, 입력 의존적 이산화, 상태 투영 노름(norm)이 연합 최적화에 미치는 영향을 규명합니다. 이어서 분석된 순환을 따르는 학습자(learner)를 활용해 교사 SSM이 생성한 시퀀스 상에서 단일 층 경계를 수치적으로 검증합니다. 이러한 분석을 바탕으로 로컬 학습과 클라이언트 이질성의 영향에 대한 가설을 수립하고, 6개 텍스트 도메인에 걸친 Mamba2 언어 모델링에서 9개의 연합학습 알고리즘을 비교하여 이를 검증합니다. 본 실험들은 SSM 맞춤형 경계가 실제 연합학습 알고리즘의 동작을 해석하는 기초를 어떻게 제공할 수 있는지를 보여줍니다.
하이브리드 어텐션(hybrid-attention) 모델은 대부분의 소프트맥스 어텐션 레이어를 선형 어텐션으로 대체하여 KV 캐시 증가를 줄이고 더 큰 디코드 배치를 가능하게 하지만, 이 경우 순환 상태(recurrent-state) 접근이 주요 병목이 됩니다. ReplaySSM은 키와 값을 버퍼링하여 상태 업데이트 비용을 분할 상환하지만, 상태 업데이트 사이에 상태가 변하지 않더라도 각각의 새로운 쿼리는 여전히 전체 상태 읽기를 필요로 합니다. 본 연구에서는 저랭크(low-rank) 상태 가중 쿼리 근사가 상태 읽기 출력을 정확하게 보존함을 관찰했습니다. 미래의 쿼리는 알 수 없지만, 이를 근사하는 데 사용되는 기저 벡터(basis vector)는 오프라인에서 고정할 수 있습니다. 이러한 관찰을 바탕으로, 전체 상태 업데이트는 유지하면서 읽기를 근사하는 SketchSSM을 제안합니다. 각 상태 업데이트 시 SketchSSM은 전체 상태를 한 번 읽어 이러한 기저 벡터에 대한 출력을 사전 계산하고 이를 간결한 스케치에 저장합니다. 이후의 각 디코드 단계는 전체 상태 읽기 없이 스케치 벡터를 쿼리 종속 계수와 결합하여 출력을 재구성합니다. Mamba-2, GDN, KDA 기반의 4개 모델 전반에서 평균 스케치 랭크 8의 SketchSSM은 4개의 디코드 벤치마크에 걸쳐 FP32 전체 상태 기준선(baseline)의 평균 정확도를 유지하면서 상태 접근 트래픽을 약 10$\times$ 감소시켰으며, 4개의 RULER 검색 작업에서 재현율(recall)을 보존했습니다. 단일 NVIDIA B300 환경의 해당 랭크에서 표준 vLLM 기준선 대비 선형 어텐션 커널 속도 향상은 Mamba-2, GDN, KDA에 대해 각각 7.30$\times$, 5.02$\times$, 5.24$\times$에 달했으며, Nemotron 3 Super에서 최대 2.77$\times$ 더 높은 디코드 처리량을 달성했습니다.
선형 어텐션(linear attention)은 고정된 크기의 순환 상태(recurrent state)를 통해 완전한 어텐션(full attention)에 대한 효율적인 대안을 제공합니다. 그러나 이 상태가 모든 토큰에 의해 공유되기 때문에 서로 다른 토큰의 정보가 상태 내에서 중첩(superposed)되어 토큰 간 간섭을 유발하고, 이는 장거리의 세밀한 재현율(recall)을 저하시킵니다. 이러한 문제를 해결하기 위해, 본 논문에서는 공유 상태에 대한 조밀한(dense) 접근을 희소 주소 기반 접근으로 대체하는 RAM-Net을 제안합니다. RAM-Net은 순환 상태를 독립적인 슬롯들의 고정 크기 배열로 구성하며, 각 키(key) 또는 쿼리(query)를 희소 주소에 매핑하는 주소 디코더(Address Decoder)를 사용하여 각 스텝에서 쓰거나 읽을 슬롯의 작은 하위 집합을 선택합니다. 이러한 설계는 주소가 겹치지 않는 토큰들을 서로 다른 슬롯으로 유도하여 토큰 간 간섭을 억제하면서도, 스텝당 상태 접근이 전체 상태 크기가 아닌 선택된 슬롯의 수에만 의존하도록 유지합니다. 실험적으로 RAM-Net은 세밀한 장거리 검색에서 강력한 순환 베이스라인들을 능가하며, 경쟁력 있는 상식 추론 능력과 함께 가장 낮은 퍼플렉서티(perplexity)를 달성합니다. 또한 모든 베이스라인보다 스텝당 더 적은 상태 요소에 접근하면서도 이러한 결과를 달성하며, 예를 들어 Mamba2 대비 $8\times$ 적은 요소에 접근합니다.
본 논문에서는 선택적 상태 공간(Selective State Space) 모델 기반의 심층 신경망을 사용하여 광학 다이내믹 레인지 컴프레서(optical dynamic range compressor)를 모델링하는 방법을 제시합니다. 제안된 접근 방식은 선택적 상태 공간 블록을 채택하여 입력 오디오를 인코딩함으로써 순환 신경망(recurrent) 레이어 기반의 기존 방법들을 능가합니다. 또한, Feature-wise Linear Modulation(FiLM)과 Gated Linear Unit(GLU)을 통합하여 네트워크를 동적으로 조정하고, 외부 매개변수에 따라 컴프레션의 어택(attack) 및 릴리즈(release) 단계를 조건화하는 정교한 기법을 특징으로 합니다. 제안된 아키텍처는 라이브 오디오 처리에 필수적인 저지연 및 실시간 애플리케이션에 매우 적합합니다. 이 방법은 서로 다른 특성을 지닌 아날로그 광학 컴프레서인 TubeTech CL 1B와 Teletronix LA-2A를 통해 검증되었습니다. 정량적 지표와 주관적 청취 테스트를 사용하여 평가를 수행하였으며, 제안된 방법을 다른 최신 모델들과 비교하였습니다. 결과에 따르면 본 블랙박스 모델링 방법이 다른 모든 모델보다 우수한 성능을 보이며, 학습(training) 중 확인된 설정과 확인되지 않은 설정 모두에서 컴프레션 과정을 정확하게 에뮬레이션함을 보여줍니다. 나아가 이러한 정확도와 데이터셋(dataset) 내 제어 매개변수의 샘플링 밀도 간의 상관관계를 보여주며, 빠른 어택과 느린 릴리즈를 갖는 설정이 에뮬레이션하기에 가장 까다롭다는 점을 규명합니다.
안전 헤드(safety head)는 생성 전에 유해한 입력을 감지하기 위해 사전학습(pre-training)된 언어 모델에 부착되는 경량 분류기입니다. 이들의 실증적인 탐지 성능은 연구되었으나, 정형화된 강건성(robustness) 특성은 여전히 거의 탐구되지 않은 상태입니다. 본 연구에서는 상태 공간 모델(State Space Model, SSM) 기반 안전 헤드가 유계 임베딩(embedding) 공간 섭동(perturbation) 내의 모든 입력에 대해 동일한 예측을 생성함을 언제 보증할 수 있는지 묻습니다. 우리는 그 답이 단 하나의 조건에 달려 있음을 증명합니다. 즉, 상태 전이 행렬의 $l_\infty$ 노름이 $\norm{A}_\infty<1$(수축 조건, contraction condition)을 만족해야 하며, 이는 선형 시불변 분류기에 대한 정확한 구간 경계 전파(interval bound propagation, IBP) 보증을 가능하게 합니다. 수축 조건이 성립할 때 도달 가능한 출력 구간은 유계의 정상 상태(steady-state) 너비를 가지며 예제들이 강건하게 분류된 것으로 보증될 수 있습니다. 반면 조건이 성립하지 않으면 구간이 시퀀스 길이에 따라 지수적으로 증가하여 실용적인 섭동 반경에서는 보증이 불가능해집니다. 우리는 힌지 페널티(hinge penalty)로 수축을 강제하며, 유해 댓글 데이터에서 보증 비율이 41%에서 59%로 향상되고 이론과 일치하게 $\norm{A}_\infty=1$에서 뚜렷한 실증적 상전이(phase transition)가 나타남을 보입니다. JailbreakBench의 탈옥(jailbreak) 탐지에 수축 정규화된 S4 헤드를 적용하여, AdvBench(탐지율 DR=0.994) 및 HarmBench(DR=0.988)로의 제로샷(zero-shot) 전이를 달성했습니다. 평균 풀링(mean-pooled)된 Mamba-130M 임베딩에 대한 로지스틱 회귀는 모든 탐지 지표에서 S4 헤드와 대등하거나 이를 능가하여, 유해한 의도가 임베딩 공간에서 이미 선형적으로 분리 가능함을 확인해 줍니다. S4 안전 헤드의 기여는 더 뛰어난 구별 능력이 아니라, 프로브(probe) 기반 접근법에서는 제공할 수 없는 정형 보증(formal certification)을 제공한다는 점입니다.
상태 공간 모델(SSM)은 대규모 언어 모델(LLM)과 비교하여 유사한 성능에서 더 작은 메모리, 학습(training), 추론(inference) 풋프린트를 제공하므로 에지(Edge) 환경에 점점 더 많이 배포되고 있습니다. 이러한 세 가지 장점은 SSM 아키텍처 고유의 시간 순환성에서 비롯된 직접적인 결과입니다. 본 연구에서는 기존에 충분히 탐구되지 않았던 두 가지 직교적인 질문에 긍정적인 답을 제시함으로써 이러한 순환 아키텍처를 더욱 개선합니다: (1) 깊이 순환(depth recurrence)을 함께 적용하여 성능 저하 없이 SSM의 메모리 풋프린트를 줄일 수 있는가? (2) 모든 작업에 걸쳐 고정되고 일관된 시간 단위(time-granularity)를 사용하여 SSM 성능을 향상시킬 수 있는가? SSM이 이미 순환적이라는 점을 고려할 때 첫 번째 질문은 다소 의외일 수 있습니다. 그러나 직교적인 깊이 순환은 SSM의 메모리 풋프린트를 더욱 줄여줍니다. 우리는 $k$개의 파라미터를 가지고 $M$번 적응적으로 반복되는 루프형 SSM이, $k \cdot L$개의 독립적인 파라미터를 가진 표준 SSM($M \leq L$)과 대등한 성능을 달성함을 보여줍니다. 두 번째 질문 역시 SSM 아키텍처의 시간 순환적 특성을 고려할 때 예상 밖일 수 있습니다. 하지만 전체 입력 시퀀스에 대한 SSM의 시간 병렬 학습 관점에서는 완전히 타당합니다. 우리는 저차원 시퀀스 요소에 대해 시간 단계를 연결(concatenate)하거나, 고차원 요소에 대해 결합된 특징(feature)-시간 차원을 평탄화(flattening) 및 재청킹(re-chunking)함으로써 정보가 모델(model)에 제시되는 방식을 개선하여 기준선(baseline)을 향상시킬 수 있음을 보여줍니다. 두 가지 확장에 대한 우리의 결과는 네 가지 대표적인 SSM 아키텍처인 LRU, S5, LinOSS, LrcSSM 전반에 걸쳐 일관된 이점으로 이어집니다.
현대 AI의 괄목할 만한 성공은 스케일링 법칙(scaling laws)과 밀접하게 연관되어 왔으나, 고품질 데이터의 공급이 유한해짐에 따라 더 적은 데이터로 더 많이 학습하는 데이터 효율성이 점점 더 중요한 연구 분야가 되고 있습니다. 모델의 귀납적 바이어스(inductive bias)는 데이터 효율성을 좌우하는 핵심 요소이지만, 상태 공간 모델(SSM)과 같은 기초 시퀀스 모델은 종종 고정된 태스크 무관 바이어스에 의존합니다. 이러한 고정된 사전 확률(prior)이 태스크의 내재적 구조와 일치하지 않을 경우, 모델은 관련 신호를 학습하기 전에 자체적인 바이어스를 극복하기 위해 추가적인 표본을 필요로 할 수 있습니다. 본 연구에서는 선형 시불변(LTI) SSM의 귀납적 바이어스를 이해하고 정렬하기 위한 원리적 프레임워크를 소개합니다. 먼저 SSM 유도 커널(kernel)을 통해 이러한 바이어스를 정형화하고, 그 스펙트럼이 모델의 주파수 응답에 의해 결정됨을 이론적 및 실증적으로 보입니다. 이러한 특성 규명을 바탕으로, 다운스트림 학습(training) 전에 초기 SSM 바이어스를 태스크의 스펙트럼 특성에 맞추어 정렬하는 빠른 파워 스펙트럼 매칭 방식인 태스크 의존적 초기화(TDI)를 제안합니다. 통제된 합성 실험, 학습 가능한 단일 층(layer) SSM, 그리고 다양한 실제 벤치마크에 대한 심층 SSM 전반에서, TDI는 태스크 관련 스펙트럼 구조가 존재하고 기본 SSM 바이어스가 스펙트럼 측면에서 불일치할 때 주로 데이터 효율적 일반화를 개선할 수 있습니다. 본 연구 결과는 태스크 적응형 귀납적 바이어스를 위한 이론적 관점과 실용적 도구를 모두 제공하여, 더욱 데이터 효율적인 시퀀스 모델링을 향한 방향을 제시합니다.
순차적 관측으로부터 상태를 추적(state tracking)하는 과정에서는 정보를 유지하는 것과 관측된 연산들을 합성하여 정보를 갱신하는 것이 모두 요구될 수 있다. 본 논문에서는 연산의 순서가 중요한 비가환(non-commutative) 상태 추적을 지원하기 위해, Mamba-3의 대각 전이(diagonal transition)를 입력-의존적(input-dependent) 저순위(low-rank) 반사 항으로 확장한다. 이 랭크-1(rank-one) 업데이트는 입력에 의존적인 방향을 따라 상태 좌표들을 결합하여, 단일 Mamba-3 블록 내에서 비대각(non-diagonal) 상태 전이를 가능하게 한다. 이러한 확장은 Mamba-3의 지수-사다리꼴 이산화(exponential-trapezoidal discretization), 회전 임베딩(RoPE), 판독(readout)을 그대로 보존한다. 학습(training)을 위해, 제안된 순환(recurrence)을 각 청크 내에서 병렬화하도록 청크 단위 연산(chunkwise computation)을 적용한다. 실험은 이산 입력을 사용하는 군 단어 문제(group word problem)와 행동 복제(behavioral cloning)로 정책을 학습하는 연속 관측 기반의 야바위 게임(shell game)을 다룬다. 고정된 타이밍에서 우수한 성능을 보여 선택된 모델(model)들 중, 제안된 모델은 타이밍 지터(timing jitter)가 있는 연속 관측 환경의 야바위 게임에서 더 긴 맞바꿈 시퀀스(swap sequence)에 대해 더 높은 추적 성공률을 유지한다. 이러한 실험들은 제안된 방법이 평가된 비가환 추적 태스크에서 높은 정확도를 달성하며 표준 Mamba-3 대비 성능을 개선함을 보여준다. 따라서 본 확장은 비가환 상태 추적을 위한 Mamba-3 기반의 접근 방식을 제공한다.
진동 기반 기계 고장 진단은 로컬 추론을 위한 엣지 디바이스의 계산 제약을 만족하면서, 라벨이 희소한 고장 녹음으로부터 학습해야 한다. 본 연구는 DualRes를 제안한다. 이는 진동의 두 가지 상보적 스펙트럼 관점을 결합하는 소형 진동형 상태 공간 모델로, 급격한 변화와 미세한 주파수 구조를 포착한다. 시간 정렬된 관점은 선택적 진동 기억(selective oscillatory memory)으로 처리되며, 시간적 패턴을 얼마나 오래 유지할지 학습한다. 인코더는 39,528개의 파라미터를 포함한다. 여섯 개의 베어링 데이터셋과 기어박스 벤치마크, 그리고 추가 기어박스 파일럿에서 지도 학습을 평가했다. 녹음 단위 분할과 라벨링된 구간에 대한 명시적 집계는 상관된 샘플에 대한 반복 노출과 데이터 효율을 구분한다. 주요 기어박스 벤치마크에서 DualRes는 일곱 가지 라벨 예산 중 여섯에서 평가된 아홉 가지 방법 가운데 최첨단 성능을 달성했다. 클래스당 약 6초의 라벨링된 데이터로, 차순위 비교 방법 대비 macro-F1을 16.1퍼센트포인트 향상시켰다. 동일 벤치마크에서 DualRes는 동일한 하드웨어 및 런타임 조건 하 선택적 상태 공간 기준선 대비 녹음 단위 속도 1.44배 향상과 체크포인트 저장량 24.8배 감소를 달성했다. 베어링 결과는 과제에 따른 trade-off를 보여준다. 이러한 결과는 제한된 라벨 노출 하에서 진동 진단을 위한 컴팩트한 접근으로서 진동 기억을 뒷받침한다.
서로 다른 세션에서 작업하는 연구 에이전트(agent)는 다른 에이전트가 무엇을 시도했는지, 어떤 결과를 기반으로 발전시킬 수 있는지 알아야 합니다. Agora는 이들의 기여를 Git 내의 추가 전용(append-only) 방향성 비순환 그래프(DAG)로 저장합니다. 각 커밋은 결과, 인사이트, 가설, 검증 또는 보고서를 기록하고 이를 이전 작업과 연결합니다. 검색 가능한 뷰는 선도적인 결과, 방치된 브랜치, 검증 상태를 보여주며, 다양성을 고려한 추천은 현재 선도 모델을 넘어선 실험을 제안합니다. 본 논문에서는 할당된 작업이나 중앙 플래너 없이 13개의 언어 모델 워커가 Agora를 사용하여 가중치 이전(weight-transfer) 문제를 해결한 약 12일간의 실행 과정을 보고합니다. 141개의 사전학습(pre-training)된 기증자(donor) 모델과 어떤 기증자와도 차원이 일치하지 않는 동결된 119.6M 매개변수 어텐션-SSM 하이브리드가 주어졌을 때, 워커들은 학습 데이터나 그래디언트 업데이트 없이 타깃을 초기화해야 했습니다. 워커들은 1,703건의 기여를 게시하였으며, 개발 평가자 점수를 바이트당 3.39비트에서 1.899비트로 낮춰 학습된 GPT-2 124M과의 격차를 62% 줄였습니다. 가장 우수한 방법은 기증자의 다음 토큰 통계를 타깃의 임베딩 및 출력 헤드로 압축한 후, 어텐션, 피드포워드, 상태 공간(state-space) 블록에 대한 희소 편집을 통해 단거리 문맥을 추가합니다. 이 방법의 145개 커밋 계보는 15개 계정에 걸쳐 있습니다. 참가자들은 또한 95개 타깃에 걸쳐 165회의 독립적인 재현을 게시했으며 보고된 실패는 없었습니다. 이번 실행은 에이전트가 공유된 작업을 어떻게 재사용하고 검증했는지를 기록합니다. 연산 단위당 발견 효과를 측정하려면 대조 비교가 필요합니다.
정확한 망막 혈관 분할은 컴퓨터 지원 안과 분석에 중요하지만, 가는 혈관, 낮은 대비, 심한 전경-배경 불균형은 인코더-디코더 네트워크에 여전히 어려운 과제로 남아 있다. 본 논문은 점진적 비선형 특징 확장과 선택적 상태 공간 모델링을 결합한 U자형 망막 혈관 분할 아키텍처인 U-PEN Mamba를 제안한다. 제안 네트워크는 점진적 확장으로 국소 혈관 응답을 풍부하게 하고, 선형 시퀀스 복잡도를 갖는 Mamba Global Context(MGC) 블록을 통해 장거리 공간 의존성을 모델링하며, 어텐션 기반 디코더 융합으로 미세 혈관 경계를 복원한다. 일관된 패치 기반 전처리 파이프라인으로 CHASE DB1과 DRIVE에서 U-PEN Mamba를 평가하고, 합성곱, 어텐션, 트랜스포머, Mamba 기반 분할 기준선과 비교한다. U-PEN Mamba는 비교 방법 중 평균 교집합 대합(mIoU)이 최고이며, 학습 가능 매개변수 21.6M으로 CHASE DB1에서 0.8394, DRIVE에서 0.8221을 달성하고 Dice 점수는 각각 0.8187, 0.8078이다. 소거 연구는 MGC 블록이 U-Net 기준선 대비 가장 큰 이득을 제공함을 보여 주며, 투영 차원과 state size는 실용적인 정확도-효율 조절을 가능하게 한다. 이 결과는 선택적 상태 공간 모델링이 매개변수 효율적 망막 혈관 분할을 위한 유망한 전역 문맥 메커니즘임을 시사한다. 코드는 https://github.com/areyesan/UPEN_Mamba 에서 이용할 수 있다.
순환 신경망 언어 모델은 어떤 형식 언어를 인식할 수 있는가? 문헌의 형식적 결과들은 상충된다: 일부 저자는 튜링 완전성을 보고하는 반면, 다른 저자들은 정규 언어와의 동등성을 보여준다. 이러한 불일치의 이유는 기저 산술 모델이 다르기 때문이다. 본 논문은 다양한 산술 모델에 대한 형식적 설명에서 시작하여, 순환 신경망의 표현력에 대한 통합된 대수적 설명을 제시한다. 이 설명은 표현력을 대수적 질문, 예를 들어 네트워크의 구문 모노이드(syntactic monoid)가 특정 wreath product를 나누는지 여부로 환원한다. 사례 연구로, 본 논문은 대각 상태 공간 모델을 다시 살펴본다: 동일한 아키텍처는 부동소수점 순환이 강제되면 짝수 계수 카운터를 구현할 수 없지만, 부호 없는 정수 양자화 하에서는 모든 짝수 계수 카운터를 구현한다.
최근 몇 년 동안 트랜스포머(Transformer)는 장기 시계열 예측(LTSF)을 위한 사실상의 표준(de-facto) 아키텍처가 되었으나, 이차 복잡도(quadratic complexity)와 순열 불변 바이어스(permutation-invariant bias) 등 셀프 어텐션(self-attention) 메커니즘과 관련된 문제들에 직면해 있습니다. 이는 중요한 질문을 제기합니다: \emph{LTSF에서 장기 의존성을 모델링하기 위해 진정으로 셀프 어텐션이 필요한가?} 이를 해결하기 위해, 우리는 구조화된 의존성 모델링을 통해 시간과 변수 전반의 전역적 의존성을 모델링하는 선형 스캔 기반 프레임워크인 MambaTS를 제안합니다. 명시적인 변수 의존성 구조는 대개 알려져 있지 않기 때문에, 학습(training) 중에 변수 간 관계를 학습하고 추론(inference) 중에는 최단 경로 기반 디코딩 전략을 통해 최적의 스캔 순서를 결정하는 VAST(Variable-Aware Scan along Time)를 도입합니다. MambaTS는 최신 Mamba 모델(model)을 백본으로 채택합니다. 우리는 독립적인 변수들의 존재로 인해 바닐라 Mamba의 인과적 합성곱(causal convolution)이 불필요하다고 제안하며, 이에 따라 TMB(Temporal Mamba Block)를 개발했습니다. 모델 과적합(overfitting)을 완화하기 위해 TMB의 선택적 파라미터에 대한 드롭아웃(dropout) 메커니즘을 추가로 통합했습니다. 8개의 공개 데이터셋에 대해 수행된 광범위한 실험은 MambaTS가 대부분의 데이터셋에서 경쟁력 있거나 최고 수준(SOTA)의 성능을 달성함을 입증합니다. 코드는 다음 저장소에서 확인할 수 있습니다: \href{https://github.com/XiudingCai/MambaTS-pytorch}{https://github.com/XiudingCai/MambaTS-pytorch}.