arXiv:2509.20789v5 cs.LG

상태 공간 모델에서 데이터 효율적 일반화를 위한 귀납적 바이어스 정렬

Aligning Inductive Bias for Data-Efficient Generalization in State Space Models

Qiyu Chen, Guozhang Chen

제출 2025-09-25

저자 비고

arXiv Comments

NeurIPS 2026

한국어 초록

현대 AI의 괄목할 만한 성공은 스케일링 법칙(scaling laws)과 밀접하게 연관되어 왔으나, 고품질 데이터의 공급이 유한해짐에 따라 더 적은 데이터로 더 많이 학습하는 데이터 효율성이 점점 더 중요한 연구 분야가 되고 있습니다. 모델의 귀납적 바이어스(inductive bias)는 데이터 효율성을 좌우하는 핵심 요소이지만, 상태 공간 모델(SSM)과 같은 기초 시퀀스 모델은 종종 고정된 태스크 무관 바이어스에 의존합니다. 이러한 고정된 사전 확률(prior)이 태스크의 내재적 구조와 일치하지 않을 경우, 모델은 관련 신호를 학습하기 전에 자체적인 바이어스를 극복하기 위해 추가적인 표본을 필요로 할 수 있습니다. 본 연구에서는 선형 시불변(LTI) SSM의 귀납적 바이어스를 이해하고 정렬하기 위한 원리적 프레임워크를 소개합니다. 먼저 SSM 유도 커널(kernel)을 통해 이러한 바이어스를 정형화하고, 그 스펙트럼이 모델의 주파수 응답에 의해 결정됨을 이론적 및 실증적으로 보입니다. 이러한 특성 규명을 바탕으로, 다운스트림 학습(training) 전에 초기 SSM 바이어스를 태스크의 스펙트럼 특성에 맞추어 정렬하는 빠른 파워 스펙트럼 매칭 방식인 태스크 의존적 초기화(TDI)를 제안합니다. 통제된 합성 실험, 학습 가능한 단일 층(layer) SSM, 그리고 다양한 실제 벤치마크에 대한 심층 SSM 전반에서, TDI는 태스크 관련 스펙트럼 구조가 존재하고 기본 SSM 바이어스가 스펙트럼 측면에서 불일치할 때 주로 데이터 효율적 일반화를 개선할 수 있습니다. 본 연구 결과는 태스크 적응형 귀납적 바이어스를 위한 이론적 관점과 실용적 도구를 모두 제공하여, 더욱 데이터 효율적인 시퀀스 모델링을 향한 방향을 제시합니다.

원문 초록

The remarkable success of modern AI has been closely tied to scaling laws, yet the finite supply of high-quality data makes data efficiency--learning more from less--an increasingly important frontier. A model's inductive bias is a critical lever for data efficiency, but foundational sequence models such as State Space Models (SSMs) often rely on fixed, task-agnostic biases. When this fixed prior is misaligned with the underlying structure of a task, the model may require additional samples to overcome its own bias before learning the relevant signal. In this work, we introduce a principled framework for understanding and aligning the inductive bias of linear time-invariant SSMs. We first formalize this bias through an SSM-induced kernel and show theoretically and empirically that its spectrum is governed by the model's frequency response. This characterization motivates Task-Dependent Initialization (TDI), a fast power-spectrum matching method that aligns the initial SSM bias with the task's spectral characteristics before downstream training. Across controlled synthetic experiments, trainable one-layer SSMs, and deep SSMs on diverse real-world benchmarks, TDI can improve data-efficient generalization primarily when task-relevant spectral structure is present and the default SSM bias is spectrally mismatched. Our results provide both a theoretical lens and a practical tool for task-adaptive inductive bias, suggesting a path toward more data-efficient sequence modeling.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2509.20789v5

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22361v1cs.LG공통 태그 State Space Models, Inductive Bias

인덱싱: 시작과 끝

Indexing: the Beginning and the End

본 연구는 현대 딥러닝 아키텍처—RNN, 소프트맥스 트랜스포머, 선형-어텐션 트랜스포머, 상태 공간 모델—에서의 정보 병목을 인덱싱 프리미티브(indexing primitive) 관점에서 분석한다. 이 프리미티브에서 입력은 $n$개의 비트와 1부터 $n$까지의 정수 $i$(인덱스)로 구성되며, 출력은 $i$번째 비트의 값과 같다. 마스크된 아키텍처를 위한 인과적 복잡도(causal complexity)를 도입하고, 인과적 복잡도가 낮은 아키텍처는 인덱스가 입력의 끝에 나타날 때 임의의 상수 층 수로는 인덱싱 프리미티브를 풀 수 없음을 보인다. 특히 이 한계는 저매개변수 RNN, SSM, 마스크된 선형-어텐션 트랜스포머에 적용된다. 반면 소규모 소프트맥스 트랜스포머는 1개 층으로 이를 풀 수 있고, 비마스크 선형-어텐션 트랜스포머는 2개 층으로 풀 수 있어 마스크된 대응 모델과 구분된다. 한편 인덱스가 입력의 시작에 나타날 때는 소규모 RNN이 1개 층으로 이 과제를 풀 수 있는 반면, 다른 모든 아키텍처는 2개 층이 필요함을 보인다. 모든 불가능성 결과는 무조건적이며, 무한 정밀도 실수 연산을 사용하는 모델에도 적용된다. 또한 $n=64$까지의 실험은 이론과 질적으로 일치한다. 저매개변수 이론적 해를 갖는 구성은 인덱싱 과제를 쉽게 학습하는 반면, 그러한 이론적 해를 허용하지 않는 구성은 시퀀스 길이가 증가함에 따라 학습에 어려움을 겪는다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.