상태 공간 모델에서 데이터 효율적 일반화를 위한 귀납적 바이어스 정렬
Aligning Inductive Bias for Data-Efficient Generalization in State Space Models
현대 AI의 괄목할 만한 성공은 스케일링 법칙(scaling laws)과 밀접하게 연관되어 왔으나, 고품질 데이터의 공급이 유한해짐에 따라 더 적은 데이터로 더 많이 학습하는 데이터 효율성이 점점 더 중요한 연구 분야가 되고 있습니다. 모델의 귀납적 바이어스(inductive bias)는 데이터 효율성을 좌우하는 핵심 요소이지만, 상태 공간 모델(SSM)과 같은 기초 시퀀스 모델은 종종 고정된 태스크 무관 바이어스에 의존합니다. 이러한 고정된 사전 확률(prior)이 태스크의 내재적 구조와 일치하지 않을 경우, 모델은 관련 신호를 학습하기 전에 자체적인 바이어스를 극복하기 위해 추가적인 표본을 필요로 할 수 있습니다. 본 연구에서는 선형 시불변(LTI) SSM의 귀납적 바이어스를 이해하고 정렬하기 위한 원리적 프레임워크를 소개합니다. 먼저 SSM 유도 커널(kernel)을 통해 이러한 바이어스를 정형화하고, 그 스펙트럼이 모델의 주파수 응답에 의해 결정됨을 이론적 및 실증적으로 보입니다. 이러한 특성 규명을 바탕으로, 다운스트림 학습(training) 전에 초기 SSM 바이어스를 태스크의 스펙트럼 특성에 맞추어 정렬하는 빠른 파워 스펙트럼 매칭 방식인 태스크 의존적 초기화(TDI)를 제안합니다. 통제된 합성 실험, 학습 가능한 단일 층(layer) SSM, 그리고 다양한 실제 벤치마크에 대한 심층 SSM 전반에서, TDI는 태스크 관련 스펙트럼 구조가 존재하고 기본 SSM 바이어스가 스펙트럼 측면에서 불일치할 때 주로 데이터 효율적 일반화를 개선할 수 있습니다. 본 연구 결과는 태스크 적응형 귀납적 바이어스를 위한 이론적 관점과 실용적 도구를 모두 제공하여, 더욱 데이터 효율적인 시퀀스 모델링을 향한 방향을 제시합니다.