Generalization Analysis of Transformers in Distribution Regression
Transformer 아키텍처의 성공적인 기법들(프롬프트 튜닝, 파라미터 효율적 파인튜닝, 효율적 스케일링)을 뒷받침하는 수학적 이론이 부족하다는 문제를 해결하기 위해, 분포 회귀(distribution regression) 관점에서 어텐션 연산자(attention operator)를 수학적으로 정식화한 새로운 Transformer 학습 프레임워크를 제안한다. 이를 통해 Transformer가 정보 손실 없이 분포를 함수 표현으로 압축할 수 있음을 증명하고, CNN 및 완전연결망보다 복잡한 구조의 함수를 학습하는 우월한 능력과 함께 일반화 경계(generalization bound)를 도출한다.