서브가우시안 데이터에서 측도 간 트랜스포머의 안정성
Stability of Measure-to-Measure Transformers on Sub-Gaussian Data
트랜스포머(Transformer)는 다양한 분야에서 인상적인 실증적 성공을 거두었으나, 이론적 기반은 여전히 상대적으로 덜 확립되어 있습니다. 본 연구는 트랜스포머에 의해 정의되는 측도 간(measure-to-measure) 연산자에 대한 수학적 분석을 수행합니다. 우리는 트랜스포머가 서브가우시안(sub-Gaussian) 입력을 서브가우시안 출력으로 매핑함을 보이며, 이는 소프트맥스(softmax) 연산자의 임의 길이 합성이 잘 정의됨(well-defined)을 보장합니다. 이어서 서브가우시안 입력의 적절한 공간 상에서 트랜스포머가 1-바서슈타인 거리(1-Wasserstein distance)에 대해 횔더 연속(Hölder continuous)임을 보입니다. 이를 통해 서브가우시안 입력과 그 경험적 근사 사이에서 트랜스포머를 따라 발생하는 오차 전파(error propagation)에 대한 추정치를 확립할 수 있습니다. 또한 두 확률 측도에서 단일 확률 측도로 대응되는 연산자인 교차 어텐션(cross-attention) 메커니즘의 평균장(mean-field) 유사체를 연구합니다. 그 결과 교차 어텐션이 두 입력 인자에 대해 서로 다른 횔더 정칙성(Hölder regularity)과 표본 복잡도(sample-complexity)를 보임을 밝힙니다. 마지막으로, 본 연구의 결과를 적용하여 측도 간 트랜스포머에 대한 근사 보장(approximation guarantee)을 도출합니다. 종합적으로 이러한 결과들은 서브가우시안 데이터에서의 트랜스포머에 대해 견고한 안정성 및 유한 표본 이론을 제공합니다.