서브가우시안 데이터에서 측도 간 트랜스포머의 안정성
Stability of Measure-to-Measure Transformers on Sub-Gaussian Data
한국어 초록
트랜스포머(Transformer)는 다양한 분야에서 인상적인 실증적 성공을 거두었으나, 이론적 기반은 여전히 상대적으로 덜 확립되어 있습니다. 본 연구는 트랜스포머에 의해 정의되는 측도 간(measure-to-measure) 연산자에 대한 수학적 분석을 수행합니다. 우리는 트랜스포머가 서브가우시안(sub-Gaussian) 입력을 서브가우시안 출력으로 매핑함을 보이며, 이는 소프트맥스(softmax) 연산자의 임의 길이 합성이 잘 정의됨(well-defined)을 보장합니다. 이어서 서브가우시안 입력의 적절한 공간 상에서 트랜스포머가 1-바서슈타인 거리(1-Wasserstein distance)에 대해 횔더 연속(Hölder continuous)임을 보입니다. 이를 통해 서브가우시안 입력과 그 경험적 근사 사이에서 트랜스포머를 따라 발생하는 오차 전파(error propagation)에 대한 추정치를 확립할 수 있습니다. 또한 두 확률 측도에서 단일 확률 측도로 대응되는 연산자인 교차 어텐션(cross-attention) 메커니즘의 평균장(mean-field) 유사체를 연구합니다. 그 결과 교차 어텐션이 두 입력 인자에 대해 서로 다른 횔더 정칙성(Hölder regularity)과 표본 복잡도(sample-complexity)를 보임을 밝힙니다. 마지막으로, 본 연구의 결과를 적용하여 측도 간 트랜스포머에 대한 근사 보장(approximation guarantee)을 도출합니다. 종합적으로 이러한 결과들은 서브가우시안 데이터에서의 트랜스포머에 대해 견고한 안정성 및 유한 표본 이론을 제공합니다.
원문 초록
Transformers have exhibited impressive empirical success across various domains, but their theoretical foundations remain less developed. This work constitutes a mathematical study of the measure-to-measure operators defined by transformers. We show that transformers map sub-Gaussian inputs to sub-Gaussian outputs; this ensures that taking arbitrary-length compositions of the softmax operator is well-defined. We then show that transformers are Hölder continuous with respect to the 1-Wasserstein distance on appropriate spaces of sub-Gaussian inputs. This allows us to establish estimates on the error propagation along a transformer between a sub-Gaussian input and its empirical approximation. We also study a mean-field analog of the cross-attention mechanism, which is an operator from a pair of probability measures to a single probability measure. We show that cross-attention exhibits different Hölder regularity and sample-complexity in its two input arguments. Last, we apply our results to deduce approximation guarantees for measure-to-measure transformers. Together, these results provide a firm stability and finite-sample theory for transformers on sub-Gaussian data.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.