arXiv:2610.07717v1 stat.ML

서브가우시안 데이터에서 측도 간 트랜스포머의 안정성

Stability of Measure-to-Measure Transformers on Sub-Gaussian Data

Frank Cole, Nicholas H. Nelsen, Takashi Furuya

제출 2026-10-06

한국어 초록

트랜스포머(Transformer)는 다양한 분야에서 인상적인 실증적 성공을 거두었으나, 이론적 기반은 여전히 상대적으로 덜 확립되어 있습니다. 본 연구는 트랜스포머에 의해 정의되는 측도 간(measure-to-measure) 연산자에 대한 수학적 분석을 수행합니다. 우리는 트랜스포머가 서브가우시안(sub-Gaussian) 입력을 서브가우시안 출력으로 매핑함을 보이며, 이는 소프트맥스(softmax) 연산자의 임의 길이 합성이 잘 정의됨(well-defined)을 보장합니다. 이어서 서브가우시안 입력의 적절한 공간 상에서 트랜스포머가 1-바서슈타인 거리(1-Wasserstein distance)에 대해 횔더 연속(Hölder continuous)임을 보입니다. 이를 통해 서브가우시안 입력과 그 경험적 근사 사이에서 트랜스포머를 따라 발생하는 오차 전파(error propagation)에 대한 추정치를 확립할 수 있습니다. 또한 두 확률 측도에서 단일 확률 측도로 대응되는 연산자인 교차 어텐션(cross-attention) 메커니즘의 평균장(mean-field) 유사체를 연구합니다. 그 결과 교차 어텐션이 두 입력 인자에 대해 서로 다른 횔더 정칙성(Hölder regularity)과 표본 복잡도(sample-complexity)를 보임을 밝힙니다. 마지막으로, 본 연구의 결과를 적용하여 측도 간 트랜스포머에 대한 근사 보장(approximation guarantee)을 도출합니다. 종합적으로 이러한 결과들은 서브가우시안 데이터에서의 트랜스포머에 대해 견고한 안정성 및 유한 표본 이론을 제공합니다.

원문 초록

Transformers have exhibited impressive empirical success across various domains, but their theoretical foundations remain less developed. This work constitutes a mathematical study of the measure-to-measure operators defined by transformers. We show that transformers map sub-Gaussian inputs to sub-Gaussian outputs; this ensures that taking arbitrary-length compositions of the softmax operator is well-defined. We then show that transformers are Hölder continuous with respect to the 1-Wasserstein distance on appropriate spaces of sub-Gaussian inputs. This allows us to establish estimates on the error propagation along a transformer between a sub-Gaussian input and its empirical approximation. We also study a mean-field analog of the cross-attention mechanism, which is an operator from a pair of probability measures to a single probability measure. We show that cross-attention exhibits different Hölder regularity and sample-complexity in its two input arguments. Last, we apply our results to deduce approximation guarantees for measure-to-measure transformers. Together, these results provide a firm stability and finite-sample theory for transformers on sub-Gaussian data.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.07717v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.