트랜스포머에서 조율된 변환의 형식 의미론으로
From the Transformer to a Formal Semantics of Coordinated Transformations
한국어 초록
우리는 트랜스포머를 대표적인 출발점으로 삼되 그 특정한 수학적 구현으로부터는 추상화하여, 매개변수화된 변환들이 조율된 시스템의 일반적인 부류에 대한 형식 의미론을 전개한다. 표현 벡터는 외연적 지시와 순서화된 내포적 해석을 모두 부여받으며, 매개변수 구조는 인자의 속성이 보존되거나 대체되거나 결합되는 방식을 결정하는 상대적인 2차 수준의 해석을 얻는다. 이로부터 변환 개념(transforming concept), 즉 수치적 작용이 대응하는 속성 수준의 사상과 조율되는 매개변수화된 변환이라는 개념이 도출된다. 이어서 이러한 시스템의 공통된 대수-의미론적 핵심을 아키텍처에 특화된 기능적 조직과 구분하여, 동일한 추상 시스템 유형에 대해 서로 다른 수학적 구현과 기계적 실현이 가능하도록 한다. 이 틀을 어텐션 헤드와 잔차 연결에 적용하여, 공유된 대수-의미론적 핵심과 국소적 기능 조직에만 의존하는 의미론적 설명을 제시하며, 따라서 이 설명은 표준 트랜스포머를 넘어 일반화된다. 이러한 분석은 또한 이 틀의 모듈성을 드러낸다. 복잡한 아키텍처는 의미론적으로 조율된 더 단순한 하위 시스템으로 분해될 수 있으며, 그 조직은 서로 다른 추상 시스템 유형에 걸쳐 반복될 수 있다.
원문 초록
We develop a formal semantics for a general class of coordinated systems of parameterized transformations, taking the Transformer as a paradigmatic starting point but abstracting from its particular mathematical instantiation. Representational vectors receive both extensional reference and ordered intensional interpretations, while parameter structures acquire relative, second-level interpretations that determine how argument properties are preserved, replaced, or combined. This yields the notion of a transforming concept: a parameterized transformation whose numerical action is coordinated with a corresponding property-level map. We then distinguish the common algebraic-semantic core of these systems from their architecture-specific functional organization, allowing different mathematical instantiations and mechanical realizations of the same abstract system type. The framework is applied to attention heads and residual connections, providing semantic explanations that depend only on the shared algebraic-semantic core and their local functional organization and therefore generalize beyond the standard Transformer. These analyses also reveal the modularity of the framework: complex architectures can be decomposed into simpler semantically coordinated subsystems whose organization may recur across different abstract system types.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2610.39735v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.