고정된 범용 트랜스포머
Fixed Universal Transformers
본 논문에서는 적절한 입력 임베딩(embedding)을 통해 주어진 클래스 내의 모든 트랜스포머(transformer)를 시뮬레이션할 수 있는 고정된 트랜스포머인 \emph{범용 트랜스포머(universal transformers)}를 제안합니다. 범용 튜링 기계와 유사하게, 모든 내부 파라미터가 고정된 상태에서 입력 임베딩이 대상 모델(model)에 대한 설명을 인코딩합니다. 저자들은 임베딩 차원이 충분히 클 때 보편성(universality)을 달성하는 명시적인 희소(sparse) 구조를 제시하며, 나아가 보편성이 일반적(generic)임을 보입니다. 즉, 무작위로 초기화된 트랜스포머는 거의 확실하게(almost surely) 보편적이며, 이는 Zhong 및 Andreas(2024)의 최근 실증적 결과와도 일치합니다. 또한 괄호 균형 맞추기(parenthesis balancing) 및 다단계 추론(multi-hop reasoning)과 같은 알고리즘 과제에서 이러한 이론을 실험적으로 검증합니다. 본 연구 결과는 트랜스포머의 표현 능력 중 상당 부분이 학습된 가중치보다는 입력 표현에 내재되어 있을 수 있음을 시사합니다.