본 논문에서는 적절한 입력 임베딩(embedding)을 통해 주어진 클래스 내의 모든 트랜스포머(transformer)를 시뮬레이션할 수 있는 고정된 트랜스포머인 \emph{범용 트랜스포머(universal transformers)}를 제안합니다. 범용 튜링 기계와 유사하게, 모든 내부 파라미터가 고정된 상태에서 입력 임베딩이 대상 모델(model)에 대한 설명을 인코딩합니다. 저자들은 임베딩 차원이 충분히 클 때 보편성(universality)을 달성하는 명시적인 희소(sparse) 구조를 제시하며, 나아가 보편성이 일반적(generic)임을 보입니다. 즉, 무작위로 초기화된 트랜스포머는 거의 확실하게(almost surely) 보편적이며, 이는 Zhong 및 Andreas(2024)의 최근 실증적 결과와도 일치합니다. 또한 괄호 균형 맞추기(parenthesis balancing) 및 다단계 추론(multi-hop reasoning)과 같은 알고리즘 과제에서 이러한 이론을 실험적으로 검증합니다. 본 연구 결과는 트랜스포머의 표현 능력 중 상당 부분이 학습된 가중치보다는 입력 표현에 내재되어 있을 수 있음을 시사합니다.
유한 정밀도 순환 모델이 외부 도구를 사용할 때 계산 표현력이 언제 증가하는지를 이론적으로 분석하여, 유한 상태 도구는 표현력을 거의 높이지 못하지만 로컬 read/write/move 명령을 지원하는 테이프 도구 하나만으로도 시스템이 튜링 완전(Turing complete)해짐을 증명한다. 또한 이 구성이 이진 원-핫 은닉 상태를 가진 단층 유한 정밀도 선택적 아핀 SSM으로 정확히 실현됨을 보이며, $O(\log B)$의 순환 비트로 임의의 $B$-상태 튜링 기계를 시뮬레이션할 수 있다는 자원 효율성 결과도 함께 제시한다.
대규모 언어 모델(LLM)과 LLM 기반 에이전트 워크플로우에 대한 연구가 많이 수행되었습니다. 그러나 이 분야의 많은 연구는 이러한 속성의 출현을 주장하거나, 이들에게 일반화된 인간형 속성(예: 도덕성이나 자연어 이해)을 부여하거나, 그것을 가정합니다. 우리의 목표는 이러한 속성의 존재에 대해 찬성하거나 반대하는 것이 아니라, 이러한 결론이 올바르지 않을 수 있음을 지적하는 것입니다. 이를 위해 우리는 비디오 게임 Age of Empires II에서 간단한 신경망을 구축하고 학습시켰으며, 레고(LEGO)나 그레이터 보스턴 지역(Greater Boston Area)과 같은 충분히 강력한 기질(substrate) 내의 모든 개체도 그러한 속성을 나타낼 수 있음을 확인했습니다. 따라서 LLM의 주장된 인간형 속성은 경험적으로 고유하지 않습니다(non-unique). 일부 속성(예: 프롬프트에 대한 응답)은 불변(invariant)할 수 있지만, 지각된 행동에 대한 해석과 같은 다른 속성은 기질에 따라 변할 수 있습니다. 따라서 이러한 속성에 대한 경험적으로 근거 있는 논의는 명시적인 측정 기준이 필요합니다. 그렇지 않으면 해석은 표현에 맡겨지게 됩니다. 그 후 우리는 기질과 무관하게 일반화된 방식으로 시스템 내에 이러한 속성이 존재하는지 아닌지를 가정하는 것이 순환적이거나 정보가 없는 결론으로 이어진다는 것을 보여줍니다. 이는 실험자가 해당 주제에 대해 가진 관점이나 결과가 존재 또는 비존재를 보여주는지 여부와 관계없습니다. 마지막으로, 우리는 실험을 설정할 때 인간형 속성을 가정하는 대신 LLM 비고유성을 가정하는 '널(null)' 가정을 제안하고, 그 예시를 제시합니다. 또한 우리는 우리의 연구에 대한 잠재적인 반론을 논의하고, 해당 분야를 간략히 조사하며, Age of Empires II가 기능적으로 그리고 튜링 완전(Turing-complete)하다는 것을 증명합니다.