arXiv:2605.18079v2 cs.LG

(요약된) 사고의 연쇄를 활용한 저정밀도 소프트맥스 트랜스포머의 표현력

The Expressive Power of Low Precision Softmax Transformers with (Summarized) Chain-of-Thought

Moritz Brösamle, Stephan Eckstein

제출 2026-05-18

한국어 초록

트랜스포머(transformer)의 기존 표현력 연구 결과는 일반적으로 하드맥스 어텐션, 고정밀도, 그리고 실제 사용되는 모델과 괴리된 기타 아키텍처 수정을 기반으로 합니다. 본 연구에서는 깊이와 너비가 컨텍스트 길이에 따라 로그 스케일로 증가하도록 허용하면서, 소프트맥스(softmax) 어텐션(attention) 및 활성화 함수와 어텐션 가중치의 반올림을 적용한 표준 트랜스포머 디코더를 분석하여 이러한 격차를 해소합니다. 중간 단계로서, 사고의 연쇄(Chain-of-Thought, CoT)를 사용하여 튜링 기계를 시뮬레이션하는 3진 활성화 함수와 명확히 분리된 어텐션 점수를 갖는 하드맥스 트랜스포머를 구축합니다. 이를 통해 기존 접근 방식에서 요구했던 비현실적인 매개변수(parameter) 크기나 활성화 정밀도(precision) 없이도 해당 구조를 동등한 소프트맥스 트랜스포머로 변환할 수 있습니다. 동일한 기법을 사용하여 최근 제안된 요약된 CoT 패러다임을 분석하고, 모델(model) 크기가 시간 한계가 아닌 공간 한계에 대해 로그 스케일로 확장되면서 튜링 기계를 더욱 효율적으로 시뮬레이션함을 보입니다. 본 연구 결과를 통해 도출된 예측을 스도쿠 추론 작업에서 실증적으로 검증하였으며, 기존의 고정밀도 연구 결과보다 학습 가능성(learnability)과 더 잘 일치함을 확인했습니다. 코드는 https://github.com/moritzbroe/transformer-expressivity 에서 확인할 수 있습니다.

원문 초록

Existing expressivity results for transformers typically rely on hardmax attention, high precision, and other architectural modifications that disconnect them from the models used in practice. We bridge this gap by analyzing standard transformer decoders with softmax attention and rounding of activations and attention weights, while allowing depth and width to grow logarithmically with the context length. As an intermediate step, we construct hardmax transformers with ternary activations and well-separated attention scores that simulate Turing machines using Chain-of-Thought (CoT). This lets us convert the constructions to equivalent softmax transformers without the unrealistic parameter magnitudes or activation precision that prior approaches would require. Using the same technique, we analyze a recently proposed summarized CoT paradigm and show that it simulates Turing machines more efficiently, with model size scaling logarithmically in a space bound rather than a time bound. We empirically test predictions made by our results on a Sudoku reasoning task and find better alignment with learnability than for prior high-precision results. Our code is available at https://github.com/moritzbroe/transformer-expressivity.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.18079v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.