arXiv:2602.00294 cs.LG

Self-Attention at Constant Cost per Token via Symmetry-Aware Taylor Approximation

제출 2026-01-30

한국어 초록

현재 가장 널리 사용되는 인공지능(AI) 모델은 자기 어텐션(self-attention)을 사용하는 트랜스포머(Transformer)입니다. 표준 형태에서 자기 어텐션은 문맥 길이에 따라 증가하는 비용을 발생시켜, 현재 사회가 제공할 수 있는 능력을 초과하는 저장소, 컴퓨팅 및 에너지에 대한 수요를 촉발하고 있습니다. 이 문제를 해결하기 위해, 우리는 자기 어텐션이 토큰당 일정한 비용으로 임의의 정밀도로 효율적으로 계산 가능하다는 것을 보여주며, 메모리 사용량과 계산량에서 수량적으로 큰 감소를 달성합니다. 우리는 전통적인 공식의 테일러 전개를 대칭 텐서 곱의 체인에 대한 표현으로 분해하여 우리의 공식을 도출합니다. 우리는 이들의 대칭성을 활용하여 쿼리와 키를 최소 다항식 커널(feature basis)로의 좌표에 효율적으로 매핑하는 피드포워드 변환을 얻습니다. 특히, 비용은 헤드 크기에 반비례하여 고정되므로, 토큰당 더 많은 헤드를 적용할 수 있게 됩니다. 우리는 우리의 공식을 구현하고 그 정확성을 실험적으로 검증합니다. 우리의 연구는 대규모 트랜스포머 모델의 인프라 및 에너지 요구 사항을 상당히 줄이면서, 적당한 고정 비용으로 무한한 토큰 생성을 가능하게 합니다. 우리가 소개하는 수학적 기법은 독립적인 관심을 끌고 있습니다.

요약

트랜스포머 모델에서의 셀프 어텐션은 현재 인공지능(AI) 분야에서 핵심적인 역할을 하고 있지만, 문맥 길이에 따라 메모리와 계산 비용이 급증하는 문제를 안고 있다. 이러한 문제를 해결하기 위해 제안된 새로운 접근법은 셀프 어텐션을 토큰당 일정한 비용으로 임의의 정밀도로 효율적으로 계산할 수 있는 방법을 제시한다. 저자들은 기존의 테일러 전개를 대칭적인 텐서 곱의 체인으로 분해하여 새로운 수식을 도출하고, 이를 통해 쿼리와 키를 최소 다항식 커널 특징 기저로 매핑하는 피드포워드 변환을 가능하게 한다. 이 방법론의 가장 큰 혁신은 비용이 헤드 크기에 반비례하여 고정된다는 점이다. 이를 통해 더 많은 헤드를 토큰당 적용할 수 있어, 대규모 트랜스포머 모델의 인프라와 에너지 요구를 크게 줄일 수 있다. 저자들은 제안한 수식을 구현하고 그 정확성을 실험적으로 검증하였으며, 이를 통해 메모리 사용량과 실행 시간을 수량적으로 줄일 수 있음을 입증하였다. 본 연구는 셀프 어텐션의 효율성을 극대화할 수 있는 가능성을 보여주며, AI 모델의 지속 가능성을 높이는 데 기여할 수 있는 중요한 발견으로 평가된다. 이 연구에서 도입된 수학적 기법은 독립적인 관심을 받을 만하며, 향후 연구에서 이 방법론이 어떻게 활용될 수 있을지에 대한 방향을 제시한다. 이러한 접근은 AI 서비스의 글로벌 채택이 증가하는 현시점에서 매우 중요한 의미를 지닌다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.