한국어 초록
우리는 삼선형 점수를 합성 쿼리와 키 사이의 내적으로 다시 쓰는 방식으로 2-심플리셜 어텐션의 선형화된 형태를 제시하며, 이로써 키에 대한 합이 일반적인 소프트맥스 어텐션과 같은 형태가 된다. 그런 다음 이 합을 양의 랜덤 특징으로 근사하고 이전의 모든 키를 고정 크기 상태에 저장하는 한편, 두 번째 키에 대한 합은 이전의 모든 토큰에 대해 정확하게 유지한다. 이로써 비용이 시퀀스 길이에 대해 세제곱에서 제곱으로 줄고, 윈도우 방식 2-심플리셜 어텐션에서는 불가능한 두 키 모두가 이전의 모든 토큰에 걸치게 된다. 우리는 이를 맞춤형 Triton 커널로 구현하고 Kimi Delta Attention과 결합하여 소프트맥스 어텐션이 전혀 없는 모델을 구축한다. FineWeb-Edu에서 동일하게 150억 학습 토큰으로 학습했을 때, 이 모델은 KDA 하이브리드 대비 검증 손실을 2.35에서 2.32로 낮추고 LAMBADA 퍼플렉서티를 40에서 38로 낮춘다.
원문 초록
We present a linearized form of 2-simplicial attention by rewriting the trilinear score as an inner product between a composite query and a key, so that the sum over keys takes the same form as ordinary softmax attention. We then approximate this sum with positive random features and store all previous keys in a fixed-size state, while the sum over second keys stays exact over all previous tokens. This reduces the cost from cubic to quadratic in sequence length, and both keys range over all previous tokens, which windowed 2-simplicial attention does not allow. We implement it with custom Triton kernels and combine it with Kimi Delta Attention to build a model with no softmax attention at all. With 15B equal training tokens on FineWeb-Edu, this model lowers validation loss from 2.35 to 2.32 over a KDA hybrid and lowers LAMBADA perplexity from 40 to 38.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.09307v2제출 시각 미확인
- arXiv:2608.09307v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.