kreasof.my.id

이 이메일 도메인이 관측된 논문 1건

arXiv:2606.25156v1cs.LG

ATMA: Length-Invariant Language Modeling via Polar Attention and Gated-Delta Compression Memory

긴 문맥에서 softmax 어텐션의 확률 질량 희석과 슬라이딩 윈도우-전역 어텐션 간 트레이드오프를 ATMA가 Polar Attention의 방향·크기 2채널 분해와 게이트-델타(gated-delta) 압축 recurrent memory를 결합한 convolution-attention 하이브리드로 해소한다. 학습 길이 2K의 32배인 64K 토큰까지 induction needle-in-a-haystack 검색 정확도 90% 이상을 유지하면서 문서 perplexity가 단조 개선되어 softmax 메모리 기준선을 능가한다.