FourierQK: 필터 형태, 허용 가능성 및 누설-커버리지 법칙
FourierQK: Filter Shape, Admissibility and the Leakage-Coverage Law
한국어 초록
주파수 붕괴 어텐션(Frequency-collapse attention) [Zeris, 2026e]은 Q/K 내적을 학습된 주파수에서의 대역통과 필터링된 내적으로 대체함으로써 표준 점곱 어텐션(dot-product attention) 대비 큰 성능 향상을 달성한다. 자연스럽게 이어지는 후속 질문은 어떤 필터 형태가 가장 우수하며, 그 이유는 무엇인가이다. 본 논문에서는 문자 수준 언어 모델링(TinyShakespeare, 6층 GPT)에 대한 통제된 소거 연구(ablation study)를 통해 직류(DC) 억제, 나이퀴스트(Nyquist) 억제, 대역폭, 중심 주파수, 다중 스케일 커버리지라는 필터 특성에 관한 5가지 가설을 검증한다. 주요 발견은 다음과 같다: (1) DC 및 나이퀴스트 성분은 성능에 명백히 유해하며(val ~= 2.0, 위상 무작위화와 동등), 이는 단순한 저차원 스펙트럼 요약이 아닌 진동성 대역통과 구조가 필수적임을 확인해 준다; (2) 최적의 단일 스케일 대역폭은 문단 스케일(~70개 토큰)을 중심으로 한 sigma ~= 2 빈(bin)으로, BASE-DOT 대비 Delta = +1.15 nats의 뚜렷한 성능 향상을 제공한다; (3) 허용 가능한 필터(zero-mean, 멕시칸 햇 DOG m = 2)는 동일 스케일의 비허용 가우시안 필터보다 성능이 뛰어나며 양방향 FFT 누설에 대해 부분적인 보호를 제공한다; (4) 양방향 FFT 누설은 스펙트럼 커버리지에 따라 단조적으로 스케일링된다(협대역 필터(gap > +4)는 누설이 적고, 광대역 필터(gap < +2)는 누설이 많음); (5) 문자 스케일에서 인과적 시간 도메인 몰렛(Morlet)은 BASE-DOT을 넘어서지 못하며(K=128 탭은 T=256 컨텍스트의 50%를 커버), 이는 자매 논문인 MorletQK [Zeris, 2026f]에서 단어 수준 실험을 진행하는 동기가 된다. 종합적으로, 결과 (1)-(5)는 FourierQK가 학습(training)과 추론(inference) 시점 모두에서 전체 시퀀스 컨텍스트를 활용할 수 있는 양방향 어텐션 설정(인코더 스타일, 예: BERT)에서 효과적임을 보여준다. 자기회귀적 생성에는 MorletQK [Zeris, 2026f](디코더 스타일, 예: GPT)와 같은 인과적 스펙트럼 변형이 필요하다. 코드는 https://github.com/AthanasiosZeris/energy-gated-attention 에서 제공된다.
원문 초록
Frequency-collapse attention [Zeris, 2026e] achieves large gains over standard dot-product attention by replacing the Q/K dot product with a bandpass-filtered inner product at a learned frequency. A natural follow-up question is: which filter shape works best, and why? We test five hypotheses about filter properties -- DC suppression, Nyquist suppression, bandwidth, centre frequency, and multi-scale coverage -- using a controlled ablation on character-level language modelling (TinyShakespeare, 6-layer GPT). Our main findings are: (1) DC and Nyquist components are actively harmful (val ~= 2.0, equivalent to phase randomisation), confirming that oscillatory bandpass structure is essential, not just any low-dimensional spectral summary; (2) the optimal single-scale bandwidth is sigma ~= 2 bins centred at paragraph scale (~70 tokens), giving a clean gain of Delta = +1.15 nats over BASE-DOT; (3) admissible filters (zero-mean, Mexican Hat DOG m = 2) outperform non-admissible Gaussians at the same scale and provide partial protection against bilateral FFT leakage; (4) bilateral FFT leakage scales monotonically with spectral coverage -- narrowband filters (gap > +4) are clean, wideband filters (gap < +2) are leaky; and (5) causal time-domain Morlet at character scale cannot beat BASE-DOT (K=128 taps covers 50% of T=256 context), motivating word-level experiments in the companion MorletQK paper [Zeris, 2026f]. Together, findings (1)-(5) characterise FourierQK as effective in bidirectional attention settings (encoder-style, e.g. BERT), where full-sequence context is available at both training and inference time; autoregressive generation requires a causal spectral variant such as MorletQK [Zeris, 2026f] (decoder-style, e.g. GPT). Code available at: https://github.com/AthanasiosZeris/energy-gated-attention
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
9 pages, 1 figure, 2 tables