PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13674v1stat.ML

모든 차원이 동등하지는 않다: 그룹화된 이차 커널을 이용한 이상치 인식 어텐션 선형화

Not All Dimensions Are Equal: Outlier-Aware Attention Linearization with Grouped Quadratic Kernels

소프트맥스(softmax) 어텐션을 선형화하는 것은 효율적인 트랜스포머(Transformer) 추론을 달성하는 경로를 제공하지만, 사전학습된 어텐션을 보존하는 것은 여전히 어려운 과제로 남아 있습니다. 본 연구에서는 표준 선형화 기법들이 간과해 온 중요한 근사 오차 원인을 규명합니다. 즉, 소수의 이상치 차원이 쿼리-키 내적에 불균형적으로 크게 기여하며 근사 오차의 상당 부분을 차지한다는 점입니다. 이러한 이질성에 착안하여, 본 논문에서는 이차 어텐션 근사를 구성하기 위한 차원 인식 기법인 이상치 인식 어텐션 선형화(Outlier-Aware Attention Linearization, OAL)를 제안합니다. 2차 테일러 근사에서 출발하여, 개별 쿼리-키의 기여를 명시적으로 만드는 아다마르 곱(Hadamard-product) 정식을 도입합니다. 이 정식은 전역적으로 공유되는 계수를 완화하여 분리 가능한 평가 방식을 유지하면서도 차원별 선형 항과 차원 간 이차 상호작용을 지원합니다. 적은 수의 파라미터로 이러한 유연성을 유지하기 위해, OAL은 기여도 규모가 유사한 차원들을 묶어 계수를 공유하도록 하는 동시에 소수의 이상치는 별도로 처리할 수 있도록 합니다. 이를 통해 생성된 양의 이차 커널은 사전학습된 어텐션 출력을 기준으로 보정되며, 고정된 헤드 차원에 대해 시퀀스 길이에 선형인 시간 복잡도로 계산이 가능합니다. Qwen2.5-0.5B 모델에서 OAL은 DiJiang 대비 고정된 어텐션 출력의 상대 MSE를 약 8.9% 감소시킵니다. 중간 층의 어텐션 모듈을 교체하고 LoRA를 통해 커널 계수를 공동으로 미세조정(fine-tuning)하면, 학습된 전역 이차 커널 방식과 비교해 WikiText-103 퍼플렉시티(perplexity)를 31.71에서 27.50으로 낮추는 동시에 PIQA, HellaSwag, ARC-E에서의 정확도를 향상시킵니다. 이러한 결과는 어텐션 근사와 사전학습 모델 변환 모두에서 이상치 인식 차원 그룹화의 유효성을 입증합니다. 코드는 https://github.com/wuqianyue09/OAL 에서 확인할 수 있습니다.

arXiv:2606.27748v1cs.LG

Flexformer: 학습 가능한 어텐션 커널을 갖춘 유연한 선형 트랜스포머

Flexformer: Flexible Linear Transformer with Learnable Attention Kernel

트랜스포머 모델은 장거리 의존성을 포착하기 위해 어텐션 메커니즘에 의존하지만, 이차 복잡도로 인해 긴 시퀀스로의 확장성(scaling)이 제한된다. 커널 기반 선형 어텐션은 이러한 복잡도를 줄이지만, 일반적으로 고정되거나 약하게 학습 가능한 커널에 의존하여 표현력과 성능을 제한한다. 본 연구에서는 어텐션 커널을 완전히 데이터 기반으로 학습하는 유연한 선형 트랜스포머인 Flexformer를 제안한다. Flexformer는 무작위 푸리에 특징(random Fourier feature) 기반 선형 어텐션을 기반으로 하며, 스펙트럼 주파수를 학습 가능한 파라미터로 취급하여 모델이 광범위한 어텐션 커널 계열을 학습할 수 있게 한다. 우리는 정상(stationary) 변형과 비정상(nonstationary) 변형을 모두 개발했으며, 후자는 엄밀히 더 큰 표현력을 제공한다. 언어 모델링과 시퀀스 분류에 대한 광범위한 실험은 Flexformer가 베이스라인을 일관되게 능가함을 보여준다. 더 나아가 Flexformer는 사전학습(pre-training)된 트랜스포머로부터 효과적으로 지식 증류(distillation)되어 소프트맥스 어텐션을 복원할 수 있으며, 도메인 간 강한 커널 전이 가능성을 보여 긴 시퀀스 작업에서 높은 효율성과 경쟁력 있는 성능을 모두 달성한다.