Learning a Fourier Transform for Linear Relative Positional Encodings in Transformers
원문 초록
We propose a new class of linear Transformers called FourierLearner-Transformers (FLTs), which incorporate a wide range of relative positional encoding mechanisms (RPEs). These include regular RPE techniques applied for sequential data, as well as novel RPEs operating on geometric data embedded in higher-dimensional Euclidean spaces. FLTs construct the optimal RPE mechanism implicitly by learning its spectral representation. As opposed to other architectures combining efficient low-rank linear attention with RPEs, FLTs remain practical in terms of their memory usage and do not require additional assumptions about the structure of the RPE mask. Besides, FLTs allow for applying certain structural inductive bias techniques to specify masking strategies, e.g. they provide a way to learn the so-called local RPEs introduced in this paper and give accuracy gains as compared with several other linear Transformers for language modeling. We also thoroughly test FLTs on other data modalities and tasks, such as image classification, 3D molecular modeling, and learnable optimizers. To the best of our knowledge, for 3D molecular data, FLTs are the first Transformer architectures providing linear attention and incorporating RPE masking.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Recurrent Highway Networks with Grouped Auxiliary Memory
잠재 분류체계: 언어 모델 사전학습에서 속성 유도는 어떻게 발달하는가
Latent Taxonomies: How Property Induction Develops in Language Model Pre-training
로빈(robin)이 종자골(sesamoid bone)을 가진다는 말을 들으면, 사람들은 이 속성을 참새에게 확장할 가능성이 고래에게 확장할 가능성보다 훨씬 높다. 이러한 행동은 범주 기반 속성 유도(category-based property induction)라고 불리며 인간에게서는 잘 입증되어 있지만, 다음 토큰 예측만으로 학습된 언어 모델에서 이러한 능력이 발달하는지, 그리고 어떻게 발달하는지는 명확하지 않다. 이를 밝히기 위해 우리는 공유하는 속성에 따라 그룹화된 합성 개체(synthetic entity)들의 계층적 분류체계(taxonomy)를 구성한다. 그런 다음 이 잠재 분류체계로부터 얻은 사실들을 Pythia와 OLMo 2 모델(70M에서 7B 파라미터)의 지속적 사전학습(continued pre-training)에 주입하고, 유도적 행동의 발달 과정을 추적한다. 우리는 분류체계에 부합하는 유도가 다음 토큰 예측만으로도 나타난다는 것을 발견했다: 한 개체에 대해 학습된 속성은 동일한 분류 범주 내에서 범주 간보다 더 강하게 전이된다. 내부적으로는 더 깊은 범주를 공유하는 개체들이 활성화 공간(activation space)에서 더 유사해지며, 군집화(clustering)를 수행하면 개체 표현(entity representation)으로부터 전체 분류 트리를 복원할 수 있다. 스케일이 도움이 될 것이라는 일반적인 예상과 달리, 데이터 예산이 고정된 경우 모델 크기가 커질수록 유도 능력이 약화되는 것으로 나타났으며, 이는 더 큰 모델이 개별 사실들을 공유 구조로 압축하기보다는 그대로 암기한다는 것을 시사한다. 또한 유도 능력은 분류체계 주입 이전의 사전학습이 많을수록 강화되고, 새로운 문맥 내(in-context) 속성으로도 전이되며, 프롬프트가 암시하는 잠재 분류체계에 의해 무효화될 수 있다. 종합적으로 이러한 결과는 모델의 유도적 일반화가 학습 데이터의 잠재적 구조를 반영한다는 것을 보여주며, 이는 데이터 큐레이션(data curation)과 학습된 사실이 얼마나 널리 전파될지 예측하는 데에 함의를 지닌다.
감각 정렬 수용영역의 계산적 가치는 신경 세포 표현력에 의존한다
The Computational Value of Sensory-Aligned Receptive Fields Depends on Neuronal Expressivity
생물학적 감각 신경세포는 주파수, 운동 방향, 망막 위치와 같은 유의미한 자극 좌표를 따라 조직화된 선택적 수용영역(receptive field)을 갖습니다. 단순 신경세포에 대한 계산 연구들이 여러 모달리티(modality)에 걸쳐 보여주었듯이, 이러한 구조는 효율적 부호화(efficient coding)와 활동, 연결성 및 배선에 대한 생물학적 제약 조건에서 비롯되었을 수 있습니다. 이는 다음과 같은 질문을 제기합니다. 구조화된 수용영역이 자원 효율성 자체를 넘어 계산적 이점을 제공하는가, 그리고 개별 신경세포의 표현력이 매우 높을 때도 이 이점이 유지되는가? 우리는 신경세포의 복잡도와 피드포워드(feed-forward) 수용영역의 구성을 독립적으로 변경할 수 있는 Expressive Leaky Memory 신경세포의 순환 신경망에서 이 질문을 다룹니다. 청각 및 이벤트 기반 시각 분류(classification) 태스크 전반에 걸쳐, 태스크 관련 감각 좌표와 정렬된 수용영역은 예산이 일치된(budget-matched) 무작위 수용영역에 비해 테스트 정확도를 향상시킵니다. 이러한 이점은 감각 좌표가 뒤섞이거나 수용영역이 태스크와 무관한 좌표를 따를 때 사라지며, 이는 그 이점이 제한된 연결성 자체보다는 태스크 기하학(task geometry)과의 정렬에서 비롯됨을 보여줍니다. 신경세포 복잡도가 증가하면 구조화된 수용영역의 성능상 이점이 감소합니다. 마지막으로, 일반적인 시냅스 희소성(sparsity) 정규화(regularization)는 입력 선택성을 유도하고 성능을 부분적으로 회복하지만, 명시적으로 구조화된 수용영역보다는 실질적으로 낮은 수준에 머물러 있어, 희소성만으로는 태스크 정렬 수용영역의 완전한 계산적 이점을 회복하기에 불충분함을 시사합니다. 종합하면, 우리의 결과는 적절한 수용영역이 희소성 자체를 넘어선 계산적 사전 분포(computational prior) 역할을 할 수 있으며, 그 가치는 개별 신경세포의 계산적 표현력에 따라 달라짐을 보여줍니다.
지형적 학습은 뉴런 단의의성을 개선하지 않으면서 인과 회로를 집중시킨다
Topographic Training Concentrates Causal Circuits Without Improving Neuron Monosemanticity
비전 트랜스포머의 기계론적 해석 가능성(mech interp)은 모델 연산을 사람이 읽을 수 있는 단위로 분해하려 하지만, 학습된 표현은 각 뉴런에 많은 개념을 얽혀 둔다. 특징(feature) 중첩(superposition)은 이러한 분해의 핵심 장애물로 널리 여겨지지만, 대부분의 완화 방법(희소 오토인코더, dictionary learning)은 사후적(post-hoc)이며 기저 네트워크는 그대로 둔다. 우리는 공간 지역성(spatial-locality) 학습 손실(TopoLoss)이 표준 mech-interp 도구의 해석 가능성을 높이는 경량의 학습 시점 사전(prior) 역할을 할 수 있는지 묻는다. ImageNet-100에서 여러 TopoLoss 가중치 $\alpha$로 ViT를 학습(training)하며, 활성화 패칭(activation patching)으로 지형(topographic) 클러스터의 인과적 충분성을, 동일 잔차 스트림(residual stream)에 적합한 희소 오토인코더로 특징 기하를 측정한다. $\alpha=1.0$에서 지형 클러스터는 동일 크기의 무작위 단위 집합보다 인과적으로 2.79$\times$ 더 충분하며, 효과는 $\alpha$에 단조 증가한다. SAE L0 희소성(sparsity)은 11% 감소하고 dead-feature 비율은 19배 증가하지만, 표준 뉴런 수준 단의의성(monosemanticity) 점수는 변하지 않아, 지형적 압력이 회로(circuit) 수준에서 작용하여 개별 뉴런을 분리(disentangle)하지 않고 인과적 기여를 공간적으로 지역적인 구조에 집중시킴을 나타낸다. 이러한 분리(dissociation)는 현재 뉴런 수준 단의의성 지표가 한 유형의 실질적 해석 가능성 이득에는 둔감함을 시사하며, 저렴한 구조적 사전을 사후 도구에 대한 실행 가능한 학습 시점 보완으로 제시한다.
Parameter Efficient Fine Tuning Llama 3.1 for Answering Arabic Legal Questions: A Case Study on Jordanian Laws
Evaluating the Performance of TAAF for image classification models
토론
이 논문과 연결된 포럼 글이 아직 없습니다.