어텐션에서의 기능적 동등성: 선형 모드 연결성에의 응용을 포함한 포괄적 연구
Functional Equivalence in Attention: A Comprehensive Study with Applications to Linear Mode Connectivity
한국어 초록
신경망 매개변수 공간은 본질적으로 단사적이지 않은데, 이는 서로 다른 매개변수 구성이 기능적 동등성을 통해 동일한 함수를 실현할 수 있기 때문입니다. 이러한 대칭성은 고전적인 완전 연결 및 합성곱 모델에서는 잘 이해되어 있지만, 최신 어텐션 기반 아키텍처에서는 훨씬 더 복잡해집니다. 멀티헤드 어텐션에 대한 기존 분석은 대부분 기본 공식에 초점을 맞추어, 아키텍처 대칭성을 근본적으로 재형성하는 위치 인코딩을 간과해 왔습니다. 본 연구에서는 위치 인코딩이 포함된 트랜스포머에서의 기능적 동등성에 대한 형식적인 연구를 제공합니다. 가장 널리 사용되는 두 가지 변형인 사인파(sinusoidal) 및 회전 위치 인코딩(RoPE)에 초점을 맞추어, 사인파 인코딩은 기본 어텐션의 동등성 구조를 보존하는 반면, 회전 인코딩은 대칭군을 크게 줄여 표현력을 향상시킴을 보여줍니다. 이는 실무에서 RoPE의 부상에 대한 원칙에 기반한 설명을 제공합니다. 또한 우리는 위치 인코딩이 선형 모드 연결성에 미치는 영향을 추가로 조사하고, 정렬 알고리즘을 통해 트랜스포머 설정 전반에 걸친 연결성의 존재와 변동성이 위치 인코딩에 결정적으로 의존함을 실험적으로 입증합니다.
원문 초록
Neural network parameter spaces are inherently non-injective, as distinct parameter configurations can realize identical functions through functional equivalence. While this symmetry is well understood in classical fully connected and convolutional models, it becomes substantially more intricate in modern attention-based architectures. Existing analyses of multihead attention have largely focused on the vanilla formulation, overlooking positional encodings that fundamentally reshape architectural symmetries. In this work, we provide a formal study of functional equivalence in Transformers with positional encodings. Focusing on the two most widely used variants--sinusoidal and rotary positional encodings (RoPE)--we show that sinusoidal encodings preserve the equivalence structure of vanilla attention, whereas rotary encodings significantly reduce the symmetry group, thereby enhancing expressivity. This offers a principled explanation for the growing prominence of RoPE in practice. We further examine how positional encodings affect linear mode connectivity, and through an alignment algorithm, empirically demonstrate that the presence and variability of connectivity across Transformer settings crucially depend on the positional encoding.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.17830v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
잠재 분류체계: 언어 모델 사전학습에서 속성 유도는 어떻게 발달하는가
Latent Taxonomies: How Property Induction Develops in Language Model Pre-training
로빈(robin)이 종자골(sesamoid bone)을 가진다는 말을 들으면, 사람들은 이 속성을 참새에게 확장할 가능성이 고래에게 확장할 가능성보다 훨씬 높다. 이러한 행동은 범주 기반 속성 유도(category-based property induction)라고 불리며 인간에게서는 잘 입증되어 있지만, 다음 토큰 예측만으로 학습된 언어 모델에서 이러한 능력이 발달하는지, 그리고 어떻게 발달하는지는 명확하지 않다. 이를 밝히기 위해 우리는 공유하는 속성에 따라 그룹화된 합성 개체(synthetic entity)들의 계층적 분류체계(taxonomy)를 구성한다. 그런 다음 이 잠재 분류체계로부터 얻은 사실들을 Pythia와 OLMo 2 모델(70M에서 7B 파라미터)의 지속적 사전학습(continued pre-training)에 주입하고, 유도적 행동의 발달 과정을 추적한다. 우리는 분류체계에 부합하는 유도가 다음 토큰 예측만으로도 나타난다는 것을 발견했다: 한 개체에 대해 학습된 속성은 동일한 분류 범주 내에서 범주 간보다 더 강하게 전이된다. 내부적으로는 더 깊은 범주를 공유하는 개체들이 활성화 공간(activation space)에서 더 유사해지며, 군집화(clustering)를 수행하면 개체 표현(entity representation)으로부터 전체 분류 트리를 복원할 수 있다. 스케일이 도움이 될 것이라는 일반적인 예상과 달리, 데이터 예산이 고정된 경우 모델 크기가 커질수록 유도 능력이 약화되는 것으로 나타났으며, 이는 더 큰 모델이 개별 사실들을 공유 구조로 압축하기보다는 그대로 암기한다는 것을 시사한다. 또한 유도 능력은 분류체계 주입 이전의 사전학습이 많을수록 강화되고, 새로운 문맥 내(in-context) 속성으로도 전이되며, 프롬프트가 암시하는 잠재 분류체계에 의해 무효화될 수 있다. 종합적으로 이러한 결과는 모델의 유도적 일반화가 학습 데이터의 잠재적 구조를 반영한다는 것을 보여주며, 이는 데이터 큐레이션(data curation)과 학습된 사실이 얼마나 널리 전파될지 예측하는 데에 함의를 지닌다.
개별 특징에서 궤도로: 다중 SAE 정렬을 통한 음악 개념 발견
From Isolated Feature to Orbits: Discovering Music Concepts via Multi-SAE Alignment
음악 파운데이션 모델이 내부적으로 무엇을 학습했는지 어떻게 이해할 수 있을까요? 프로빙(probing) 및 희소 오토인코더(Sparse Autoencoders, SAE)와 같은 대부분의 해석 가능성 접근 방식은 구조적 가정을 최소화한 채 개별 특징(feature)을 식별하는 데 집중합니다. 우리는 많은 개념이 고립된 특징보다는 구조화된 관계로 이해하는 것이 더 적절하다고 주장합니다. 이는 음고(pitch)와 시간 공간에서 음조 구조가 구성되는 음악 분야에서 특히 두드러집니다. 예를 들어 화음(chord)이나 조(key)와 같은 개념은 고립된 특징이 아니라 구조화된 집합(예: 화음의 12가지 조옮김 또는 조 내의 온음계 시스템)으로 자연스럽게 표현됩니다. 본 연구에서는 특징 식별에서 구조 기반 분석으로 전환하여, 음악 파운데이션 모델의 학습된 내부 표현이 특징 전반에 걸쳐 조직화된 구조로 창발하는지 질문합니다. 이를 위해 우리는 다중 뷰 SAE 정렬(multi-view SAE alignment)을 통해 정렬된 궤도(orbit)를 유도하기 위한 귀납적 바이어스(inductive bias)로 음고 조옮김(pitch transposition)을 활용하는 프레임워크를 도입합니다. 구체적으로는 음고가 변조된 입력 쌍을 생성하고 이들의 SAE 표현을 정렬하여 음고 관련 특징의 구조화된 그룹을 발견합니다. 실험 결과에 따르면, 이 접근 방식은 두 가지 최첨단 음악 파운데이션 모델 전반에서 화음, 조, 멜로디 패턴에 해당하는 궤도 구조를 복원하며, 전체 개념군을 해석하는 데 최소한의 그라운딩(예: 소수의 앵커 예시)만을 필요로 합니다.
감각 정렬 수용영역의 계산적 가치는 신경 세포 표현력에 의존한다
The Computational Value of Sensory-Aligned Receptive Fields Depends on Neuronal Expressivity
생물학적 감각 신경세포는 주파수, 운동 방향, 망막 위치와 같은 유의미한 자극 좌표를 따라 조직화된 선택적 수용영역(receptive field)을 갖습니다. 단순 신경세포에 대한 계산 연구들이 여러 모달리티(modality)에 걸쳐 보여주었듯이, 이러한 구조는 효율적 부호화(efficient coding)와 활동, 연결성 및 배선에 대한 생물학적 제약 조건에서 비롯되었을 수 있습니다. 이는 다음과 같은 질문을 제기합니다. 구조화된 수용영역이 자원 효율성 자체를 넘어 계산적 이점을 제공하는가, 그리고 개별 신경세포의 표현력이 매우 높을 때도 이 이점이 유지되는가? 우리는 신경세포의 복잡도와 피드포워드(feed-forward) 수용영역의 구성을 독립적으로 변경할 수 있는 Expressive Leaky Memory 신경세포의 순환 신경망에서 이 질문을 다룹니다. 청각 및 이벤트 기반 시각 분류(classification) 태스크 전반에 걸쳐, 태스크 관련 감각 좌표와 정렬된 수용영역은 예산이 일치된(budget-matched) 무작위 수용영역에 비해 테스트 정확도를 향상시킵니다. 이러한 이점은 감각 좌표가 뒤섞이거나 수용영역이 태스크와 무관한 좌표를 따를 때 사라지며, 이는 그 이점이 제한된 연결성 자체보다는 태스크 기하학(task geometry)과의 정렬에서 비롯됨을 보여줍니다. 신경세포 복잡도가 증가하면 구조화된 수용영역의 성능상 이점이 감소합니다. 마지막으로, 일반적인 시냅스 희소성(sparsity) 정규화(regularization)는 입력 선택성을 유도하고 성능을 부분적으로 회복하지만, 명시적으로 구조화된 수용영역보다는 실질적으로 낮은 수준에 머물러 있어, 희소성만으로는 태스크 정렬 수용영역의 완전한 계산적 이점을 회복하기에 불충분함을 시사합니다. 종합하면, 우리의 결과는 적절한 수용영역이 희소성 자체를 넘어선 계산적 사전 분포(computational prior) 역할을 할 수 있으며, 그 가치는 개별 신경세포의 계산적 표현력에 따라 달라짐을 보여줍니다.
TNLearn: 태스크 기반 뉴런을 위한 오픈소스 Python 패키지
TNLearn: An Open Source Python Package for Task-based Neurons
뇌는 모든 종류의 작업을 수행하기 위해 단일 유형의 뉴런에 의존하지 않으며, 대신 작업마다 서로 다른 뉴런을 설계한다. 태스크 기반 뉴런(task-based neurons) 개념은 태스크 기반 아키텍처(task-based architectures)와 비교할 때 패러다임 전환에 해당한다. 특정 문제를 해결하려면 맞춤형 뉴런이 필요하며, 태스크 기반 뉴런은 작업 관련 데이터에서 유용한 사전 지식(prior knowledge)을 포착한다는 주장이다. 과학 연구와 산업 응용에서 태스크 기반 뉴런 사용을 돕기 위해, 태스크 기반 뉴런과 네트워크의 자동 구축을 제공하고 태스크 기반 네트워크의 원활한 학습을 가능하게 하는 오픈소스 Python 패키지 TNLearn을 제안한다. 기술 설명, API 참조, 대표 예제를 포함한 포괄적 문서는 온라인에서 제공된다. TNLearn은 https://github.com/NewT123-WM/tnlearn 에서 오픈소스로 공개되었으며 PyTorch 생태계 프로젝트가 되었다.
스파이킹 트랜스포머에서의 쌍별 토큰 상호작용 재고
Rethinking Pairwise Token Interaction in Spiking Transformers
스파이킹 트랜스포머(Spiking Transformers)는 기존 트랜스포머의 토큰 상호작용 메커니즘을 계승하지만, 희소한 이진 표현으로 인해 토큰 간 통신이 형성되는 방식이 근본적으로 변화합니다. 특히 스파이크 기반 쿼리-키(query-key) 매칭은 매우 희소하고 입력 의존적인 상호작용 패턴을 생성하여, 정보 전파가 일치하는 스파이크 이벤트의 순간적 가용성과 결합되도록 만듭니다. 이는 장거리 통신이 쌍별(pairwise) 스파이크 일치에만 의존하지 않는 새로운 상호작용 패러다임의 필요성을 동기부여합니다. 이에 따라 본 논문에서는 정보 전파와 문맥 선택을 분리하는 스파이크 네이티브(spike-native) 토큰 상호작용 메커니즘인 GSAP(Gated Spike Axial Propagation)을 제안합니다. GSAP은 쿼리-키 매칭을 통해 통신을 직접 결정하는 대신, 수평 및 수직 축을 따라 스파이크 기반 문맥을 먼저 전파함으로써 구조화된 순차적 전파를 통해 정보가 먼 토큰까지 도달할 수 있도록 합니다. 그런 다음 수신자 조건부 게이트(receiver-conditioned gate)가 각 토큰에서 전파된 문맥이 얼마만큼 통합될지를 결정하며, 경량 로컬 경로(local pathway)는 세밀한 이웃 정보를 보존합니다. 이러한 방식으로 GSAP은 토큰 상호작용을 '전파 후 선택(propagate-then-select)' 과정으로 재구성하여, 스파이킹 표현의 희소한 이벤트 기반 특성을 유지하면서도 구조화된 장거리 통신을 가능하게 합니다. 코드는 https://github.com/Fancyssc/GSAP 에서 확인할 수 있습니다.
MotionJEPA: 잠재 공간에서 시각적 변화를 포착하여 시간적 특징 붕괴 방지하기
MotionJEPA: Preventing Temporal Feature Collapse by Capturing Visual Changes in Latent Space
Joint Embedding Predictive Architecture(JEPA)는 시각적 재구성(visual reconstruction) 없이 과제 무관(task-agnostic) 잠재 월드 모델을 학습(training)하기 위한 유망한 패러다임입니다. 그러나 표준 JEPA 학습은 느린 특징(slow feature)에 대한 강한 귀납적 바이어스(inductive bias)를 보여, 특징 억제와 잠재 표현(latent representation)의 붕괴를 초래합니다. 역동역학(inverse dynamics)은 시간적 붕괴 방지(temporal anti-collapse)를 제공하지만, 행동 레이블(action label)에 의존하며 레이블이 없는 일반적인 역동학을 임베딩(embedding)하도록 유도하는 효과는 미미합니다. 본 논문에서는 픽셀 재구성 손실(pixel reconstruction loss) 없이 시간적 차영상 임베딩을 예측하는 역동역학 스타일 모듈을 기반으로 하여 정적 및 동적 특징 학습의 균형을 맞추는 새로운 정규화(regularization) 기법인 Difference Image and Single image embedding Regularization(DISReg)을 소개합니다. DISReg는 이미지 임베딩의 분포를 형성하고 느린 특징을 유도하는 정적 항과, 임베딩에 직접 정규화를 적용하는 방식과 달리 이미지 임베딩의 형태나 분포에 제약을 가하지 않고 동적 특징이 존재하도록 유도하기만 하는 동적 항으로 구성됩니다. 이 정규화 기법을 표준 JEPA에 통합하여 새로운 아키텍처인 MotionJEPA를 구축합니다. 잠재 프로빙(latent probing)을 통해 MotionJEPA가 다른 방식들보다 더 완전한 표현을 생성함을 입증하며, 궤적 분석(trajectory analysis)을 통해 곡률(curvature)이 낮은 기하학적으로 단순한 잠재 임베딩을 유지함을 보여줍니다. 나아가 4개의 환경에서 MotionJEPA가 정적 배경 방해 요소(static-background distractors)가 존재하는 상황에서도 다운스트림 플래닝(planning) 성공률을 향상시킴을 보입니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.