트랜스포머 내 이산 시간 셀프 어텐션 역학의 점근적 분석
Asymptotic Analysis of Discrete-Time Self-Attention Dynamics in Transformers
한국어 초록
머신러닝에서 셀프 어텐션 역학은 트랜스포머의 어텐션(attention) 메커니즘을 설명하며, 트랜스포머의 층(layer) 인덱스를 시간 인덱스로 취급하여 도출됩니다. 본질적으로 이산 시간(discrete-time) 시스템임에도 불구하고, 이러한 동적 시스템은 대부분 연속 시간으로 연구되어 왔습니다. 본 논문의 목적은 이산 시간 버전의 셀프 어텐션 역학을 철저하게 조사하는 것입니다. 단일 헤드 및 멀티헤드 사례 모두에서 평형점(equilibria)에 대한 완전한 분류(classification)를 제시하고 그 안정성 특성을 연구합니다. 두 경우 모두 역학의 주요 어트랙터(attractor)가 값(value) 행렬의 주 고유벡터(멀티헤드 사례의 경우 상응하는 가중치(weight) 행렬)와 정렬된 합의 평형점(consensus equilibrium)임을 보입니다. 다만, 단일 헤드 상황에서는 국소적으로 점근적 안정한 다른 이분 평형점(bipartite equilibria)도 존재함을 보일 수 있습니다. 이러한 동작은 실제 트랜스포머의 학습된 가중치 행렬을 살펴봄으로써 검증됩니다.
원문 초록
In machine learning, a self-attention dynamics describes the attention mechanism of transformers, and is obtained treating the layer index of a transformer as time index. Even though naturally discrete-time, this dynamical system is most often studied in continuous-time. Scope of this paper is to provide a thorough investigation of the discrete-time version of the self-attention dynamics: a complete classification of its equilibria is given, and their stability properties are studied, in both the single-head and the multihead case. We show that in both cases the main attractor of the dynamics is a consensus equilibrium aligned with the principal eigenvector of the value matrix (in the single-head case, a corresponding matrix of weights in the multihead case), even though other locally asymptotically stable bipartite equilibria can be show to exist at least in the single-head situation. The behavior is confirmed by looking at the learned weight matrices of a real transformer.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
상호작용하는 동적 시스템을 위한 회전-변위 로컬 좌표계
Roto-translated Local Coordinate Frames For Interacting Dynamical Systems
상호작용 모델링은 고도로 비선형적이며 시간에 따라 변하는 동작을 보이는 상호작용 객체 시스템, 즉 복잡한 동적 시스템(dynamical systems)을 학습하는 데 매우 중요합니다. 이러한 시스템의 상당 부분은 기하학적 그래프($\textit{geometric graphs}$), 즉 교통 상황의 차량과 같이 $\textit{임의로}$ 선택된 글로벌 좌표계 하에서 유클리드 공간에 위치한 노드(node)를 갖는 그래프로 정형화될 수 있습니다. 임의의 글로벌 좌표계에도 불구하고, 해당 동적 시스템을 지배하는 동역학은 회전 및 변위(translation)에 대해 불변이며, 이는 갈릴레이 불변성($\textit{Galilean invariance}$)으로도 알려져 있습니다. 이러한 불변성을 무시하면 일반화 성능이 저하되므로, 본 연구에서는 상호작용 동적 시스템의 기하학적 그래프에 회전-변위 불변성을 유도하기 위해 노드 객체별 로컬 좌표계(local coordinate frames)를 제안합니다. 또한, 로컬 좌표계를 통해 그래프 신경망(GNN)에서 비등방성 필터링(anisotropic filtering)을 자연스럽게 정의할 수 있습니다. 교통 상황, 3D 모션 캡처, 충돌 입자에 대한 실험을 통해 제안된 접근 방식이 최근 SOTA(state-of-the-art)를 여유 있게 능가함을 입증합니다.
쿠프만 기반 순환 신경망
Koopman-informed recurrent neural networks
순환 신경망(recurrent neural network)은 시계열 분석, 예측, 동역학 시스템 모델링을 포함한 다양한 시간 의존적 문제에서 성공적인 신경망 아키텍처입니다. 동역학 시스템의 맥락에서, 시간에 따른 역전파(backpropagation through time)를 이용한 학습은 그래디언트 폭발 또는 소실로 인한 어려움을 초래할 수 있습니다. 본 연구에서는 그래디언트 기반 방법을 사용하지 않고 순환 신경망의 모든 가중치와 편향을 구성하는 계산적 접근법인 쿠프만 기반 순환 신경망(Koopman-informed recurrent neural networks)을 소개합니다. 이 접근법은 랜덤 특징 네트워크(random feature networks)와 동역학 시스템을 위한 쿠프만 연산자 이론(Koopman operator theory)의 조합에 기반합니다. 단일 순환 블록의 은닉 매개변수는 무작위로 샘플링되며, 외부 가중치는 확장 동적 모드 분해(extended dynamic mode decomposition)를 사용하여 구성됩니다. 이 접근법은 순환 네트워크와 관련하여 역전파에서 흔히 발생하는 일부 문제를 완화합니다. 쿠프만 연산자 이론과의 연결은 이 분야의 결과를 순환 신경망 분석에 활용할 수 있는 가능성도 제공합니다. 시계열, 혼돈 동역학 시스템 예측, 제어 문제, 실세계 데이터에 대한 계산 실험에서, 비교 가능한 예측 정확도를 유지하면서 쿠프만 기반 순환 신경망의 학습 시간이 일반적으로 사용되는 그래디언트 기반 방법으로 학습된 모델에 비해 크게 향상됨을 확인하였습니다.
Function-on-function nonlinear autoregressive model (F2NARX) for probabilistic surrogate modeling of stochastic dynamical systems
Reentrant value fields as delayed coupled reaction-diffusion systems on finite graphs
커널 유도 기하에서의 마르코프 연쇄 수렴
Markov Chain Convergence in Kernel-Induced Geometry
본 논문에서는 최대 평균 불일치(MMD)라고도 불리는 양의 정부호 커널과 연관된 힐베르트 임베딩에 의해 유도된 기하에서 마르코프 연쇄(Markov chain)의 수렴을 연구합니다. 커널 유도 기하에서의 수축 가정과 표준 스펙트럼 갭 가정을 바탕으로, 경험적 점유 측도가 불변 측도로 수렴하는 것에 대한 비점근적 고확률 경계를 확립합니다. 도출된 경계는 두 조건의 역할을 분리합니다. 스펙트럼 갭은 주요 항의 유효 표본 크기를 결정하는 반면, 커널 수축은 선형 보정을 통해서만 반영됩니다. 응용 사례로서, 단일 궤적으로부터 동적 시스템의 1단계 예측을 연구하고 비선형 최소제곱 추정기에 대한 빠른 학습률을 유도합니다. 이 비율은 커널 유도 기하에서의 혼합 특성과 최소제곱 분석에 사용되는 고전적인 소스 및 용량 조건 간의 상호작용을 강조합니다.
카오스 에뮬레이션 학습: 적대적 최적 전송 정규화
Learning to Emulate Chaos: Adversarial Optimal Transport Regularization
날씨부터 전력망까지 다양한 복잡한 동역학계(dynamical systems)에서 카오스가 발생하지만, 머신러닝 에뮬레이터(emulator)와 같은 데이터 기반 방법으로 이를 정확하게 모델링하기는 어렵습니다. 에뮬레이터는 시뮬레이션 가속화 및 역문제(inverse problem) 해결을 위한 유망한 도구이지만, 특히 노이즈가 있는 데이터가 주어졌을 때 초기 조건에 대한 민감도로 인해 정확한 장기 예측이 불가능해지는 카오스 동역학을 학습하는 데 여전히 어려움을 겪고 있습니다. 최근 연구에서는 대신 카오스 어트랙터(attractor)의 통계적 특성을 일치시키도록 에뮬레이터를 학습시키지만, 이러한 접근법은 종종 수작업으로 설계된 요약 통계량이나 대규모의 다양한 다중 환경(multi-environment) 데이터셋에 의존합니다. 본 연구에서는 단일 노이즈 궤적만으로 고품질의 요약 통계량과 물리적으로 일관된 에뮬레이터를 공동 학습할 수 있는 적대적 최적 수송(adversarial optimal transport) 목적 함수군을 제안합니다. 제안하는 접근법의 싱크혼 발산(Sinkhorn divergence) 정식화(2-Wasserstein)와 WGAN 스타일의 쌍대 정식화(dual formulation)(1-Wasserstein)를 이론적으로 분석하고 실험적으로 검증합니다. 고차원 시공간 카오스를 포함한 다양한 카오스 시스템에 대한 수치 실험을 통해, 제안된 목적 함수를 사용하여 학습(training)된 에뮬레이터의 장기 통계적 충실도(statistical fidelity)가 크게 향상됨을 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
16 pages, 3 figures