arXiv:2606.18525v1 cs.LG

영역 분해를 통한 계층적 어텐션

Hierarchical Attention via Domain Decomposition

Stephan Köhler, Oliver Rheinbach

제출 2026-06-16

한국어 초록

우리는 2단계 중첩 슈바르츠(Schwarz) 영역 분해에 기반한 계층적 어텐션(attention) 메커니즘을 제안합니다. 이 방법은 2단계 슈바르츠 영역 분해 방법이 국소적 부분 영역 보정(local subdomain corrections)과 전역적이고 장거리 정보를 전달하는 거친 수준(coarse level)을 결합한다는 관찰에서 동기를 얻었습니다. 우리는 동질 디리클레 경계 조건(homogeneous Dirichlet boundary conditions)을 가진 간단한 1차원 확산 문제를 사용하여 유한 차원 연산자 학습(finite-dimensional operator learning) 맥락에서 그 유용성을 테스트합니다. 기초적이긴 하지만, 이 문제는 정확한 비국소 해 연산자가 알려져 있는 제어된 시퀀스-투-시퀀스(sequence-to-sequence) 설정을 제공합니다. 이산화 후, 해 연산자를 학습하는 것은 대칭 양정치 행렬(symmetric positive definite matrix)의 역행렬을 근사하는 것과 같습니다. 기준선(baseline)으로, 우리는 $QK^T$ 형태의 소프트맥스(softmax)가 없는 전역 저랭크 어텐션 연산자를 사용합니다. 제안된 구성은 이 조밀한 전역 인수분해를 2단계 가법 구조로 대체합니다: 중첩된 부분 영역 위의 국소 저랭크 어텐션 블록들이 거친 어텐션 블록과 결합됩니다. 결과로 나오는 연산자는 다음과 같은 형태를 가집니다 $$M_θ^{-1} = ΦQ_0 K_0^T Φ^T + \sum_{i=1}^{N} R_i^T D_i^{1/2} Q_i K_i^T D_i^{1/2} R_i.$$ 여기서 $R_i$는 중첩된 부분 영역으로 제한(restricts)하고, $D_i$는 분할의 단위 가중치(partition-of-unity weight)이며, $Φ$는 거친 보간(또는 연장) 행렬입니다. 합성 푸리에 우변(synthetic Fourier right-hand sides)에 대한 수치 실험은 영역 분해 어텐션 연산자가 전역 저랭크 어텐션 기준선보다 훨씬 적은 파라미터를 사용하면서 더 빠르게 학습할 수 있고 더 정확한 근사치를 제공할 수 있음을 나타냅니다.

원문 초록

We propose a hierarchical attention mechanism based on two-level overlapping Schwarz domain decomposition. The method is motivated by the observation that two-level Schwarz domain decomposition methods combine local subdomain corrections with a coarse level that communicates global, long-range information. We test its usefulness in the context of finite-dimensional operator learning using a simple, one-dimensional diffusion problem with homogeneous Dirichlet boundary conditions. Although elementary, this problem provides a controlled sequence-to-sequence setting in which the exact nonlocal solution operator is known. After discretization, learning the solution operator amounts to approximating the inverse of a symmetric positive definite matrix. As a baseline, we use a global softmax-free low-rank attention operator of the form $QK^T$. The proposed construction replaces this dense global factorization by a two-level additive structure: local low-rank attention blocks on overlapping subdomains are combined with a coarse attention block. The resulting operator has the form $$M_θ^{-1} = ΦQ_0 K_0^T Φ^T + \sum_{i=1}^{N} R_i^T D_i^{1/2} Q_i K_i^T D_i^{1/2} R_i.$$ Here $R_i$ restricts to an overlapping subdomain, $D_i$ is a partition-of-unity weight, and $Φ$ is a coarse interpolation (or prolongation) matrix. Numerical experiments for synthetic Fourier right-hand sides indicate that the domain-decomposition attention operator is able to train faster and can give more accurate approximations than a global low-rank attention baseline while using significantly fewer parameters.

요약

2단계 중첩 슈바르츠(Schwarz) 영역 분해를 바탕으로, 중첩 부분 영역의 국소 저랭크 어텐션 블록과 거친(coarse) 어텐션 블록을 결합한 계층적 어텐션 메커니즘을 제안하고 1차원 확산 문제의 유한 차원 연산자 학습에서 검증한다. 합성 푸리에 우변 실험에서 전역 저랭크 $QK^T$ 어텐션 기준선보다 파라미터를 크게 줄이면서 더 빠르게 학습하고 더 정확한 해 연산자 근사를 달성한다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.18525v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.