PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.06573v1physics.flu-dyn

트랜스포머 어텐션 필드의 다중스케일 POD: 모를렛 스칼로그램을 통한 스케일 선택적 분석

Multiscale POD of Transformer Attention Fields: Scale-Selective Analysis via Morlet Scalogram

난류 유동 앙상블에서 에너지적으로 우세한 모드를 추출하는 데 POD를 사용한 연구에서 영감을 받아, 트랜스포머 어텐션 필드에 대한 스케일 선택적 적절 직교 분해(POD)를 제안한다. 모를렛 연속 웨이블릿 변환은 문서 앙상블 전체에 걸친 어텐션 지연 구조에서 지배적인 시간 스케일을 식별하고, POD는 각 스케일에서 어텐션 필드 앙상블로부터 에너지적으로 우세한 모드를 추출한다. 그 결과 모드는 층에 따른 스케일 조직을 드러내며, 초기 층은 미세 스케일을 강조하고 후기 층은 더 거친 스케일로 이동한다. POD 고유값 감쇠율로부터 스펙트럼 집중 지수를 정의하고, 이것이 어텐션 필드 복잡도에 따라 층을 구분함을 경험적으로 보인다. 고전적 POD 최적성 정리에 따르면, 추출된 모드는 앙상블에 대한 평균 L2 재구성 오차를 최소화하며(정리 1), 이는 각 층에 대한 데이터 기반 유효 랭크를 제공한다. 이 방법은 아키텍처 수정이나 언어학적 주석이 필요하지 않으며, 지배적인 어텐션 패턴은 앙상블 통계만으로 나타난다. 난류 유동에 대한 유비는 물리적이기보다 구조적이다. 우리는 유체 역학 자체가 아니라 앙상블 공분산과 모드 분석을 빌려 쓴다.