PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.01553v1cs.LG

X-LogSMask: Expand Transformer for Graph-Structured Data

그래프 데이터의 희소하고 구조적인 상호작용에 맞지 않는 Transformer의 전방위 셀프어텐션(self-attention) 문제를 해결하기 위해, 대칭 정규화된 인접 행렬의 로그 변환값을 어텐션 로짓(attention logit)에 직접 주입하는 설명 가능한 다중 헤드 구조적 마스크 X-LogSMask를 제안한다. 각 어텐션 헤드에 인접 행렬의 서로 다른 거듭제곱을 할당해 단일 레이어에서 다중 홉(multi-hop) 정보 전파를 가능하게 하며, 20개 노드·엣지·그래프 수준 벤치마크 중 13개에서 최고 성능을 달성했다.