오버스쿼싱 탈출: 메시지 패싱 네트워크를 위한 주소 지정 가능하고 지지 인식형 전역 메모리
Escaping Oversquashing: Addressable and Support-Aware Global Memory for Message Passing Networks
가상 노드(virtual node)는 오버스쿼싱(oversquashing)에 대응하는 자연스러운 수단으로, 긴 메시지 패싱 경로를 2-홉(two-hop) 전역 경로로 대체한다. 그러나 많은 노드가 하나의 전역 상태를 공유할 때, 이 지름길은 그 자체로 병목이 될 수 있다. 본 연구에서는 이러한 전역 메모리의 두 가지 속성을 다룬다. 첫째, 주소 지정 가능성(addressability)이다: 상수 마진(margin) 주소 코드와 이 마진을 증폭시키는 비선형성 하에서, 곱셈적 쓰기/읽기 맵은 $O(\log M)$ 차원의 주소 코드만으로 $M$개의 선택 가능한 메모리 행을 제공한다. 크로스 어텐션(cross-attention) 슬롯과 제약된 $ELU+1$ 쌍선형(bilinear) 메모리 모두 이 조건을 만족한다. 둘째, 지지 인식(support awareness)이다: 정규화된 크로스 어텐션에는 잠재 쿼리(latent query)가 참조로 사용할 수 있는 자기 키(self-key)가 없다. 학습된 전용 앵커(private anchor)가 이 참조를 제공하여 읽기 값을 유계로 유지하고, 매칭된 소스 질량(source mass)의 강도를 드러낸다. 우리는 Two-Radius와 Tree-NeighborsMatch의 여러 인스턴스에서 이러한 속성들의 장점을 입증한다: 두 가지 주소 지정 가능한 구현 모두 깊이 $5$까지 제어된 과제들을 해결하는 반면, 비슷하거나 더 큰 크기의 풀링된 VN은 약 $10.6\%$에 도달한다.