언어를 파동 현상으로: 신경망에서의 의미적 위상 고정과 간섭
Language as a Wave Phenomenon: Semantic Phase Locking and Interference in Neural Networks
표준 트랜스포머 아키텍처에서는 의미적 중요도가 종종 활성화 크기와 혼동되어 잠재 표현의 기하학적 구조를 가린다. 이러한 요인들을 분리하기 위해, 위상(phase)의 계산적 역할을 분리하도록 설계된 복소수 값 아키텍처 PRISM을 제안한다. 엄격한 단위 노름 제약($|z| = 1$)을 강제하고 어텐션을 게이트된 조화 합성곱으로 대체함으로써, 모델은 크기 기반 게이팅에 의존하기보다 주파수 영역에서의 감산 간섭을 활용해 잡음을 억제하도록 유도된다. 이 제약 체제를 활용해 위상 기반 라우팅과 표준 어텐션을 융합한 하이브리드 아키텍처를 연구한 결과, 평가된 설정에서 기준선 대비 향상된 매개변수 효율성과 표현 품질을 달성했다. 메커니즘적으로, 개입적 어블레이션은 모델이 위상에 상당한 과업 관련 정보를 담고 있음을 보여준다. 위상을 보존하면 성능이 대체로 유지되는 반면, 위상을 교란하면 심각한 성능 저하가 발생한다. 종합하면, 이러한 결과는 평가된 규모에서 위상 기반 스펙트럴 간섭이 신경 시퀀스 모델링에 활용 가능한 계산 메커니즘임을 시사한다.