SWAVE가 필요한 전부가 아닐 수 있는 이유: 복소수 순환 언어 모델에 대한 개념 진화 회고
Why SWAVE May Not Be All You Need:A Concept-Evolution Retrospective on Complex-Valued Recurrent Language Models
복소수 순환 언어 모델 SWave를 세 개발 단계에 걸쳐 재검토하며, Resonance Head에서 나타난 cos-domination collapse를 PAM 기반 untied head로 해결해 200,000단계 안정 학습과 최고 PPL 22.0을 달성했습니다. ComplexNorm과 Wave Propagation Scan만 최종 아키텍처에 남고 멀티스케일 retention 등 다수 설계 개념은 비필수로 판명되었으며, cos-domination collapse 정형화와 복소수 순환 학습용 엔지니어링 원칙, plan-to-code 추적 방법론을 함께 제시합니다.