PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.18324v1cs.LG

SWAVE가 필요한 전부가 아닐 수 있는 이유: 복소수 순환 언어 모델에 대한 개념 진화 회고

Why SWAVE May Not Be All You Need:A Concept-Evolution Retrospective on Complex-Valued Recurrent Language Models

복소수 순환 언어 모델 SWave를 세 개발 단계에 걸쳐 재검토하며, Resonance Head에서 나타난 cos-domination collapse를 PAM 기반 untied head로 해결해 200,000단계 안정 학습과 최고 PPL 22.0을 달성했습니다. ComplexNorm과 Wave Propagation Scan만 최종 아키텍처에 남고 멀티스케일 retention 등 다수 설계 개념은 비필수로 판명되었으며, cos-domination collapse 정형화와 복소수 순환 학습용 엔지니어링 원칙, plan-to-code 추적 방법론을 함께 제시합니다.