PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2512.01208v5cs.LG

언어를 파동 현상으로: 신경망에서의 의미적 위상 고정과 간섭

Language as a Wave Phenomenon: Semantic Phase Locking and Interference in Neural Networks

표준 트랜스포머 아키텍처에서는 의미적 중요도가 종종 활성화 크기와 혼동되어 잠재 표현의 기하학적 구조를 가린다. 이러한 요인들을 분리하기 위해, 위상(phase)의 계산적 역할을 분리하도록 설계된 복소수 값 아키텍처 PRISM을 제안한다. 엄격한 단위 노름 제약($|z| = 1$)을 강제하고 어텐션을 게이트된 조화 합성곱으로 대체함으로써, 모델은 크기 기반 게이팅에 의존하기보다 주파수 영역에서의 감산 간섭을 활용해 잡음을 억제하도록 유도된다. 이 제약 체제를 활용해 위상 기반 라우팅과 표준 어텐션을 융합한 하이브리드 아키텍처를 연구한 결과, 평가된 설정에서 기준선 대비 향상된 매개변수 효율성과 표현 품질을 달성했다. 메커니즘적으로, 개입적 어블레이션은 모델이 위상에 상당한 과업 관련 정보를 담고 있음을 보여준다. 위상을 보존하면 성능이 대체로 유지되는 반면, 위상을 교란하면 심각한 성능 저하가 발생한다. 종합하면, 이러한 결과는 평가된 규모에서 위상 기반 스펙트럴 간섭이 신경 시퀀스 모델링에 활용 가능한 계산 메커니즘임을 시사한다.

arXiv:2606.18324v1cs.LG

SWAVE가 필요한 전부가 아닐 수 있는 이유: 복소수 순환 언어 모델에 대한 개념 진화 회고

Why SWAVE May Not Be All You Need:A Concept-Evolution Retrospective on Complex-Valued Recurrent Language Models

복소수 순환 언어 모델 SWave를 세 개발 단계에 걸쳐 재검토하며, Resonance Head에서 나타난 cos-domination collapse를 PAM 기반 untied head로 해결해 200,000단계 안정 학습과 최고 PPL 22.0을 달성했습니다. ComplexNorm과 Wave Propagation Scan만 최종 아키텍처에 남고 멀티스케일 retention 등 다수 설계 개념은 비필수로 판명되었으며, cos-domination collapse 정형화와 복소수 순환 학습용 엔지니어링 원칙, plan-to-code 추적 방법론을 함께 제시합니다.