edgeverve.com

이 이메일 도메인이 관측된 논문 2건

arXiv:2606.18324v1cs.LG

SWAVE가 필요한 전부가 아닐 수 있는 이유: 복소수 순환 언어 모델에 대한 개념 진화 회고

Why SWAVE May Not Be All You Need:A Concept-Evolution Retrospective on Complex-Valued Recurrent Language Models

복소수 순환 언어 모델 SWave를 세 개발 단계에 걸쳐 재검토하며, Resonance Head에서 나타난 cos-domination collapse를 PAM 기반 untied head로 해결해 200,000단계 안정 학습과 최고 PPL 22.0을 달성했습니다. ComplexNorm과 Wave Propagation Scan만 최종 아키텍처에 남고 멀티스케일 retention 등 다수 설계 개념은 비필수로 판명되었으며, cos-domination collapse 정형화와 복소수 순환 학습용 엔지니어링 원칙, plan-to-code 추적 방법론을 함께 제시합니다.

arXiv:2606.18114v1cs.LG

Ternary Mamba: W1.58A16 상태 공간 모델의 그룹화 양자화 인지 학습

Ternary Mamba: Grouped Quantization-Aware Training of W1.58A16 State Space Models

Mamba-2와 같은 상태 공간 모델(SSM)은 선형 시간 추론을 제공하지만, 메모리 사용량이 엣지 배포를 제한한다. 기존 삼진 SSM 연구(Slender-Mamba)는 1500억 토큰으로 처음부터 학습하는 반면, 우리는 사전학습된 체크포인트만으로 충분함을 보여 추가 토큰 예산을 1,000배 줄였다. 동결된 FP16 교사로부터의 지식 증류를 결합한 그룹화 양자화 인지 학습(QAT)을 사용해 Mamba-2 1.3B를 3.61배(2,687MB에서 744MB)로 압축하고, 단 1.02억 토큰(단일 H100에서 4 GPU-시간)만으로 48.1% 제로샷 정확도(7개 태스크 평균)를 달성했다 — Bi-Mamba의 48.4%(±0.9pp CI 이내)에 근접한다. 사전학습 체크포인트 기반 QAT 설정에서는 zero-ratio collapse라는, 학습 가능한 양자화 스케일로 인해 발생하며 처음부터 학습에서는 나타나지 않는 새로운 불안정성이 드러난다. 또한 트랜스포머에 효과적인 사후 보정 전략은 순환을 통한 오차 누적으로 SSM에서는 실패함을 보였다. 이 결과는 삼진 SSM이 비용이 큰 처음부터 학습을 필요로 하지 않음을 보여준다: 지식 증류(KD)를 동반한 사전학습 체크포인트 기반 QAT가 데이터 효율적인 대안이다.