PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.08186v1cs.CL

대규모 숨겨진 디코딩: 대규모 언어 모델을 위한 잠재적 계산 스케일링

Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models

트랜스포머 백본을 고정한 채 각 토큰을 n개의 독립 스트림으로 확장하는 Hidden Decoding을 제안하여, 추가 레이어 없이 지속적 사전학습(CPT)만으로 토큰당 연산량을 늘린다. Stream-Factorized Attention으로 어텐션 비용을 n에 대해 선형 수준으로 억제하면서, WeLM-HD4-80B와 WeLM-HD4-617B에서 동급 비-HD 기준선 대비 전 벤치마크 성능 향상을 달성해 100B+ 전문가 혼합(MoE) 규모에서 최초의 시퀀스 길이 스케일링을 입증했다.