PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2608.08888v2cs.AI

풀 대역폭 트랜스포머

Full-bandwidth transformer

자기회귀(autoregressive) 트랜스포머는 두 축을 따라 계산을 수행합니다. 즉, 생성된 토큰들에 걸친 수평적 축과 모델 깊이를 통과하는 수직적 축입니다. 조밀한 어텐션(dense attention)은 각 토큰이 과거 정보에 폭넓게 수평적으로 접근할 수 있도록 하지만, 디코딩 단계 사이의 수직적 피드백 채널은 여전히 좁습니다. 즉, 최상위 층 은닉 상태(hidden state)는 버려지고 샘플링된 토큰만이 스택의 바닥으로 되돌아갑니다. 본 연구에서는 잠재 피드백(latent feedback)을 통해 이 채널을 넓히는 풀 대역폭 트랜스포머(full-bandwidth transformer)를 소개합니다. 이는 각 디코딩 단계에서 이전 최상위 층 은닉 상태를 게이트 선형 유닛(GLU)을 통해 샘플링된 토큰 임베딩과 융합한 후 다음 입력으로 다시 공급합니다. 잠재 피드백을 통해 언어화되지 않은(non-verbalized) 계산이 갱신된 깊이 예산을 가지고 스택에 다시 진입할 수 있으며, 동시에 표준 트랜스포머 아키텍처, KV 캐시, 언어 모델링 목표를 그대로 유지합니다. 병렬 티처 포싱(teacher forcing)을 잃지 않고 풀 대역폭 트랜스포머를 학습시키기 위해, 사전학습 후반부에 잠재 피드백을 도입하고 안정성을 위해 더 깊은 피드백 패스를 적은 비율로 혼합하는 스케줄링된 멀티패스 목표를 사용합니다. 1B 매개변수의 풀 대역폭 트랜스포머를 최대 400B 토큰으로 학습시킨 결과, 잠재 피드백이 검증 손실, 5-샷(5-shot) 언어 모델 평가, 수학 및 코딩 생성, 인스트럭션 튜닝 성능을 향상시키는 것을 확인했습니다. 토큰당 디코딩 오버헤드가 거의 발생하지 않으면서도, 풀 대역폭 트랜스포머는 약 1.5배 더 많은 토큰으로 학습된 표준 트랜스포머와 일치하거나 이에 근접한 성능을 보이며, 오프-정책 템플릿이 제공되지 않을 때 더 짧은 추론을 생성해 냅니다.