병목은 상태가 아니다: 삼중 모드 멀티캐스트 메시 상의 페이지형 상태 Gated-DeltaNet 타일, RTL에서 실리콘까지 비트 단위 일치
The State Is Not the Bottleneck: A Paged-State Gated-DeltaNet Tile on a Tri-Mode Multicast Mesh, Bit-Exact from RTL to Silicon
한국어 초록
선형 어텐션 언어 모델은 계속 커지는 키-값 캐시를 고정 크기의 순환 상태로 대체한다. 엣지 FPGA에서는 이 상태가 온칩 메모리를 초과할 수 있어 외부 메모리로 페이징해야 한다. 본 논문은 이러한 페이징이 디코딩(토큰 생성) 비용을 지배하는지를 묻는다. 우리는 Agilex 5 FPGA에서 3억 6,900만 파라미터의 맞춤형 하이브리드 Gated DeltaNet 모델의 한 레이어 전체를 계산하고 그 순환 상태를 페이징하는 하드웨어 타일을 구축하였다. 모델 상태는 6.2 MiB가 필요한 반면 장치의 블록 메모리는 0.87 MiB이다. 페이징은 디코딩된 토큰당 26.0 MB의 메모리 트래픽을 추가하며, 이는 계산된 전체의 최대 11.2퍼센트이다. 75 MHz의 보드에서 합성 가중치를 사용했을 때 이 레이어에서 토큰 하나에 11.15 ms가 걸린다. 가중치와의 행렬-벡터 곱이 이 시간의 약 62퍼센트를, 페이징을 포함한 상태 단계가 13퍼센트를 차지한다. 이 타일은 삼중 모드 처리 요소로 이루어진 멀티캐스트 메시의 한 노드이다. 부동소수점 대비 고정소수점 연산의 오차를 측정하고, 하드웨어가 고정소수점 기준과 비트 단위로 일치하는지 확인한다. 시뮬레이션에서 상태 로직은 18개 순환 레이어 모두에서 기준과 일치한다. 보드에서는 여섯 개의 빌드가 64토큰 30회 실행과 1,024토큰 2회 실행을 모두 통과한다. 이 모델과 메모리 인터페이스에서는 가중치 전달이 디코딩 성능을 제한하며 순환 상태는 그렇지 않다. 따라서 상태 페이징은 엣지 FPGA 상의 이러한 모델에 실용적이다.
원문 초록
Linear-attention language models replace a growing key-value cache with a recurrent state of fixed size. On an edge FPGA, this state can exceed the on-chip memory and must be paged to external memory. This paper asks whether such paging dominates the cost of decoding (generating tokens). We built a hardware tile that computes one complete layer of a custom 369-million-parameter hybrid Gated DeltaNet model on an Agilex 5 FPGA and pages its recurrent state. The model state needs 6.2 MiB, whereas the device has 0.87 MiB of block memory. Paging adds 26.0 MB of memory traffic per decoded token, at most 11.2 percent of the calculated total. On the board at 75 MHz, with synthetic weights, one token takes 11.15 ms in this layer. The matrix-vector products with the weights take about 62 percent of this time and the state phase, including the paging, 13 percent. The tile is one node of a multicast mesh of tri-mode processing elements. We measure the error of the fixed-point arithmetic against floating point and check that the hardware agrees bit for bit with a fixed-point reference. In simulation, the state logic agrees with the reference on all 18 recurrent layers. On the board, six builds pass all 30 runs of 64 tokens and two runs of 1,024 tokens. For this model and memory interface, the delivery of the weights limits the decoding performance, and the recurrent state does not. State paging is therefore practical for such a model on an edge FPGA.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
12 pages, 5 figures, 6 tables. The technical supplement is included as an ancillary file. This work has been submitted to the IEEE for possible publication. Copyright may be transferred without notice, after which this version may no longer be accessible