Apple Neural Engine의 엔진별 에너지 소비를 예측하는 루프라인 모델
A predictive, per-engine energy roofline of the Apple Neural Engine
한국어 초록
Apple Neural Engine(ANE)은 10억 대가 넘는 기기에 탑재되어 있으나, 그 특성은 CoreML을 통해 간접적으로 파악돼 왔다. 우리는 CoreML을 거치지 않고 융합 그래프를 실행하는 경로를 사용해 같은 기기의 ANE, Apple GPU, CPU를 측정하고 엔진별 에너지 소비량을 계산했다. 소비자가 이용할 수 있는 기존 루프라인으로는 실제 ANE 동작을 예측할 수 없었다. 중요한 보정은 ANE에 유효 메모리 대역폭이 두 가지라는 점을 반영하는 것이다. 활성화 데이터를 처리하는 경로는 느리고, 가중치 스트림 경로는 빠르다. 이에 따라 루프라인의 전환점이 두 개 생기며, 가중치 스트림의 전환점은 GPU보다 낮다. ANE에서 피연산자가 하나인 경우 연산 성능의 상한은 일정해지지 않고 낮아진다. fp16 가중치 스트림은 바이트 처리량에 제약을 받는 반면, int8에서는 역양자화기의 원소 처리 속도가 한계를 정한다. 따라서 int8 압축은 처리량을 유지하면서 에너지를 절약하며, int4 조회 테이블 스트림을 사용하면 ImageNet 상위 1개 예측 정확도가 2.55%포인트 낮아지는 대신 처리량과 효율이 높아진다. 보정한 루프라인은 에너지 소비가 낮은 ANE 실행 경로를 식별하고 에너지 소비의 하한을 제시한다. 이렇게 작성한 기기별 도식은 서로 다른 ANE 4세대에서 재현됐다. 결과는 성능을 최적화하려면 연산 집약도에 따라 연산자를 배치하고 융합해야 함을 보여 준다.
원문 초록
The Apple Neural Engine (ANE) is in over a billion devices, but is characterized indirectly via CoreML. Using a CoreML-free fused-graph dispatch path, we measure the ANE, along with the Apple GPU and CPU on the same device, with per-engine energy accounting. The consumer-available roofline does not predict the ANE in practice. A critical correction is that the ANE sees two effective memory bandwidths: a slow activation path and a fast weight-stream path. Two roofline ridges follow, and the weight-stream ridge is below that of the GPU. The ANE single-operand compute peak decreases instead of plateauing. Its weight stream is byte-bound in fp16 but limited by the dequantizer's element rate in int8. As a result, int8 compression saves energy at unchanged throughput and an int4 lookup-table stream raises throughput and efficiency at a cost of 2.55 points of ImageNet top-1. The corrected roofline identifies the lower-energy ANE paths and bounds it from below. A constructed device map reproduces across four unique ANE generations. Results show that operators should be placed by arithmetic intensity and fused for optimal performance.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.19101v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.