PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.17090v1cs.PL

ANEForge: Apple Neural Engine에서의 직접 연산을 위한 Python

ANEForge: Python for direct computation on the Apple Neural Engine

ANEForge는 최신 Apple 장치에 탑재된 고정 기능 신경망 가속기인 Apple Neural Engine(ANE)을 CoreML 없이 직접 프로그래밍하는 Python 패키지입니다. 실제 운영 환경에서는 이 엔진에 CoreML을 통해서만 접근할 수 있으며, CoreML은 엔진을 스케줄링 옵션 중 하나로 취급합니다. 즉, ANE를 필수로 요구하는 구성은 없으며, 모델은 묵시적으로 CPU나 GPU에서 대신 실행될 수 있습니다. ANEForge는 58개의 융합 연산자(fused operators)와 19개의 네이티브 브리지 연산자로 구성된 지연 텐서 그래프(lazy tensor graph)를 단일 ANE 프로그램으로 컴파일합니다. 해당 프로그램은 Apple의 내부 프레임워크와 동일한 ANE 데몬(daemon) 및 커널 드라이버 스택을 통해 디스패치(dispatch)됩니다. 추론(inference)을 넘어, 이 패키지는 엔진의 네이티브 융합 어텐션(fused attention)에 접근하고, int8, int4 및 희소 가중치(sparse weights)를 스트리밍하며, 디코더와 옵티마이저(optimizer) 상태를 단계(step) 간에 상주시키고, 엔진에서 학습(training)의 순전파(forward pass), 역전파(backward pass), 옵티마이저 업데이트를 실행합니다. 작은 융합 프로그램은 호출을 약 90us(마이크로초)에 완료하며, 이는 엔진의 프로그램당 디스패치 하한선인 70us에 근접한 수치입니다. 또한 사전 학습된 ResNet-18의 순전파(forward pass)는 종단 간(end-to-end) 0.33ms에 실행됩니다. ResNet-18, 문장 인코더(sentence encoder), Vision Transformer는 프레임워크 참조 구현과 대비하여 종단 간 실행되었으며, Stable Diffusion U-Net은 순전파(forward pass)를 검증했습니다. ANEForge는 macOS 14 이상의 Apple Silicon을 대상으로 합니다. 각 릴리스는 기록된 macOS 및 ANE 컴파일러 버전에 대해 검증됩니다.