PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.17090v1cs.PL

ANEForge: Apple Neural Engine에서의 직접 연산을 위한 Python

ANEForge: Python for direct computation on the Apple Neural Engine

ANEForge는 최신 Apple 장치에 탑재된 고정 기능 신경망 가속기인 Apple Neural Engine(ANE)을 CoreML 없이 직접 프로그래밍하는 Python 패키지입니다. 실제 운영 환경에서는 이 엔진에 CoreML을 통해서만 접근할 수 있으며, CoreML은 엔진을 스케줄링 옵션 중 하나로 취급합니다. 즉, ANE를 필수로 요구하는 구성은 없으며, 모델은 묵시적으로 CPU나 GPU에서 대신 실행될 수 있습니다. ANEForge는 58개의 융합 연산자(fused operators)와 19개의 네이티브 브리지 연산자로 구성된 지연 텐서 그래프(lazy tensor graph)를 단일 ANE 프로그램으로 컴파일합니다. 해당 프로그램은 Apple의 내부 프레임워크와 동일한 ANE 데몬(daemon) 및 커널 드라이버 스택을 통해 디스패치(dispatch)됩니다. 추론(inference)을 넘어, 이 패키지는 엔진의 네이티브 융합 어텐션(fused attention)에 접근하고, int8, int4 및 희소 가중치(sparse weights)를 스트리밍하며, 디코더와 옵티마이저(optimizer) 상태를 단계(step) 간에 상주시키고, 엔진에서 학습(training)의 순전파(forward pass), 역전파(backward pass), 옵티마이저 업데이트를 실행합니다. 작은 융합 프로그램은 호출을 약 90us(마이크로초)에 완료하며, 이는 엔진의 프로그램당 디스패치 하한선인 70us에 근접한 수치입니다. 또한 사전 학습된 ResNet-18의 순전파(forward pass)는 종단 간(end-to-end) 0.33ms에 실행됩니다. ResNet-18, 문장 인코더(sentence encoder), Vision Transformer는 프레임워크 참조 구현과 대비하여 종단 간 실행되었으며, Stable Diffusion U-Net은 순전파(forward pass)를 검증했습니다. ANEForge는 macOS 14 이상의 Apple Silicon을 대상으로 합니다. 각 릴리스는 기록된 macOS 및 ANE 컴파일러 버전에 대해 검증됩니다.

arXiv:2606.12765v1cs.CL

Rigel: Apple M4 Max GPU의 Metal 4.1 텐서 연산 경로 역설계

Rigel: Reverse-Engineering the Metal 4.1 Tensor Compute Path on the Apple M4 Max GPU

Apple M4 Max GPU의 Metal 4.1 텐서 연산 경로를 역설계한 Rigel은 fp8(E4M3) matmul2d가 하드웨어 가속 없이 에뮬레이션됨을 밝혀내고, 해당 연산이 GPU 셰이더 코어에서 수행됨을 입증했다. 이러한 특성 분석을 통해 최적화된 커널이 기존 분해된 경로보다 최대 12.9% 높은 성능을 달성함을 보여주었다.