arXiv:2606.12765v1 cs.CL

Rigel: Apple M4 Max GPU의 Metal 4.1 텐서 연산 경로 역설계

Rigel: Reverse-Engineering the Metal 4.1 Tensor Compute Path on the Apple M4 Max GPU

Ramchand Kumaresan

제출 2026-06-11

한국어 초록

Apple의 Metal 4.1은 텐서 연산 경로인 cooperative_tensor 프래그먼트에 대한 Metal Performance Primitives (MPP) matmul2d 연산을 제공하며, 그 인터페이스는 문서화되어 있으나 하드웨어 동작은 의도적으로 숨겨져 있습니다. 사양(specification)은 어떤 데이터 타입 행이 지원되는지 명시하지만, 하드웨어 가속 여부, 연산이 물리적으로 어디서 실행되는지, 누산기(accumulator) 폭이 얼마인지, 또는 스레드 간에 행렬 프래그먼트를 어떻게 분할하는지는 전혀 명시하지 않습니다. 본 논문에서는 단일 Apple M4 Max(신경망 가속기 이전 세대)에서 이 경로에 대한 경험적 특성 분석 도구인 Rigel을 소개합니다. 체크섬 게이트(checksum-gated)와 출처 추적(provenance-tracked)이 가능한 마이크로벤치마크 하니스를 사용하여, Rigel은 v4.1 사양이 숨기거나 모순되는 11가지 사실을 규명해 냈습니다. 핵심 발견은 Metal 4.1 fp8 (E4M3) matmul2d가 가속된 것이 아니라 에뮬레이션된다는 점입니다: 이는 피연산자 바이트의 절반만 읽음에도 불구하고 fp16 대비 0.94배의 처리량을 유지하므로, M4에서는 성능 기능이 아니라 메모리 점유율(memory-footprint) 기능입니다. 우리는 처리량 상한, simdgroup_matrix와의 비교, 레일별 전력 귀속(per-rail power attribution)의 3중 신호 교차 검증을 통해, matmul2d가 전용 행렬 데이터 경로나 Apple Neural Engine 라우팅의 증거 없이 GPU 셰이더 코어에서 완전히 실행되며, fp32 이상에서 누적된다는 것을 추가로 보여줍니다. 또한 Apple이 문서화하지 않은 불투명한 8x8 cooperative_tensor 프래그먼트 레이아웃을 재구성했습니다. 이러한 특성 분석을 바탕으로, 수동으로 융합된 GEMM + 바이어스(bias) + GELU 커널(kernel)은 캐시 상주(cache-resident) 영역에서 분해된 경로보다 6.5-12.9% 더 높은 성능을 보입니다. 모든 발견 사항은 커밋된 MIT 라이선스 코드와 셀별 CSV 파일에서 재현 가능합니다.

원문 초록

Apple's Metal 4.1 exposes a tensor compute path: the Metal Performance Primitives (MPP) matmul2d operation over cooperative_tensor fragments, whose interface is documented but whose hardware behavior is deliberately hidden. The specification states which data-type rows are supported, never whether they are hardware-accelerated, where the operation physically executes, what its accumulator width is, or how it partitions matrix fragments across threads. We present Rigel, an empirical characterization of this path on a single Apple M4 Max (a pre-neural-accelerator generation). Using a checksum-gated, provenance-tracked microbenchmark harness, Rigel recovers eleven facts the v4.1 specification hides or contradicts. The headline finding: the Metal 4.1 fp8 (E4M3) matmul2d is emulated, not accelerated: it sustains 0.94x the throughput of fp16 despite reading half the operand bytes, so on M4 it is a memory-footprint feature, not a performance feature. We further show, via a three-signal triangulation (throughput ceiling, comparison against simdgroup_matrix, and per-rail power attribution), that matmul2d executes entirely on the GPU shader cores with no dedicated matrix datapath and no evidence of Apple Neural Engine routing; that it accumulates in >=fp32; and we reconstruct the opaque 8x8 cooperative_tensor fragment layout Apple documents nowhere. Acting on the characterization, a hand-fused GEMM + bias + GELU kernel beats the decomposed path by +6.5-12.9% in the cache-resident regime. All findings are reproducible from committed MIT-licensed code and per-cell CSVs.

요약

Apple M4 Max GPU의 Metal 4.1 텐서 연산 경로를 역설계한 Rigel은 fp8(E4M3) matmul2d가 하드웨어 가속 없이 에뮬레이션됨을 밝혀내고, 해당 연산이 GPU 셰이더 코어에서 수행됨을 입증했다. 이러한 특성 분석을 통해 최적화된 커널이 기존 분해된 경로보다 최대 12.9% 높은 성능을 달성함을 보여주었다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.12765v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.00224v2cs.AI공통 태그 Benchmarking

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

arXiv:2610.02946v2cs.CV공통 태그 Benchmarking

아무것도 예측하지 않는 것이 SAM 3를 능가할 때: 비디오 객체 분할 평가의 재검토

When Predicting Nothing Beats SAM 3: Revisiting Evaluation in Video Object Segmentation

복잡하고 긴 비디오에서의 비디오 객체 분할(Video Object Segmentation, VOS)은 대상 객체가 긴 시간 지평 내에서 간헐적으로만 나타나는 경우가 많은 실제 응용 분야에서 점차 중요해지고 있습니다. 그러나 기존 벤치마크는 대부분 비디오의 대부분 동안 가시적으로 유지되는 시간적으로 두드러진 객체에 주로 초점을 맞추고 있습니다. 이러한 공백을 해결하기 위해 본 논문에서는 낮은 시간적 가시성 조건에서 VOS 방법을 평가하도록 설계된 벤치마크인 FaVOS(A Benchmark for Video Object Segmentation with Fractional Temporal Visibility)를 소개합니다. 우리는 이러한 조건에서 표준 J&F 지표가 대상이 존재하지 않는 프레임에 대한 빈 예측에 높은 보상을 부여하기 때문에 VOS 평가를 부재 분류(absence classification)로 전락시킬 수 있음을 보입니다. 그 결과, 자명한 빈 마스크 예측기조차 SAM 3와 같은 강력한 모델을 능가할 수 있으며, 이는 현재 지표와 실질적인 VOS 성능 간의 근본적인 불일치를 드러냅니다. 이 문제를 완화하기 위해 마스크 시퀀스를 시공간 볼륨으로 평가하고 분할 품질 및 시간적 구조에 대한 민감도를 유지하면서 대상 부재 보상의 지배력을 줄이는 Volumetric J&F를 제안합니다. 프로젝트 페이지: https://aidaslab.github.io/FaVOS.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.