PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.22991v2cs.DC

32비트 인덱스 범위를 초과하는 조용한 실패: PyTorch MPS 백엔드의 대형 텐서 행렬 곱에 대한 차분적 특성 분석

Silent Failures Beyond the 32-Bit Index Range: A Differential Characterization of Large-Tensor Matrix Multiplication in PyTorch's MPS Backend

대용량 통합 메모리를 갖춘 Apple Silicon 머신은 데스크톱 GPU에서 대형 텐서(tensor)를 유지할 수 있게 해줍니다. 그러나 본 연구에서는 PyTorch의 MPS(Metal Performance Shaders) 백엔드가 $2^{32}$개 이상의 원소를 갖는 배치(batch) 행렬 곱(matrix multiplication)에 대해 조용히(silently) 잘못된 결과를 반환한다는 사실을 발견했습니다. 래퍼(wrapper)인 matmul 및 eager 어텐션(attention)을 포함한 torch bmm은 테스트된 모든 PyTorch 릴리스(2.4.1~2.14.0)에서 예외나 경고 없이 1을 초과하는 상대 오차를 반환합니다. 본 연구는 $2^{31}$ 및 $2^{32}$개 원소 부근의 다양한 데이터 타입(dtype), 메모리 레이아웃, 형상(shape), 배치 크기에 걸쳐 bmm을 스윕(sweep)하고, CPU 상의 float64 연산을 기준으로 모든 결과를 판정했습니다. 2.14.0의 모든 결과는 세 가지 규칙으로 설명됩니다. 출력이 $2^{32}$개 원소를 초과하고 피연산자가 전치된 뷰(transposed view)인 경우, 전체 출력이 잘못되며 해당 피연산자의 스트라이드(stride)를 무시한 연산과 동일해집니다. 그렇지 않은 경우, 최소 $2^{31}$개 원소를 가진 뷰는 예외를 발생시키고, $2^{32}$개를 초과하는 연속형(contiguous) 입력은 정확히 그 지점을 넘어선 배치들을 잘못되게 만들어 $2^{32}$에서 인덱스가 래핑(wrap)되는 연산과 동일한 결과를 냅니다. 따라서 문제가 약간만 더 커져도 명시적 에러가 조용한 실패로 바뀔 수 있습니다. 이 규칙은 역전파(backward pass)에도 적용되어, 올바른 순전파(forward pass)에서도 조용히 잘못된 기울기(gradient)가 반환될 수 있습니다. 다른 칩을 탑재하고 두 가지 macOS 버전을 실행하는 두 번째 머신에서도 잘못된 값을 포함한 6156개의 결과가 모두 재현되었으며, NVIDIA A100에서의 동일한 스윕은 2530회 실행 모두에서 정확했습니다. 공개 감정 분류기에서 크기가 초과된 한 배치는 출력의 3분의 1을 손상시켜 결과가 단일 클래스로 붕괴되게 만듭니다. 모든 발견은 백엔드의 클로즈드 소스 커널에 접근하지 않고 관찰 가능한 동작으로부터 도출되었습니다. 본 연구에서는 테스트 하네스, 원시 결과, 그리고 $2^{32}$개 이상의 원소를 다루는 모든 MPS 연산을 중단하는 가드(guard)를 jniimi/mps-silent-failures(https://github.com/jniimi/mps-silent-failures)에 공개합니다.