meijo-u.ac.jp

이 이메일 도메인이 관측된 논문 2건

arXiv:2609.22991v2cs.DC

32비트 인덱스 범위를 초과하는 조용한 실패: PyTorch MPS 백엔드의 대형 텐서 행렬 곱에 대한 차분적 특성 분석

Silent Failures Beyond the 32-Bit Index Range: A Differential Characterization of Large-Tensor Matrix Multiplication in PyTorch's MPS Backend

대용량 통합 메모리를 갖춘 Apple Silicon 머신은 데스크톱 GPU에서 대형 텐서(tensor)를 유지할 수 있게 해줍니다. 그러나 본 연구에서는 PyTorch의 MPS(Metal Performance Shaders) 백엔드가 $2^{32}$개 이상의 원소를 갖는 배치(batch) 행렬 곱(matrix multiplication)에 대해 조용히(silently) 잘못된 결과를 반환한다는 사실을 발견했습니다. 래퍼(wrapper)인 matmul 및 eager 어텐션(attention)을 포함한 torch bmm은 테스트된 모든 PyTorch 릴리스(2.4.1~2.14.0)에서 예외나 경고 없이 1을 초과하는 상대 오차를 반환합니다. 본 연구는 $2^{31}$ 및 $2^{32}$개 원소 부근의 다양한 데이터 타입(dtype), 메모리 레이아웃, 형상(shape), 배치 크기에 걸쳐 bmm을 스윕(sweep)하고, CPU 상의 float64 연산을 기준으로 모든 결과를 판정했습니다. 2.14.0의 모든 결과는 세 가지 규칙으로 설명됩니다. 출력이 $2^{32}$개 원소를 초과하고 피연산자가 전치된 뷰(transposed view)인 경우, 전체 출력이 잘못되며 해당 피연산자의 스트라이드(stride)를 무시한 연산과 동일해집니다. 그렇지 않은 경우, 최소 $2^{31}$개 원소를 가진 뷰는 예외를 발생시키고, $2^{32}$개를 초과하는 연속형(contiguous) 입력은 정확히 그 지점을 넘어선 배치들을 잘못되게 만들어 $2^{32}$에서 인덱스가 래핑(wrap)되는 연산과 동일한 결과를 냅니다. 따라서 문제가 약간만 더 커져도 명시적 에러가 조용한 실패로 바뀔 수 있습니다. 이 규칙은 역전파(backward pass)에도 적용되어, 올바른 순전파(forward pass)에서도 조용히 잘못된 기울기(gradient)가 반환될 수 있습니다. 다른 칩을 탑재하고 두 가지 macOS 버전을 실행하는 두 번째 머신에서도 잘못된 값을 포함한 6156개의 결과가 모두 재현되었으며, NVIDIA A100에서의 동일한 스윕은 2530회 실행 모두에서 정확했습니다. 공개 감정 분류기에서 크기가 초과된 한 배치는 출력의 3분의 1을 손상시켜 결과가 단일 클래스로 붕괴되게 만듭니다. 모든 발견은 백엔드의 클로즈드 소스 커널에 접근하지 않고 관찰 가능한 동작으로부터 도출되었습니다. 본 연구에서는 테스트 하네스, 원시 결과, 그리고 $2^{32}$개 이상의 원소를 다루는 모든 MPS 연산을 중단하는 가드(guard)를 jniimi/mps-silent-failures(https://github.com/jniimi/mps-silent-failures)에 공개합니다.

arXiv:2608.08068v1cs.CV

NeuroGuard: 표현 손상을 고려한 신경 그래디언트 업데이트

NeuroGuard: Neural Gradient Update Aware of Representation Damage

꼬리가 긴 클래스 점진적 학습(LT-CIL)은 불균형 스트림에서 새 클래스를 학습하면서 기존 클래스를 유지해야 한다. 기존 방법은 주로 리플레이(replay), 분류기, 또는 손실을 변경한다. 우리는 다른 요인, 즉 각 태스크 경계에서 특징 표현을 얼마나 강하게 갱신해야 하는지를 연구한다. 학습 가능한 파라미터를 추가하지 않고 리플레이 기반 LT-CIL 기준선인 DGR에 더하는 업데이트 제어 방법 NeuroGuard를 제안한다. NeuroGuard는 DGR의 리플레이 메모리, 분류기, 손실 항 집합을 그대로 유지한다. 적응형 그래디언트 스케일링(AGS)은 교사 불확실성을 태스크 단위 그래디언트 스케일 하나로 변환한다. 신뢰도 순위 기반 지식 증류 재가중(CRK)은 교사가 덜 단정적으로 예측하는 리플레이 샘플에 더 큰 지식 증류 가중치를 부여한다. Fragility-Blended Entropy Gate(FBE)는 스케일 결정에 구 메모리 누출을 반영한다. 다섯 LT-CIL 설정 전반에서 NeuroGuard는 모든 설정에서 DGR 대비 성능을 개선한다. 네 가지 주요 벤치마크 비교에서 비교된 방법들 중 최고의 태스크 무관 정확도를 달성한다. 성능 향상은 구 클래스와 신 클래스 정확도 모두에 걸치며, 중간 빈도 정확도는 다섯 설정 모두에서 일관되게 개선된다. 통제 비교는 이러한 이득이 일반적인 그래디언트 억제에서 비인 것을 보여 준다. AGS는 다섯 설정 모두에서 맞춤형 고정 스케일 통제보다 우수하며, 학습 전반에 동일한 평균 스케일을 적용하는 것보다 경계별 스케일링이 더 효과적임을 보여 준다.