LoKA: Low-precision Kernel Applications for Recommendation Models At Scale
한국어 초록
최근 세대의 GPU는 FP8과 같은 저정밀 연산을 사용해 훨씬 더 높은 FLOPs를 제공합니다. 대규모 언어 모델(LLM)에는 성공적으로 적용되었지만, 대규모 추천 모델(LRM)에서의 도입은 제한적이었습니다. 이는 LRM이 수치적으로 민감하고, 작은 행렬 곱셈(GEMM)과 그 뒤를 잇는 정규화가 주를 이루며, 통신 집약적인 환경에서 학습되기 때문입니다. FP8을 LRM에 직접 적용하면 모델 품질이 저하되고 학습 시간이 길어지는 경우가 많습니다. 이러한 과제는 LRM 워크로드에 내재되어 있으며, 더 나은 FP8 커널을 도입하는 것만으로는 해결할 수 없습니다. 대신 FP8을 성공적으로 통합하려면 시스템-모델 공동 설계 접근이 필요합니다. 우리는 LoKA(Low-precision Kernel Applications)를 제안합니다. LoKA는 세 가지 원칙을 통해 LRM에서 FP8을 실용적으로 만드는 프레임워크입니다. 실제 분포에서 프로파일링해 저정밀이 안전한 지점을 파악하고, 모델 구성요소를 하드웨어와 공동 설계해 안전한 범위를 넓히며, 커널 라이브러리 전반을 조율해 이득을 극대화합니다. 구체적으로, LoKA Probe는 통계적으로 타당한 온라인 벤치마킹 방법으로, 활성값과 가중치 통계를 학습하고 계층별 오차를 정량화합니다. 이 과정은 FP8을 적용해도 안전한 지점과 위험한 지점, 그리고 빠른 지점과 느린 지점을 정확히 찾아냅니다. LoKA Mods는 FP8에서 수치 안정성과 실행 효율을 모두 개선하는 재사용 가능한 모델 적응 기법들의 집합입니다. LoKA Dispatch는 LoKA Probe의 통계적 통찰을 활용해 정확도 요구사항을 만족하는 가장 빠른 FP8 커널을 선택하는 런타임입니다.
요약
최근 GPU 세대는 FP8과 같은 저정밀 연산을 통해 훨씬 더 높은 FLOPs를 제공합니다. 하지만 이 기법은 대규모 언어 모델(LLM)에서는 널리 쓰이는 반면, 대규모 추천 모델(LRM)에는 아직 제한적으로만 적용되고 있습니다. 그 이유는 LRM이 수치적으로 민감하고, 작은 행렬 곱셈(GEMM)과 정규화 연산이 많으며, 통신 집약적인 학습 환경에서 동작하기 때문입니다. FP8을 단순히 적용하면 모델 품질이 떨어지고 학습 시간도 길어질 수 있어, 더 나은 FP8 커널만으로는 문제를 해결하기 어렵습니다. 저자들은 이를 위해 하드웨어와 모델을 함께 설계하는 시스템-모델 공동 설계 접근이 필요하다고 주장하며, LoKA(Low-precision Kernel Applications) 프레임워크를 제안합니다. LoKA는 실제 분포에 기반해 저정밀 사용이 안전한 지점을 찾고, 모델 구성요소를 하드웨어에 맞게 조정하며, 커널 라이브러리 전반을 조율해 성능 이점을 극대화합니다. 구체적으로 LoKA Probe는 활성값과 가중치 통계를 학습해 레이어별 오차를 정량화하고, LoKA Mods는 FP8에서 안정성과 효율을 높이는 재사용 가능한 모델 수정안을 제공하며, LoKA Dispatch는 정확도 요구를 만족하는 가장 빠른 FP8 커널을 선택합니다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.