arXiv:2107.06433

A New Parallel Algorithm for Sinkhorn Word-Movers Distance and Its Performance on PIUMA and Xeon CPU

Jesmin Jahan Tithi, Fabrizio Petrini

제출 2021-07-14

원문 초록

The Word Movers Distance (WMD) measures the semantic dissimilarity between two text documents by computing the cost of optimally moving all words of a source/query document to the most similar words of a target document. Computing WMD between two documents is costly because it requires solving an $O(V^3log(V))$ optimization problem where $V$ is the number of unique words in the document. Fortunately, WMD can be framed as an Earth Mover's Distance (EMD) for which the algorithmic complexity can be reduced to $O(V^2)$ by adding an entropy penalty to the optimization problem and solving it using the Sinkhorn-Knopp algorithm. Additionally, the computation can be made highly parallel by adopting a batching approach, i.e., computing the WMD of a single query document against multiple target documents at once. Sinkhorn WMD is a key kernel used in many ML/NLP applications. and usually gets implemented in Python. However, a straightforward Python implementation may leave significant performance on the table even though it may internally call optimized C++ BLAS routines. We present a new sparse {P}arallel {A}lgorithm for {S}inkhorn-Knopp {W}ord-movers {D}istance to compute the semantic distance of one document to many other documents by adopting the $O(V^2)$ EMD algorithm. We algorithmically transform $O(V^2)$ dense compute-heavy EMD version into an equivalent sparse one using new fused SDDMM-SpMM (sparse selection of dense-dense matrix-, sparse-dense matrix-multiplication) kernels. We implemented and optimized this algorithm for two very different architectures -- the new Intel Programmable Integrated Unified Memory Architecture (PIUMA) and Intel Xeon CPUs. We show that we were able to reach close to peak performance on both platforms.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2501.10375v3cs.DC공통 태그 CPU공식 코드 · Papers with Code

DAOP: 효율적인 MoE 추론을 위한 데이터 인지 오프로딩 및 예측 사전 계산

DAOP: Data-Aware Offloading and Predictive Pre-Calculation for Efficient MoE Inference

전문가 혼합(Mixture-of-Experts, MoE) 모델은 다양한 머신러닝 작업에서 매우 효과적이지만, 메모리가 제한된 기기에 배포할 때 상당한 어려움을 겪는다. GPU는 빠른 추론을 제공하지만 CPU에 비해 메모리가 제한적이어서 모든 전문가(expert)를 GPU에 동시에 저장할 수 없으며, 이로 인해 CPU 메모리로부터 비용이 큰 데이터 전송이 빈번하게 필요해지고 이는 종종 GPU의 속도 이점을 상쇄한다. 이를 해결하기 위해 우리는 GPU-CPU 병렬 실행을 최적화하는 온디바이스 MoE 추론 엔진인 DAOP를 제안한다. DAOP는 시퀀스별 활성화 패턴에 따라 전문가를 CPU와 GPU 간에 동적으로 할당하고, 예측된 전문가를 CPU에서 선택적으로 사전 계산하여 전송 지연 시간을 최소화한다. 이 접근 방식은 새로운 점진적 성능 저하(graceful degradation) 메커니즘을 통해 모델 정확도를 유지하면서도 다양한 전문가 캐시 비율에서 효율적인 자원 활용을 가능하게 한다. 다양한 데이터셋에 대한 종합적인 평가 결과, DAOP는 기존의 전문가 캐싱 및 프리페칭 방법보다 최대 8.20배, 오프로딩 기법보다 1.35배 더 우수한 성능을 보이면서도 정확도를 유지하는 것으로 나타났다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.