Low-Precision Hardware Architectures Meet Recommendation Model Inference at Scale
원문 초록
Tremendous success of machine learning (ML) and the unabated growth in ML model complexity motivated many ML-specific designs in both CPU and accelerator architectures to speed up the model inference. While these architectures are diverse, highly optimized low-precision arithmetic is a component shared by most. Impressive compute throughputs are indeed often exhibited by these architectures on benchmark ML models. Nevertheless, production models such as recommendation systems important to Facebook's personalization services are demanding and complex: These systems must serve billions of users per month responsively with low latency while maintaining high prediction accuracy, notwithstanding computations with many tens of billions parameters per inference. Do these low-precision architectures work well with our production recommendation systems? They do. But not without significant effort. We share in this paper our search strategies to adapt reference recommendation models to low-precision hardware, our optimization of low-precision compute kernels, and the design and development of tool chain so as to maintain our models' accuracy throughout their lifespan during which topic trends and users' interests inevitably evolve. Practicing these low-precision technologies helped us save datacenter capacities while deploying models with up to 5X complexity that would otherwise not be deployed on traditional general-purpose CPUs. We believe these lessons from the trenches promote better co-design between hardware architecture and software engineering and advance the state of the art of ML in industry.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
A Reproducibility Study of Product-side Fairness in Bundle Recommendation
NLGCL: Naturally Existing Neighbor Layers Graph Contrastive Learning for Recommendation
Boosting Parameter Efficiency in LLM-Based Recommendation through Sophisticated Pruning
Kamae: Bridging Spark and Keras for Seamless ML Preprocessing
대규모 모델 군집을 위한 템플릿 기반 머신러닝 표준화
Template-Driven Machine Learning Standardization for Large Model Fleets
현대의 컴퓨팅 광고 플랫폼은 일반적으로 클릭률, 전환율 및 기타 최적화 이벤트와 같은 사용자 반응을 예측하기 위해 추천 시스템에 의존한다. 다양한 제품 지면과 광고주 목표를 지원하기 위해 이러한 플랫폼은 방대한 머신러닝(ML) 모델 생태계를 유지한다. 그러나 이러한 규모로 운영하면 상당한 개발 및 효율성 문제가 발생한다. 이러한 모델을 정기적으로 갱신하고 새로운 기법을 전파하는 데 상당한 엔지니어링 노력이 필요하며, 그 결과 생태계 전반에 혁신을 배포하는 데 긴 지연이 생긴다. 본 논문은 추천 시스템에서 표준화된 모델 구축 접근법과 모델별 독립 최적화 간의 모델 성능, 효율성, 기법 전파를 비교하는 대규모 실증 연구를 제시한다. 표준화를 촉진하기 위해 다양한 데이터 분포와 최적화 이벤트에 적응할 수 있는 고성능 모델을 생성하는 프레임워크인 Standard Model Template(SMT)을 제안한다. 표준화된 ML 모델 구성 요소를 조합함으로써 SMT는 기법 전파 복잡도를 $O(n \cdot k)$에서 $O(n+k)$로 줄이며, 여기서 $n$은 모델 수, $k$는 기법 수이다. Meta의 프로덕션 광고 랭킹 생태계에서 다섯 번의 글로벌 개발 주기에 걸쳐 광범위한 모델군을 평가한 결과, 출시된 성과는 다음을 보여 준다. (1) 서빙 용량을 유지한 채 교차 엔트로피가 평균 0.77% 개선되었고, (2) 온라인 지표가 누적 1.52% 향상되었으며, (3) 모델당 반복 엔지니어링 시간이 92% 감소하였고, (4) 기법-모델 쌍 도입 처리량이 6.3$\times$ 증가하였다. 이러한 결과는 다양한 최적화 목표가 본질적으로 다양화된 ML 모델 설계를 요구한다는 통념에 도전한다.
만족을 넘어서: 콘텐츠, 리뷰, 웰빙 간의 연관성 학습
Beyond Satisfaction: Learning Associations Between Content, Reviews, and Well-Being
추천 알고리즘은 사람들이 온라인에서 소비하는 것을 형성하지만, 주로 별점, 좋아요, 감성과 같은 사용자 만족의 신호에 맞추어 최적화된다. 이러한 신호가 순간적 선호를 넘어 사용자에게 무엇이 좋은지를 포착하는지는 대체로 검토되지 않았다. 웰빙은 만족을 넘어서는, 심리학에 기반한 대안적 목표를 제공한다. 본 연구는 이를 리뷰에 나타난 PERMA 다섯 측면의 즉각적 표현과 지속적 표현으로 조작화한다. 실증적으로, 즉각적인 긍정 정서와 몰입은 더 쾌락적(즐거움 지향)으로 군집을 이루는 반면, 관계, 의미, 성취, 그리고 지속적인 긍정 정서와 몰입은 더 행복주의적(의미 및 성장 지향)으로 나타난다. Goodreads 리뷰 1,370만 건과 도서 1만 6천 권의 내용을 분석하여, PERMA 표현이 만족 목표와 어떻게 다른지, 그리고 어떤 도서 내용 특징이 이와 연관되는지를 연구한다. 첫째, 만족 신호(별점과 리뷰 감성)는 즉각적인 쾌락적 웰빙과는 중간 정도의 상관을 보이나(r = .43-.50) 그 지속적 표현과는 상관이 더 낮고(r <= .28), 행복주의적 측면과는 거의 연관이 없다(r <= .09). 둘째, 도서 내용 특징은 만족 신호(|r| <= .15)보다 PERMA 측면과 더 강하게 연관된다(r 최대 .46). 즉각적 쾌락적 웰빙과 연관된 내용은 지속적 및 행복주의적 웰빙과 연관된 내용과 다르다. 3인칭 대명사와 과거 지향 언어는 즉각적 몰입과 양의 관계를 보이지만(d=1.14, 1.05) 모든 지속적 측면과는 음의 관계를 보이며(d 최저 -1.58, -1.32), 친사회적 언어와 성취 지향 언어는 각각 관계와 성취와 관련된다(d=.45, .96). 이러한 결과는 만족 신호가 사용자가 표현하는 웰빙의 일부만을 포착하며, 웰빙에 기반한 목표를 사용하면 플랫폼이 상당히 다른 콘텐츠를 추천하게 될 수 있음을 시사한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.