A Deep Hybrid Model for Recommendation Systems
원문 초록
Recommendation has been a long-standing problem in many areas ranging from e-commerce to social websites. Most current studies focus only on traditional approaches such as content-based or collaborative filtering while there are relatively fewer studies in hybrid recommender systems. Due to the latest advances of deep learning achieved in different fields including computer vision and natural language processing, deep learning has also gained much attention in Recommendation Systems. There are several studies that utilize ID embeddings of users and items to implement collaborative filtering with deep neural networks. However, such studies do not take advantage of other categorical or continuous features of inputs. In this paper, we propose a new deep neural network architecture which consists of not only ID embeddings but also auxiliary information such as features of job postings and candidates for job recommendation system which is a reciprocal recommendation system. Experimental results on the dataset from a job-site show that the proposed method improves recommendation results over deep learning models utilizing ID embeddings.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ARERec: Attentive Local Interaction Model for Sequential Recommendation
NLGCL: Naturally Existing Neighbor Layers Graph Contrastive Learning for Recommendation
RAG-VisualRec: An Open Resource for Vision- and Text-Enhanced Retrieval-Augmented Generation in Recommendation
IRanker: Towards Ranking Foundation Model
대규모 모델 군집을 위한 템플릿 기반 머신러닝 표준화
Template-Driven Machine Learning Standardization for Large Model Fleets
현대의 컴퓨팅 광고 플랫폼은 일반적으로 클릭률, 전환율 및 기타 최적화 이벤트와 같은 사용자 반응을 예측하기 위해 추천 시스템에 의존한다. 다양한 제품 지면과 광고주 목표를 지원하기 위해 이러한 플랫폼은 방대한 머신러닝(ML) 모델 생태계를 유지한다. 그러나 이러한 규모로 운영하면 상당한 개발 및 효율성 문제가 발생한다. 이러한 모델을 정기적으로 갱신하고 새로운 기법을 전파하는 데 상당한 엔지니어링 노력이 필요하며, 그 결과 생태계 전반에 혁신을 배포하는 데 긴 지연이 생긴다. 본 논문은 추천 시스템에서 표준화된 모델 구축 접근법과 모델별 독립 최적화 간의 모델 성능, 효율성, 기법 전파를 비교하는 대규모 실증 연구를 제시한다. 표준화를 촉진하기 위해 다양한 데이터 분포와 최적화 이벤트에 적응할 수 있는 고성능 모델을 생성하는 프레임워크인 Standard Model Template(SMT)을 제안한다. 표준화된 ML 모델 구성 요소를 조합함으로써 SMT는 기법 전파 복잡도를 $O(n \cdot k)$에서 $O(n+k)$로 줄이며, 여기서 $n$은 모델 수, $k$는 기법 수이다. Meta의 프로덕션 광고 랭킹 생태계에서 다섯 번의 글로벌 개발 주기에 걸쳐 광범위한 모델군을 평가한 결과, 출시된 성과는 다음을 보여 준다. (1) 서빙 용량을 유지한 채 교차 엔트로피가 평균 0.77% 개선되었고, (2) 온라인 지표가 누적 1.52% 향상되었으며, (3) 모델당 반복 엔지니어링 시간이 92% 감소하였고, (4) 기법-모델 쌍 도입 처리량이 6.3$\times$ 증가하였다. 이러한 결과는 다양한 최적화 목표가 본질적으로 다양화된 ML 모델 설계를 요구한다는 통념에 도전한다.
LIME: 효율적인 테스트 시간 스케일링을 위한 분리된 XOR 어텐션 기반 링크 사용자-아이템 상호작용 모델링
LIME: Link-based User-item Interaction Modeling with Decoupled XOR Attention for Efficient Test Time Scaling
대규모 추천 시스템을 확장(scaling)하려면 더 긴 사용자 이력 처리, 후보군 확장, 모델(model) 용량 증대라는 세 가지 주요 영역의 발전이 필요합니다. 트랜스포머(Transformer)는 유망하지만, 연산 비용이 사용자 시퀀스 길이에 따라 이차적으로 증가하고 후보군 수에 따라 선형적으로 증가합니다. 이러한 절충 관계(trade-off)로 인해 상당한 성능 향상에도 불구하고 추론(inference) 시 후보군을 확장하거나 시퀀스 길이를 늘리는 데 막대한 비용이 발생합니다. 본 논문에서는 이러한 절충 관계를 해결하는 새로운 아키텍처인 LIME을 소개합니다. 두 가지 핵심 혁신을 통해 LIME은 연산 복잡도를 근본적으로 줄입니다. 첫째, 로우랭크(low-rank) "링크 임베딩(link embeddings)"은 사용자와 후보 간의 상호작용을 분리하여 어텐션(attention) 가중치를 사전 계산할 수 있도록 함으로써, 추론 비용이 후보군 크기에 거의 영향을 받지 않도록 만듭니다. 둘째, 선형 어텐션 메커니즘인 LIME-XOR는 사용자 시퀀스 길이에 따른 복잡도를 이차($O(N^2)$)에서 선형($O(N)$)으로 감소시킵니다. 공개 데이터셋과 산업 데이터셋을 활용한 실험 결과, LIME은 최첨단(SOTA) 트랜스포머와 유사한 성능을 달성하면서도 대규모 후보군이나 긴 시퀀스 길이에서 10배($10\times$) 빠른 추론 속도 향상을 입증했습니다. 주요 추천 플랫폼에서 테스트했을 때, LIME은 후보군 크기 및 사용자 이력 길이에 따른 추론 비용을 최소한으로 유지하면서 사용자 참여도를 향상시켜 효율적이고 표현력 있는 추천 시스템을 위한 새로운 패러다임을 확립했습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.