arXiv:2105.10484

A General Method For Automatic Discovery of Powerful Interactions In Click-Through Rate Prediction

Ze Meng, Jinnian Zhang, Yumeng Li, Jiancheng Li, Tanchao Zhu, Lifeng Sun

제출 2021-05-21

원문 초록

Modeling powerful interactions is a critical challenge in Click-through rate (CTR) prediction, which is one of the most typical machine learning tasks in personalized advertising and recommender systems. Although developing hand-crafted interactions is effective for a small number of datasets, it generally requires laborious and tedious architecture engineering for extensive scenarios. In recent years, several neural architecture search (NAS) methods have been proposed for designing interactions automatically. However, existing methods only explore limited types and connections of operators for interaction generation, leading to low generalization ability. To address these problems, we propose a more general automated method for building powerful interactions named AutoPI. The main contributions of this paper are as follows: AutoPI adopts a more general search space in which the computational graph is generalized from existing network connections, and the interactive operators in the edges of the graph are extracted from representative hand-crafted works. It allows searching for various powerful feature interactions to produce higher AUC and lower Logloss in a wide variety of applications. Besides, AutoPI utilizes a gradient-based search strategy for exploration with a significantly low computational cost. Experimentally, we evaluate AutoPI on a diverse suite of benchmark datasets, demonstrating the generalizability and efficiency of AutoPI over hand-crafted architectures and state-of-the-art NAS algorithms.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2602.10226v2cs.LG공통 태그 Recommendation Systems, Neural Architecture Search

자기 진화형 추천 시스템: LLM 에이전트를 통한 엔드투엔드 자율 모델 최적화

Self-Evolving Recommendation System: End-To-End Autonomous Model Optimization With LLM Agents

글로벌 동영상 플랫폼용 추천 모델과 같은 대규모 머신러닝 시스템을 최적화하려면 방대한 하이퍼파라미터 탐색 공간을 헤집어야 하며, 더 중요하게는 미묘한 사용자 행동을 포착하기 위해 정교한 최적화기, 아키텍처, 보상 함수를 설계해야 한다. 이러한 영역에서 실질적인 개선을 달성하는 것은 사소한 과제가 아니며, 전통적으로 새로운 가설을 검증하기 위해 광범위한 수동 반복에 의존해 왔다. Google의 Gemini 계열을 포함한 대규모 언어 모델(LLM)을 활용하여 엔드투엔드 자동화 워크플로우 내에서 고성능의 복잡한 모델 변경 사항을 자율적으로 생성, 학습, 배포하는 자기 진화 시스템을 제안한다. 자기 진화 시스템은 프록시 지표를 사용해 고처리량 가설 생성을 수행하는 오프라인 에이전트(내부 루프)와, 실제 프로덕션 환경에서 지연된 북극성(north star) 비즈니스 지표에 대해 후보를 검증하는 온라인 에이전트(외부 루프)로 구성된다. 우리의 에이전트는 전문 머신러닝 엔지니어(MLE)처럼 동작한다: 깊은 추론 능력을 보이며, 최적화 알고리즘과 모델 아키텍처에서 새로운 개선점을 발견하고, 장기적인 사용자 참여를 목표로 하는 혁신적인 보상 함수를 수립한다. 이 접근법의 효과는 YouTube에서의 여러 성공적인 프로덕션 런칭을 통해 입증되었으며, 자율적이고 LLM 기반 진화가 개발 속도와 모델 성능 모두에서 전통적인 엔지니어링 워크플로우를 능가할 수 있음을 확인했다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.