arXiv:2105.05563

Looking at CTR Prediction Again: Is Attention All You Need?

Yuan Cheng, Yanbo Xue

제출 2021-05-12

원문 초록

Click-through rate (CTR) prediction is a critical problem in web search, recommendation systems and online advertisement displaying. Learning good feature interactions is essential to reflect user's preferences to items. Many CTR prediction models based on deep learning have been proposed, but researchers usually only pay attention to whether state-of-the-art performance is achieved, and ignore whether the entire framework is reasonable. In this work, we use the discrete choice model in economics to redefine the CTR prediction problem, and propose a general neural network framework built on self-attention mechanism. It is found that most existing CTR prediction models align with our proposed general framework. We also examine the expressive power and model complexity of our proposed framework, along with potential extensions to some existing models. And finally we demonstrate and verify our insights through some experimental results on public datasets.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22700v1cs.AI공통 태그 Prediction, Recommendation Systems

RoleMix: 의미 토큰화를 통한 순차·비순차 특징 통합 기반 클릭 후 전환율 예측

RoleMix: Unifying Sequential and Non-Sequential Features via Semantic Tokenization for Post-Click Conversion Rate Prediction

클릭 후 전환율(PCVR) 예측은 산업용 추천의 핵심이지만, 희소하고 순서 없는 다중 필드 특징과 긴 도메인 특화 행동 이력 간의 구조적 불일치로 인해 여전히 어려움이 남아 있다. 기존 모델들은 이러한 신호를 별도 경로로 처리한 뒤 후기에 융합하는 경우가 많아, 의미론적 역할을 약화시키고 교차 신호 정제를 제한한다. 우리는 순차 및 비순차 증거를 공유된 역할 보존 토큰 인터페이스를 통해 표현하는 통합 상호작용 아키텍처인 RoleMix를 제안한다. 비순차 필드는 사용자, 아이템, 쌍(pairwise), 밀집(dense), 맥락적, 교차 특징 역할을 보존하는 명시적 의미 토큰으로 변환되며, 긴 행동 도메인은 2단계 계층적 윈도우 어텐션을 통해 아이템 및 맥락 인식 시퀀스-쿼리 토큰으로 압축된다. 그 결과 생성된 전역, 의미, 시퀀스-쿼리 토큰은 PCVR 예측을 위해 쌓인 UniMixing-Lite 블록에 의해 공동으로 정제된다. 대규모 KDD Cup 2026 Tencent UniRec Challenge에서 RoleMix는 83.648%의 온라인 AUC를 달성하여, 공식 산업 기준선을 1.953%p 초과한다. 어블레이션 연구는 의미 토큰화가 가장 큰 단독 성능 향상을 가져옴을 보여주며, 대규모 PCVR 모델링의 핵심 원칙을 강조한다: 토큰 인터페이스 수준에서 필드 의미론을 보존하는 것은 상호작용 백본을 스케일링하는 것만큼 중요하다.

arXiv:2607.09696v1cs.LG공통 태그 Prediction, Recommendation Systems

CTR 모델의 초기 학습 붕괴 완화

Mitigating Early Training Collapse in CTR Models

클릭률(CTR) 예측을 위한 딥 뉴럴 모델은 학습 손실이 지속적으로 개선됨에도 불구하고 첫 번째 학습 에포크 직후 검증 성능이 급격히 저하되는 현상을 자주 보인다. 이러한 불안정성은 효과적인 학습을 제한하고 모델 성능을 저하시킨다. 본 연구에서는 대규모 산업 데이터셋을 활용하여 이 현상을 분석하고 실용적인 완화 전략을 평가한다. 학습률을 낮추는 방법은 점진적인 개선만을 제공하는 반면, 특징 희소성을 제어하는 방법은 상당한 성능 향상을 가져온다. 희소성이 높은 특징을 제거하고 빈도가 낮은 특징 값을 집계하면 학습이 안정화되고, 유효한 학습이 단일 에포크를 넘어 지속되며, 오프라인 평가 지표와 온라인 시스템 성능이 모두 향상된다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.