Automatic Music Playlist Generation via Simulation-based Reinforcement Learning
원문 초록
Personalization of playlists is a common feature in music streaming services, but conventional techniques, such as collaborative filtering, rely on explicit assumptions regarding content quality to learn how to make recommendations. Such assumptions often result in misalignment between offline model objectives and online user satisfaction metrics. In this paper, we present a reinforcement learning framework that solves for such limitations by directly optimizing for user satisfaction metrics via the use of a simulated playlist-generation environment. Using this simulator we develop and train a modified Deep Q-Network, the action head DQN (AH-DQN), in a manner that addresses the challenges imposed by the large state and action space of our RL formulation. The resulting policy is capable of making recommendations from large and dynamic sets of candidate items with the expectation of maximizing consumption metrics. We analyze and evaluate agents offline via simulations that use environment models trained on both public and proprietary streaming datasets. We show how these agents lead to better user-satisfaction metrics compared to baseline methods during online A/B tests. Finally, we demonstrate that performance assessments produced from our simulator are strongly correlated with observed online metric results.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Rushes: 다원적 정렬을 위한 인간 선호 데이터셋
Rushes: A Human Preference Dataset for Pluralistic Alignment
본 논문은 상호작용형 서사 환경에서 드러난 인간 참여(engagement) 선호를 연구하기 위한 데이터셋 및 벤치마크인 Rushes를 소개한다. Rushes는 사용자가 AI 생성 분기형 서사와 상호작용하고 각 결정 지점에서 소규모의 명시적 후보 집합 중 하나를 선택하는 게임 인터페이스를 통해 수집되었다. 각 상호작용은 전체 후보 집합, 사용자의 선택, 그리고 진행 중인 서사 맥락을 기록하여, 지속적인 사용자 수준 식별자를 갖는 시간 순서 궤적을 생성한다. Rushes는 6개 게임에 걸쳐 8,167명의 고유 사용자로부터 44,226건의 결정 이벤트를 포함하며, 정적 판단이 아닌 순차적·개인화된 참여 행동을 포착한다. 사용자 선택이 구조화된 비무작위 패턴을 보임을 보이며, 이는 균일 기준선 대비 낮은 선택 엔트로피로 정량화된다. Rushes를 다원적 정렬을 위한 진단 벤치마크로 제시하고, 견고한 Engagement Gap(참여 격차)을 입증한다. GPT-5를 포함한 최신 대규모 언어 모델(LLM)은 단순 기준선을 능가하지 못한다. 고전적 행렬 분해(SVD)는 측정 가능한 개인화 신호(37.7%)를 포착하는 반면, 최신 LLM(34.23%)은 이벤트 수준 선택 예측에서 Popularity Baseline(인기도 기준선, 36.4%)조차 맞추기 어렵다. 이 격차는 현대 인간 피드백 강화학습(RLHF)에서 사용되는 것과 같은 단일·집단 수준 목적함수가 이질적·맥락 의존적 참여 신호를 포착하기에 불충분함을 시사한다. 결과적으로, 고도로 유능한 모델조차 개별 궤적에 적응하기보다 다수 선호에 기본값으로 수렴한다. 생성 시스템에서의 다원적 정렬 및 순차적 의사결정 연구를 지원하기 위해 Rushes를 공개한다. 플랫폼 및 데이터셋의 전체 코드는 다음에서 제공된다: https://github.com/microsoft/rushes
Reasoning on a Budget: Miniaturizing DeepSeek R1 with SFT-GRPO Alignment for Instruction-Tuned LLMs
Meta Reinforcement Learning for Multi-Task Offloading in Vehicular Edge Computing
Investigating the Performance and Reliability, of the Q-Learning Algorithm in Various Unknown Environments
Margin Trader: A Reinforcement Learning Framework for Portfolio Management with Margin and Constraints
Catch: Collaborative Feature Set Search for Automated Feature Engineering
토론
이 논문과 연결된 포럼 글이 아직 없습니다.