순위는 좋아지고 검색은 나빠진다: 생성형 추천에서 강화학습 사후 학습의 숨은 비용
Better Rankers, Worse Retrievers: The Hidden Cost of RL Post-Training in Generative Recommendation
한국어 초록
생성형 추천 시스템은 언어 모델로 사용자가 다음에 선택할 항목의 의미 ID를 디코딩한다. 지도 미세조정(SFT) 뒤 강화학습(RL)으로 사후 학습하는 것이 일반적이다. 개선은 대개 상위 10개 결과에서 보고되지만, 실제 운영에서는 이런 모델이 후보 수백 개를 후속 순위 모델이나 보상 모델에 전달한다. RL 사후 학습에는 숨은 비용이 있다. 목록 상단의 정확도는 높아지지만(K가 작을 때의 hit@K), 연구에 사용한 데이터셋 다섯 개 모두에서 후보 목록의 재현율은 낮아졌다(K가 수백일 때의 hit@K). 모델이 순위 산정은 더 잘하지만 후보 검색은 더 못하게 된다. 통제 실험에서는 재현율 저하가 롤아웃에서 샘플링한 후보에 RL이 부여하는 음의 어드밴티지에서 비롯됐다. 근본 원인은 사용자마다 다음 항목이 하나만 기록돼 RL이 나머지 후보를 모두 오답으로 처리한다는 것이다. 그러나 이런 후보는 모델이 가장 가능성 높다고 본 대안이며, 이력이 비슷한 다른 사용자의 실제 다음 항목인 경우가 많다. 여기에 벌점을 주면 비슷한 사용자가 다음에 선택할 항목의 점수가 낮아져 그 사용자들의 후보 목록에서 빠진다. 대안으로 롤아웃 밖 앵커링을 제안한다. 롤아웃에 포함되지 않은 항목에 대한 SFT 모델의 순서를 보존하는 손실 항 하나를 추가한다. 목록 상단의 개선 효과를 유지하면서 다섯 데이터셋에서 모두 재현율을 SFT 수준으로 복원했고, 다른 RL 설정에서도 효과가 있었다. 우리가 아는 한 이 재현율 저하를 체계적으로 다룬 첫 연구다. 저하를 측정하고 원인을 규명한 뒤, 원인을 알면 간단한 방법으로 해결할 수 있음을 보였다.
원문 초록
Generative recommenders decode the semantic ID of a user's next item with a language model, and post-training them with reinforcement learning (RL) after supervised fine-tuning (SFT) has become standard practice. The gains are mostly reported on the first ten results, yet in deployment such models hand hundreds of candidates to a downstream ranker or reward model. We show that RL post-training has a hidden cost: it improves accuracy at the top of the list (hit@K for small K) but, on all five datasets we study, lowers the recall of the candidate list (hit@K for K in the hundreds). The model becomes a better ranker and a worse retriever. Controlled experiments trace the loss to the negative advantages that RL assigns to the candidates it samples, the rollout. The root cause is that only one next item is logged per user, so RL treats every other candidate as wrong. Yet these candidates are the model's most plausible alternatives, and often the next items of other users with similar histories. Penalising them pushes down exactly what similar users choose next, and these items drop out of those users' candidate lists. This diagnosis points directly to a remedy: out-of-rollout anchoring, a single additional loss term that preserves the SFT model's ordering of the items outside the rollout. It keeps the gain at the top and restores recall to the SFT level on all five datasets, and it is effective under other RL configurations as well. To our knowledge, this is the first systematic study of this recall loss: we measure it, identify its cause, and show that, once the cause is known, a simple remedy suffices.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22838v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.