How Reliable is Your Simulator? Analysis on the Limitations of Current LLM-based User Simulators for Conversational Recommendation
원문 초록
Conversational Recommender System (CRS) interacts with users through natural language to understand their preferences and provide personalized recommendations in real-time. CRS has demonstrated significant potential, prompting researchers to address the development of more realistic and reliable user simulators as a key focus. Recently, the capabilities of Large Language Models (LLMs) have attracted a lot of attention in various fields. Simultaneously, efforts are underway to construct user simulators based on LLMs. While these works showcase innovation, they also come with certain limitations that require attention. In this work, we aim to analyze the limitations of using LLMs in constructing user simulators for CRS, to guide future research. To achieve this goal, we conduct analytical validation on the notable work, iEvaLM. Through multiple experiments on two widely-used datasets in the field of conversational recommendation, we highlight several issues with the current evaluation methods for user simulators based on LLMs: (1) Data leakage, which occurs in conversational history and the user simulator's replies, results in inflated evaluation results. (2) The success of CRS recommendations depends more on the availability and quality of conversational history than on the responses from user simulators. (3) Controlling the output of the user simulator through a single prompt template proves challenging. To overcome these limitations, we propose SimpleUserSim, employing a straightforward strategy to guide the topic toward the target items. Our study validates the ability of CRS models to utilize the interaction information, significantly improving the recommendation results.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SafeCRS: LLM 기반 대화형 추천 시스템을 위한 개인화된 안전성 정렬
SafeCRS: Personalized Safety Alignment for LLM-Based Conversational Recommender Systems
현재 LLM 기반 대화형 추천 시스템(conversational recommender systems, CRS)은 주로 추천 정확도와 사용자 만족도를 최적화한다. 우리는 추천 출력이 개인화된 안전 제약을 위반하여 사용자에게 부정적인 영향을 미칠 수 있는, 아직 충분히 탐구되지 않은 취약점을 확인한다. 이는 트라우마 유발 요인, 자해 이력, 공포증과 같은 개인별 안전 민감도가 대화에서 암묵적으로 추론되지만 추천 과정에서 존중되지 않을 때 발생한다. 우리는 이 과제를 개인화된 CRS 안전성으로 형식화하고, 사용자별 제약 하에서 LLM 기반 CRS의 안전 위험을 체계적으로 평가하기 위해 설계된 새로운 벤치마크 데이터셋 SafeRec를 소개한다. 이 문제를 더 해결하기 위해, 추천 품질과 개인화된 안전성 정렬을 공동으로 최적화하기 위해 Safe 지도 미세조정(Safe-SFT)과 Safe Group reward-Decoupled Normalization Policy Optimization(Safe-GDPO)을 통합하는 안전 인식 학습 프레임워크 SafeCRS를 제안한다. SafeRec에 대한 광범위한 실험은 SafeCRS가 가장 강력한 추천 품질 기준선 대비 안전 위반률을 최대 96.5% 감소시키면서 경쟁력 있는 추천 품질을 유지함을 보여준다. 경고: 본 논문에는 잠재적으로 유해하고 불쾌한 내용이 포함되어 있습니다.
Prompt Optimization for User Simulation in Conversational Recommender Systems: A Multi-Objective Framework
A Literature Review on Simulation in Conversational Recommender Systems
A Reproducibility Study of Product-side Fairness in Bundle Recommendation
NLGCL: Naturally Existing Neighbor Layers Graph Contrastive Learning for Recommendation
Boosting Parameter Efficiency in LLM-Based Recommendation through Sophisticated Pruning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.