arXiv:2611.15426v1 cs.CL

SimRec: 시뮬레이션된 상호작용으로부터 검색, 질문, 추천을 학습하기

SimRec: Learning to Search, Ask, and Recommend from Simulated Interaction

Yaxin Zhang, Xingyu Wu, Yuchen Yan, Yuqin Dai, Hong Zhao, Lixing Shen, Zhan Chen, Jian Shao, Yongliang Shen

제출 2026-11-11

저자 비고

arXiv Comments

19 pages,5 figures,16 tables. Code: https://github.com/ZJU-REAL/SimRec

한국어 초록

LLM 기반 추천 에이전트는 카탈로그를 검색하고, 상품을 살펴보고, 사용자에게 질문하고, 거절된 추천을 수정할 수 있다. 그러나 이러한 행동은 수작업으로 설계된 워크플로에 의해 좌우되는 경우가 많고, 기존 학습 방법은 상호작용 정책 전체가 아니라 쿼리 재작성이나 목록 순위화 같은 개별 구성 요소를 최적화한다. 본 논문은 도구가 통합된 추천 에이전트의 전체 상호작용 정책을 학습하는 강화학습 프레임워크인 SimRec을 제시한다. SimRec은 두 가지 구성 요소를 도입한다. 과제 고정형 사용자 시뮬레이터는 모든 추천에 대해 피드백을 제공하며, 사용자 프로필이 아니라 현재 과제의 필요에 조건화되고, 외부 LLM이거나 셀프 플레이 하의 추천기 자신일 수 있다. 과제 정렬 보상은 GRPO로 전체 궤적을 최적화하며, 최종 적중과 함께 자연스러운 검색 품질과 유효한 도구 사용을 보상하고, 대규모 카탈로그에서의 희소한 적중을 다루기 위해 학습 시에만 목표 주입을 사용한다. ESCI와 Amazon C4에서 SimRec은 Qwen3-4B 에이전트의 NDCG@100을 32.23%에서 35.42%로, 22.94%에서 24.72%로 향상시키며, 훨씬 큰 백본 위의 학습 불필요 에이전트와 NDCG 기준의 과제 정렬 기준 모델을 능가한다. 분석 결과, 학습된 에이전트는 학습되지 않은 에이전트보다 후보를 검증하고, 선호를 활용하며, 거절된 추천에서 회복하는 빈도가 훨씬 높다. 코드는 https://github.com/ZJU-REAL/SimRec 에서 확인할 수 있다.

원문 초록

LLM-based recommendation agents can search catalogs, inspect products, ask users, and revise rejected recommendations. However, these behaviors are often governed by hand-designed workflows, while existing training methods optimize isolated components such as query rewriting or list ranking rather than the interaction policy as a whole. We present SimRec, a reinforcement learning framework that trains the full interaction policy of a tool-integrated recommendation agent. SimRec introduces two components. A task-anchored user simulator provides feedback on every recommendation: conditioned on the current task need rather than on user profile, and it can be an external LLM or the recommender itself under self-play. A task-aligned reward optimizes the whole trajectory with GRPO, crediting natural retrieval quality and valid tool use alongside the final hit, with training-only target injection to handle sparse hits over large catalogs. On ESCI and Amazon C4, SimRec improves the NDCG@100 of a Qwen3-4B agent from 32.23% to 35.42% and from 22.94% to 24.72%}, outperforming training-free agents on far larger backbones and task-aligned baselines on NDCG. Analysis shows that the trained agent verifies candidates, uses preferences, and recovers from rejected recommendations far more often than its untrained counterpart. Our code is available at https://github.com/ZJU-REAL/SimRec .

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.15426v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.