RPCBench: LLM 기반 추천에서 선제적 전제 비판을 위한 벤치마크
RPCBench: A Benchmark for Proactive Premise Critique in LLM-based Recommendation
한국어 초록
대규모 언어 모델(LLM)이 대화형 추천 어시스턴트로 점점 더 널리 활용되고 있습니다. 따라서 이들에 대한 평가는 그럴듯한 아이템 추천을 넘어, 결함이 있는 추천 요청을 인식할 수 있는지까지 테스트해야 합니다. 기존의 추천 벤치마크는 주로 랭킹, 생성 또는 선호도 충족을 평가하는 반면, 기존의 오류 감지 벤치마크는 대개 추천에 특화된 사용자와 후보 증거에 기반(grounding)하지 않습니다. 이러한 격차를 해소하기 위해, 자연어 추천 요청 내의 잘못된 전제를 감지, 진단하고 적절히 처리하는 능력인 '추천 전제 비판(Recommender-Premise Critique)'을 평가하기 위한 벤치마크인 RPCBench를 소개합니다. RPCBench는 5개 추천 도메인에서 도출된 증거 기반 테스트 인스턴스를 포함하며 10가지 유형의 전제 결함을 다룹니다. 각 인스턴스는 가시적인 추천 컨텍스트와 손상된 사용자 쿼리를 제공합니다. 나아가 선제적 감지, 오류 위치 파악, 감지 후 처리 전략 및 증거 충실도를 측정하는 세분화된 평가 프레임워크를 설계했습니다. 11개 LLM에 대한 체계적인 평가를 통해 선제적 감지가 추천 전제 비판의 주요 병목이며, 모델들이 불충분하게 명시된 전제(underspecified-premise) 오류에서 가장 낮은 성능을 보임을 발견했습니다. 또한 불필요한 증거보다 대상에 핵심적인 정보 밀도가 더 중요하며, 추론 길이가 길어진다고 해서 비판 품질이 단조 증가하지 않는다는 점도 확인했습니다. 즉 성능은 중간 정도의 추론 길이에서 정점을 찍고 지나치게 긴 추론에는 과도한 생각(overthinking)에 따른 페널티가 수반됩니다. 코드는 https://github.com/ZhongruChen/RPCBench 에서 이용할 수 있습니다.
원문 초록
Large language models are increasingly used as interactive recommender assistants. Their evaluation should therefore go beyond plausible item recommendation and test whether they can recognize flawed recommendation requests. Existing recommender benchmarks mainly assess ranking, generation, or preference satisfaction, while existing error-detection benchmarks are usually not grounded in recommendation-specific user and candidate evidence. To address this gap, we introduce RPCBench, a benchmark for evaluating Recommender-Premise Critique: the ability to detect, diagnose, and properly handle faulty premises in natural-language recommendation requests. RPCBench contains evidence-grounded test instances from five recommendation domains and covers ten types of premise failures. Each instance provides a visible recommendation context and a corrupted user query. We further design a fine-grained evaluation framework that measures proactive detection, error localization, post-detection handling strategy, and evidence faithfulness. Through a systematic evaluation of 11 LLMs, we find that proactive detection is the main bottleneck in Recommender-Premise Critique, and models perform worst on underspecified-premise errors. We also observe that target-critical information density matters more than redundant evidence, and that longer reasoning does not monotonically improve critique quality: performance peaks at intermediate reasoning length, while overly long reasoning is accompanied by an overthinking penalty. The code is available at https://github.com/ZhongruChen/RPCBench.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.00918v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.