PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2603.29112v2cs.AI

GISTBench: 근거 기반 관심사 검증을 통한 LLM의 사용자 이해도 평가

GISTBench: Evaluating LLM User Understanding via Evidence-Based Interest Verification

본 논문에서는 추천 시스템 내 상호작용 기록으로부터 사용자를 이해하는 대규모 언어 모델(LLM)의 능력을 평가하기 위한 벤치마크인 GISTBench를 소개합니다. 아이템 예측 정확도에 초점을 맞추는 기존 추천 시스템(RecSys) 벤치마크와 달리, 본 벤치마크는 LLM이 참여(engagement) 데이터로부터 사용자의 관심사를 얼마나 잘 추출하고 검증할 수 있는지를 평가합니다. 우리는 두 가지 새로운 지표군을 제안합니다. 환각(hallucination)된 관심사 카테고리에 별도로 페널티를 부여하고 커버리지에 보상을 제공하도록 정밀도(precision) 및 재현율(recall) 요소로 분해된 관심사 그라운딩(Interest Groundedness, IG)과, 검증된 LLM 예측 사용자 프로필의 구별성을 평가하는 관심사 구체성(Interest Specificity, IS)입니다. 또한 글로벌 숏폼 비디오 플랫폼의 실제 사용자 상호작용을 기반으로 구축된 합성 데이터셋을 공개합니다. 이 데이터셋은 암시적 및 명시적 참여 신호와 풍부한 텍스트 설명을 모두 포함하고 있습니다. 우리는 사용자 설문조사를 통해 데이터셋의 충실도를 검증하고, 7B부터 235B 파라미터에 이르는 8개의 공개 가중치(open-weight) LLM과 3개의 상용 프론티어 모델(GPT-5, Claude 4.6, Gemini 3.5 Flash)을 평가합니다. 연구 결과는 현재 LLM의 성능 병목 현상, 특히 이종 상호작용 유형 전반에서 참여 신호를 정확하게 계수하고 귀인하는 능력이 제한적임을 보여줍니다.