본 논문에서는 추천 시스템 내 상호작용 기록으로부터 사용자를 이해하는 대규모 언어 모델(LLM)의 능력을 평가하기 위한 벤치마크인 GISTBench를 소개합니다. 아이템 예측 정확도에 초점을 맞추는 기존 추천 시스템(RecSys) 벤치마크와 달리, 본 벤치마크는 LLM이 참여(engagement) 데이터로부터 사용자의 관심사를 얼마나 잘 추출하고 검증할 수 있는지를 평가합니다. 우리는 두 가지 새로운 지표군을 제안합니다. 환각(hallucination)된 관심사 카테고리에 별도로 페널티를 부여하고 커버리지에 보상을 제공하도록 정밀도(precision) 및 재현율(recall) 요소로 분해된 관심사 그라운딩(Interest Groundedness, IG)과, 검증된 LLM 예측 사용자 프로필의 구별성을 평가하는 관심사 구체성(Interest Specificity, IS)입니다. 또한 글로벌 숏폼 비디오 플랫폼의 실제 사용자 상호작용을 기반으로 구축된 합성 데이터셋을 공개합니다. 이 데이터셋은 암시적 및 명시적 참여 신호와 풍부한 텍스트 설명을 모두 포함하고 있습니다. 우리는 사용자 설문조사를 통해 데이터셋의 충실도를 검증하고, 7B부터 235B 파라미터에 이르는 8개의 공개 가중치(open-weight) LLM과 3개의 상용 프론티어 모델(GPT-5, Claude 4.6, Gemini 3.5 Flash)을 평가합니다. 연구 결과는 현재 LLM의 성능 병목 현상, 특히 이종 상호작용 유형 전반에서 참여 신호를 정확하게 계수하고 귀인하는 능력이 제한적임을 보여줍니다.
Large language models (LLMs) are increasingly used by end users, yet existing personalization methods relying on static profiles or text-only signals fail to capture query-specific expertise variation. We present ExPerT, a query-wise personalization framework that adapts LLM responses to users' query domain expertise by combining semantic and behavioral cues. ExPerT consists of two key components: (i) a semantic-behavioral expertise inference module that jointly interprets query text and keystroke dynamics via in-context LLM prompting, and (ii) an expertise-conditioned response generation that adapts the level of detail, terminology, and conceptual complexity. Our user study with 40 participants and 1270 queries demonstrated that ExPerT reduced expertise inference error by 65.7% compared to the strongest baseline (MAE = 0.398 vs. 1.162) and improved response satisfaction by 17.52% (from 3.71 to 4.36) on a 5-point Likert scale.
대규모 추천에서 고정 차원 임베딩의 표현 한계와 텍스트 기반 사용자 토큰의 한계를 보완하기 위해, TokenMinds는 PLUM을 확장해 사전학습 LLM 기반 인코더-디코더로 Semantic ID(SID) 기반 이산 사용자 토큰과 밀집 사용자 임베딩을 동시에 생성한다. YouTube 전면 트래픽에서 오프라인·온라인 실험으로 검증했으며, 랭킹 등 다운스트림에서 토큰과 임베딩이 상호 보완적이고 장·단편 영상 교차 시나리오를 단일 모델로 통합해 학습·서빙 비용을 크게 줄인다.
Accurate user modeling often depends on rich interaction histories, which are unavailable for billions of low-activity users. Large Language Models (LLMs) can infer latent user states from static profiles, but this reasoning becomes unreliable when profiles are sparse, and applying an LLM to billions of users is prohibitively expensive. We present ScaleToT, which learns structured reasoning from a small LLM-processed subset and extends it to the broader low-activity user population. To improve reasoning reliability, ScaleToT constructs typed user-state chains with a bounded entropy-guided Tree-of-Thought (ToT) refinement procedure. To make this structured reasoning usable from sparse profiles, the teacher-curated chains are used to train a student model on static profiles through supervised fine-tuning (SFT) and Outcome-Driven Segment-Aware Implicit Reward Policy Optimization (OSIPO). ScaleToT then transfers the student's reasoning representations to a lightweight profile encoder, providing shared reasoning signals for the remaining users without LLM inference. We evaluate ScaleToT on lifetime value (LTV) prediction in a billion-scale advertising deployment. A randomized online A/B test increased LT30 by 6.738\%, while offline reasoning covered only 7.32\% of the potential population, greatly reducing compute cost compared with full-population reasoning.