HorizonBench: 진화하는 선호를 반영한 장기 개인화
HorizonBench: Long-Horizon Personalization with Evolving Preferences
한국어 초록
개인 비서는 이제 같은 사용자와 수개월 동안 대화하며, 사용자의 선호는 삶이 변함에 따라 바뀐다. 사용자가 더 이상 따르지 않는 선호를 계속 제공하는 비서는 그 사용자에게 실패한 것이다. 실제 대화에는 선호가 언제 왜 바뀌었는지가 기록되지 않으며, 기존 벤치마크는 선호를 고정하거나 사용자가 변화를 직접 말하게 하므로, 모델이 사용자가 한 말을 잊은 것인지 사용자에 대한 신념을 갱신하지 못한 것인지 구분할 수 없다. 우리는 HorizonBench와 그 데이터 생성기를 소개한다. 이는 사용자의 선호가 어떻게 변하는지를 표본 추출하고 그 순서에 따라 6개월 분량의 대화를 생성하며, 각 변화는 사용자가 새 선호를 명시하지 않은 채 언급하는 삶의 사건에 뒤따른다. 우리가 수집하여 공개하는 인간 종단 선호 데이터셋인 160명의 13주간 83,024개 평점은 삶의 사건이 선호를 얼마나 자주, 얼마나 크게 바꾸는지를 결정한다. HorizonBench는 360명의 사용자에게서 나온 4,245개의 질문을 포함하며, 선호가 바뀐 경우 이전 값이 답안 선택지 중 하나로 들어 있다. 평가한 25개의 최첨단 모델 모두 오류가 고르게 분포한다고 가정했을 때의 예측보다 더 자주 낡은 선호를 선택하였고, 최고 모델의 정확도는 52.8%에 달한다. 최신 모델 두 개는 전체 이력을 줄 때보다 관련 대화만 줄 때 점수가 더 높지 않지만, 변화를 명시한 문장 하나를 추가하면 정확도가 11~22포인트 상승하며, 검색 및 메모리 방법은 잃어버린 정확도를 회복하지 못한다. 따라서 사용자가 말한 것을 기억하는 것과 사용자가 현재 무엇을 선호하는지 아는 것은 별개의 능력이며, HorizonBench와 그 생성기, 인간 데이터셋은 두 능력에 대한 연구를 뒷받침한다.
원문 초록
Personal assistants now talk with the same user for months, and users' preferences change as their lives change; an assistant that keeps serving a preference the user has outgrown fails that user. Real conversations do not record when or why a preference changed, and existing benchmarks either hold preferences fixed or have the user state the change, so they cannot tell whether a model forgot what the user said or failed to update its belief about the user. We introduce HorizonBench and its data generator, which samples how a user's preferences change and generates six months of conversation from that sequence; each change follows a life event that the user mentions without stating the new preference. A human longitudinal preference dataset that we collect and release, 83,024 ratings from 160 people over 13 weeks, sets how often and how much life events change preferences. HorizonBench contains 4,245 questions from 360 users, and when a preference has changed, its earlier value is one of the answer options. All 25 frontier models we evaluate choose the outdated preference more often than evenly spread errors would predict, and the best reaches 52.8% accuracy. Two of the newest models score no higher when given only the relevant conversations than with the full history, yet one added sentence stating the change raises their accuracy by 11 to 22 points, and retrieval and memory methods do not recover the lost accuracy. Remembering what a user said and knowing what the user prefers now are therefore separate capabilities, and HorizonBench, its generator, and the human dataset support research on both.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2604.17283v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.