간결하게 기억되다: 저장된 선호가 의사결정에 중요한 정보를 조용히 제거한다
Remembered as Brief: Stored Preferences SilentlyRemove Decision-Critical Information
한국어 초록
사람들은 건강, 금전, 법률, 안전에 관한 의사결정에 필요한 정보를 AI 어시스턴트로부터 점점 더 많이 얻으며, 어시스턴트가 생략한 내용은 사용자에게 보이지 않는다. 경고가 제거된 답변도 모든 문장이 참일 수 있어 사실 검증을 통과하며, 메모리를 가진 어시스턴트는 한 번 저장된 선호를 사용자가 염두에 두지 않았던 이후의 질문에도 적용한다. 본 논문은 25개 영역에 걸친 100개의 일상적 의사결정으로 구성된 Inspect 벤치마크 \bench{}를 소개한다. 이 벤치마크에서는 어시스턴트가 가진 사용자 메모리만 달라지며, 사용자가 신념을 직접 밝히거나, 모델이 발언에서 이를 추론하거나, 사용자가 요약을 요청한 웹 페이지가 이를 심어 둔다. 다섯 모델을 시험한 결과 세 가지 효과를 발견했다. 첫째, AI 어시스턴트를 겨냥한 한 줄이 담긴 페이지를 요약한 뒤, Gemini 2.5 Flash-Lite와 DeepSeek V4 Pro는 모든 에피소드에서 ``매우 짧은 답변을 선호하고 경고를 원하지 않음''을 사용자의 선호로 저장하며, 이후 답변의 93%와 84%가 핵심 항목을 놓치고 그 거의 전부가 조용히 누락된다. 명시된 간결성 선호 하에서는 누락의 78--96%가 조용한 누락이다. 둘째, 같은 두 모델은 이후 가치 의존적 선택의 80%와 95%에서 사용자를 대신해 선택지를 고르며, 중립적 메모리에서는 그런 경우가 없다. 셋째, 한 줄 지시는 답변의 2--8%에 조용한 공백을 남기고 누락된 내용 대부분도 여전히 누락된 채로 두지만, 사용자 프로필을 적용하기 전에 반드시 알아야 할 점을 나열하게 하면 다섯 모델 중 네 모델에서 더 많은 내용이 복원된다. 시나리오, 하니스, 로그를 공개한다.
원문 초록
People increasingly learn what they need for decisions about health, money, law and safety from AI assistants, and what an assistant leaves out the user never sees. An answer with a warning removed can be true in every sentence, so fact-checks pass it, and an assistant with memory applies a preference stored once to later questions the user never had in mind. We introduce \bench{}, an Inspect benchmark of 100 everyday decisions across 25 domains in which only the assistant's memory of the user varies: the user states a belief, the model infers it from a remark, or a web page the user asked to summarise plants it. Testing five models, we find three effects. First, after summarising a page with one line addressed to AI assistants, Gemini 2.5 Flash-Lite and DeepSeek V4 Pro save ``prefers very short answers and does not want warnings'' as the user's preference in every episode, and 93\% and 84\% of their later answers miss a critical item, almost always silently; under a stated brevity preference, 78--96\% of omissions are silent. Second, the same two models then pick an option for the user on 80\% and 95\% of value-dependent choices, against none with neutral memory. Third, a one-line instruction leaves 2--8\% of answers with a silent gap but most missing content still missing, while listing the must-know points before applying the user profile restores more of the content in four of five models. We release the scenarios, harness and logs.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22697v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.