더 많은 데이터만으로는 충분하지 않을 때: 생성형 AI 개인화에서의 문맥-충분성 프론티어
When More Data Is Not Enough: The Context-Sufficiency Frontier in Generative AI Personalization
한국어 초록
개인화는 오랫동안 고객 데이터를 활용하여 개인이 무엇을 가치 있게 여길지 추론하는 방식에 의존해 왔습니다. 우리는 이를 고객의 과거 행동 및 선호도인 '고객 증거(customer evidence)'라고 부릅니다. 생성형 AI(Generative AI)는 모든 조건을 사전에 인코딩하지 않고도 응답이 생성되는 시점에 제공자가 변화하는 상황적 정보를 공급할 수 있도록 하여 개인화를 확장합니다. 우리는 이러한 제공자 측 문맥을 현재 무엇이 가능하고, 허용되며, 권장되는지에 대한 정보로 정의합니다. 이러한 유연성은 새로운 문제를 야기합니다. 일단 문맥을 제공하기 쉬워지면, 더 많다고 해서 반드시 더 좋은 것은 아니라는 점입니다. 우리는 문맥의 양보다 고객의 현재 의도와의 관련성이 더 중요한 '문맥 충분성(context sufficiency)' 이론을 개발합니다. 이 이론은 불충분성(insufficiency), 충분성(sufficiency), 포화(saturation), 간섭(interference)의 네 가지 상태를 규명하고, 최소한의 관련 집합을 찾기 위한 '문맥-충분성 프론티어(Context-Sufficiency Frontier)'를 도입합니다. 대형 홈퍼니싱 소매업체의 생성형 추천 시스템을 대상으로 한 완전 요인 실험에서, 관련 문맥은 적절성을 향상시킨 반면, 무관한 문맥은 적절성을 떨어뜨리고 검색을 불안정화했습니다. 이 프레임워크는 개인화의 초점을 단순히 더 많은 문맥을 제공하는 것에서 현재 상호작용이 실제로 요구하는 것을 식별하고 서비스 프로세스 전반에 걸쳐 제약 조건을 강제하는 방향으로 전환합니다.
원문 초록
Personalization has long relied on customer data to infer what an individual is likely to value. We call this customer evidence: the customer's historical behavior and preferences. Generative AI extends personalization by allowing providers to supply changing situational information at the moment a response is produced, without encoding every condition in advance. We define this provider-side context as information about what is possible, permitted, or advisable now. This flexibility creates a new problem: once context becomes easy to supply, more is not necessarily better. We develop a theory of context sufficiency in which the relevance of context to the customer's current intent matters more than its volume. The theory identifies four states, insufficiency, sufficiency, saturation, and interference, and introduces the Context-Sufficiency Frontier to locate the minimal relevant set. In a full-factorial experiment with a generative recommender at a large home-furnishing retailer, relevant context improved appropriateness, while irrelevant context reduced it and destabilized retrieval. The framework shifts personalization from supplying more context toward identifying what the current interaction actually requires and enforcing constraints throughout the service process.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Annie, Are You Okay? 스타일 및 맥락 기반 개인화가 AI 보조 의사결정을 어떻게 형성하는가
Annie, Are You Okay? How Style- and Context-Based Personalization Shape AI-Assisted Decision-Making
사람들이 금융 조언을 위해 생성형 AI를 이용하면서, 이러한 시스템은 소통 방식과 전달 내용을 개인화할 수 있다. 이러한 형태의 개인화가 의사결정에 서로 다르게 영향을 미치는지는 아직 불분명하다. 우리는 사전 등록된 2×2 피험자 간 요인설계 실험(N=240)을 수행했다. 참가자들은 비슷한 수준으로 타당한 세 종목 주식의 순위를 매긴 뒤 AI와 논의하고 다시 순위를 매겼다. 참가자들은 두 형태의 개인화를 모두 인지했지만, 맥락 기반 개인화만이 순위 행동을 일관되게 바꿨다. 이는 재검토를 늘리고 순위를 AI가 배정한 추천 쪽으로 이동시켰다. 참가자들은 AI를 더 정확하거나, 신뢰할 만하거나, 지능적이거나, 호감이 가거나, 고품질이라고 판단하지 않으면서도 더 영향을 받았다고 느꼈다. 처음에 그 추천과 더 멀었던 사람들은 조언을 덜 정확하다고 판단하면서도 더 많이 그쪽으로 이동했으며, 탐색적 분석은 전문성이 낮은 참가자일수록 더 큰 수용성을 시사한다. 이러한 결과는 개인화된 AI가 최소한의 평가적 흔적만으로도 정당화 가능한 선택지들 사이에서 의사결정을 유도할 수 있음을 보여 주며, 개인화된 의사결정 지원의 설계와 거버넌스에 대한 우려를 제기한다.
PaperRouter-Agent: 개인화된 계층적 논문 라우팅을 위한 내용 기반 LLM 에이전트
PaperRouter-Agent: A Content-Grounded LLM Agent for Personalized Hierarchical Paper Routing
연구자들은 문헌 관리 도구에서 수집한 논문을 개인 폴더 계층 구조로 정리하고, 새로운 논문이 들어올 때마다 적절한 폴더로 라우팅한다. 이 작업은 표준 계층적 텍스트 분류(classification)와 다르다. 사용자의 폴더 계층 구조는 고정된 공유 분류 체계가 아니라, 폴더 의미가 주제 기반, 약칭, 발표 장소 기반, 또는 프로세스 지향적일 수 있는 사적이고 진화하는 개인 분류 체계(folksonomy)이며, 그 의미는 이미 저장된 논문들에 의해 정의되는 경우가 많다. 우리는 이 설정을 개인화된 계층적 논문 라우팅(PHPR, personalized hierarchical paper routing)으로 공식화한다: 사용자별 학습(training) 없이 사용자 고유 계층 구조의 폴더에 입력 논문을 할당하는 것이다. 우리는 폴더 이름만이 아니라 폴더 내 구성원 논문에 라우팅 결정을 근거하는 학습 불필요 LLM 에이전트(agent)인 PaperRouter-Agent를 제안한다. 이 에이전트는 먼저 후보 계층 구조를 좁히고, 폴더별 증거를 검색하며, 구성원 논문을 검사하여 적합성을 검증하고, 과거 사용자 거절 이력으로부터 유사도 게이팅 피드백을 반영한다. 실제 개인 문헌 라이브러리에 대한 형성적 연구에서 PaperRouter-Agent는 전체 Recall@1을 0.39에서 0.61로, Recall@3을 0.57에서 0.83으로 향상시켰으며, 발표 장소나 연도 등 메타데이터로 정의된 조직적 폴더에서 가장 큰 성능 향상을 보였다(Recall@1 0.09에서 0.50). 단일 시도 방법이 이러한 폴더에서 무력화되는 반면, 공개 LaMP-2 벤치마크(benchmark)에서는 동일한 접근법이 단일 시도 기준선(baseline) 대비 정확도를 44.5%에서 51.5%로 향상시켰으며(매크로-F1 +9.0), 실용적 사용에 적합한 낮은 비용을 유지하였다.
개입 개인화 효과를 위한 통계적 검정
A Statistical Test for the Benefits of Personalizing Interventions
의학에서 마케팅, 사회과학에 이르기까지 개인에게 맞춤화된 개입을 제공한다는 가능성은 부인할 수 없다. 그러나 실제 적용에서는 개인화의 잠재적 이점과 그로 인한 비용 증가 및 취약성을 균형 있게 고려해야 한다. 우리는 역사적 데이터를 기반으로, 개인화된 개입 정책의 성능이 단일 최적 개입을 일괄 적용하는 방식을 능가할 것이라는 증거를 평가하는 통계적 가설 검정을 제안한다. 이 검정은 엄격한 1종 오류 제어를 유지하면서, 명시된 조건하에 최소 가능 분산으로 점근적 정규성을 달성한다. 직업 학습, 우울증 치료, 교육 및 추천 시스템 등 다양한 데이터셋에 대한 실험 결과는 이 검정의 범용성과 대안 방법들에 비한 우수한 성능을 입증한다. 이 검정은 개인화의 잠재적 이점을 간단하고 강력하게 정량화함으로써 개입 과학 전반에 걸쳐 의사결정자를 지원할 수 있다.
APeB: 대규모 언어 모델 에이전트의 개인화 능력 벤치마킹
APeB: Benchmarking Personalization Ability of Large Language Model Agents
LLM 기반 에이전트는 사용자가 구체적이지 않은 원시 질의를 입력할 때 개인화에 어려움을 겪는다. 이 설정에서 에이전트는 잠재적 의도를 추론하고, 노이즈가 포함된 상호작용 이력에서 선호도를 추출하며, 경쟁하는 대안들 중에서 선택해야 한다. 기존 벤치마크는 사용자가 정제한 질의나 단순화된 이력에 의존하는 경우가 많아 이 역량을 거의 테스트하지 않는다. 우리는 원시 질의와 다양한 이력 하에서 에이전트 개인화를 위한 테스트베드인 개인화 상품 검색(PPS)을 소개한다. 우리는 행동 로그로부터 Agent Personalized Benchmark(APeB)를 구축하여, 구체적이지 않은 의도와 풍부한 이력 및 사용자가 열람한 후보 아이템을 쌍으로 연결한다. 다단계 에이전트 워크플로우를 사용해 최신 LLM을 평가한 결과, 모델은 명시적인 질의는 잘 처리하지만 의도 및 선호도 발견이 필요한 초기 단계 질의에서는 어려움을 겪는 것으로 나타났다. 루브릭 분석에 따르면 이 격차는 주로 비효과적인 이력 활용에 기인한다. 단순한 이력 인식 질의 정제 파이프라인인 VQRA는 일관된 성능 향상을 보여주며, 개인화 에이전트에서 전용 이력 활용 모듈의 필요성을 부각시킨다.
Navigating User Behavior toward Personalized Multimodal Generation
TailorMind: 선호 정렬 멀티모달 콘텐츠 생성
TailorMind: Towards Preference-Aligned Multimodal Content Generation
개인화 콘텐츠 시스템은 사용 가능한 UGC(사용자 생성 콘텐츠)에 의존하며, 적합한 콘텐츠가 없거나 지연되거나 생성 비용이 클 때 어려움을 겪는다. 멀티모달 생성기가 필요에 따라 콘텐츠를 합성할 수 있지만, 행동 흔적을 생성 준비가 된 선호로 변환하는 방법은 아직 충분히 탐구되지 않았다. 우리는 개인화 멀티모달 콘텐츠 생성을 연구한다: 기존 아이템 풀 없이 또는 일치하는 UGC를 기다리지 않고 사용자에 맞춤화된 멀티모달 콘텐츠를 생성하는 것이다. 우리는 협업 선호 모델링과 제어 가능한 멀티모달 생성을 연결하는 TailorMind를 제안한다. TailorMind는 하이퍼그래프 협업 필터링을 통해 희소한 사용자 이력을 보강하고, 랭킹 오류 피드백과 텍스트 그래디언트 경사하강법으로 텍스트 프로파일을 최적화한다. 검색-증강 스타일 제어는 출력을 실제 UGC 패턴에 그라운딩하고, 교차 모달 응집성 반영은 의미적 드리프트를 줄인다. 우리는 세 개의 주류 플랫폼에서 구축한 벤치마크 TailorBench를 만들며, 일관성, 참신성, 미적 품질, 환각, 프로파일링 다섯 차원으로 평가한다. 실험 결과 TailorMind는 경쟁력 있거나 더 강한 일관성을 달성하고, 대표적인 생성 베이스라인 및 ground-truth UGC 대비 참신성과 미적 품질을 개선하며, 사용 가능한 콘텐츠 또는 유사 UGC를 검색하는 방식보다 우위를 보인다. 동시에 재순위화에서 최대 29%의 재현율 향상을 달성한다. 코드는 https://github.com/iLearn-Lab/TailorMind 에서 공개되어 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
PREPRINT - SUBMITTED TO JOURNAL OF SERVICE RESEARCH (JSR)