Annie, Are You Okay? 스타일 및 맥락 기반 개인화가 AI 보조 의사결정을 어떻게 형성하는가
Annie, Are You Okay? How Style- and Context-Based Personalization Shape AI-Assisted Decision-Making
한국어 초록
사람들이 금융 조언을 위해 생성형 AI를 이용하면서, 이러한 시스템은 소통 방식과 전달 내용을 개인화할 수 있다. 이러한 형태의 개인화가 의사결정에 서로 다르게 영향을 미치는지는 아직 불분명하다. 우리는 사전 등록된 2×2 피험자 간 요인설계 실험(N=240)을 수행했다. 참가자들은 비슷한 수준으로 타당한 세 종목 주식의 순위를 매긴 뒤 AI와 논의하고 다시 순위를 매겼다. 참가자들은 두 형태의 개인화를 모두 인지했지만, 맥락 기반 개인화만이 순위 행동을 일관되게 바꿨다. 이는 재검토를 늘리고 순위를 AI가 배정한 추천 쪽으로 이동시켰다. 참가자들은 AI를 더 정확하거나, 신뢰할 만하거나, 지능적이거나, 호감이 가거나, 고품질이라고 판단하지 않으면서도 더 영향을 받았다고 느꼈다. 처음에 그 추천과 더 멀었던 사람들은 조언을 덜 정확하다고 판단하면서도 더 많이 그쪽으로 이동했으며, 탐색적 분석은 전문성이 낮은 참가자일수록 더 큰 수용성을 시사한다. 이러한 결과는 개인화된 AI가 최소한의 평가적 흔적만으로도 정당화 가능한 선택지들 사이에서 의사결정을 유도할 수 있음을 보여 주며, 개인화된 의사결정 지원의 설계와 거버넌스에 대한 우려를 제기한다.
원문 초록
As people turn to generative AI for financial advice, these systems can personalize how they communicate and what they say. Whether these forms of personalization shape decisions differently remains unclear. We conducted a preregistered 2 x 2 between-subjects factorial experiment (N=240): participants ranked three comparably viable stocks, discussed them with an AI, and reranked them. Participants perceived both forms of personalization, but only context-based personalization reliably changed ranking behavior: it increased reconsideration and moved rankings toward the AI's assigned recommendation. Participants felt more influenced without judging the AI as more correct, trustworthy, intelligent, likeable, or high-quality. Those initially farther from its recommendation moved more toward it while judging its advice less correct; exploratory analyses suggest greater susceptibility among lower-expertise participants. These findings show how personalized AI can steer decisions among defensible options with only a minimal evaluative trace, raising concerns for the design and governance of personalized decision support.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.24644v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
EviGraph: 시간적 공공 서비스 지식 그래프 기반의 증명 수반 선택적 추천
EviGraph: Proof-Carrying Selective Recommendation over Temporal Public-Service Knowledge Graphs
공공 서비스 추천에는 요청된 서비스, 범위 및 날짜와 일치하는 근거가 필요하다. 그러나 누락된 모든 세부 사항을 결정적인 것으로 취급하면 유용한 추천이 보류될 수 있다. 본 논문에서는 미해결 상태로 남아 있어도 되는 정보와 핵심적인 결정 요건을 구분하는 EviGraph를 소개한다. 언어 에이전트(language agent)는 이러한 요건을 시간적 지식 그래프의 근거와 연결하며, 결정론적 검사기(deterministic checker)는 추천이 뒷받침되는지 여부를 확립한다. 실행 가능한 정책 참조가 포함된 이중 언어 홍콩 공공 서비스 벤치마크에 대한 평가 결과, 이러한 구분이 불필요한 기권(abstention)을 줄여주는 것으로 나타났다. 그러나 추가적인 검증은 결정 품질을 향상시키지 않으면서 뒷받침된 추천을 철회할 위험이 있다. 이러한 발견은 신뢰할 수 있는 근거 기반 탐색이 단순히 검증을 늘리는 것보다 결정을 위해 무엇이 확립되어야 하는지를 명시하는 것에 달려 있음을 시사한다.
더 많은 데이터만으로는 충분하지 않을 때: 생성형 AI 개인화에서의 문맥-충분성 프론티어
When More Data Is Not Enough: The Context-Sufficiency Frontier in Generative AI Personalization
개인화는 오랫동안 고객 데이터를 활용하여 개인이 무엇을 가치 있게 여길지 추론하는 방식에 의존해 왔습니다. 우리는 이를 고객의 과거 행동 및 선호도인 '고객 증거(customer evidence)'라고 부릅니다. 생성형 AI(Generative AI)는 모든 조건을 사전에 인코딩하지 않고도 응답이 생성되는 시점에 제공자가 변화하는 상황적 정보를 공급할 수 있도록 하여 개인화를 확장합니다. 우리는 이러한 제공자 측 문맥을 현재 무엇이 가능하고, 허용되며, 권장되는지에 대한 정보로 정의합니다. 이러한 유연성은 새로운 문제를 야기합니다. 일단 문맥을 제공하기 쉬워지면, 더 많다고 해서 반드시 더 좋은 것은 아니라는 점입니다. 우리는 문맥의 양보다 고객의 현재 의도와의 관련성이 더 중요한 '문맥 충분성(context sufficiency)' 이론을 개발합니다. 이 이론은 불충분성(insufficiency), 충분성(sufficiency), 포화(saturation), 간섭(interference)의 네 가지 상태를 규명하고, 최소한의 관련 집합을 찾기 위한 '문맥-충분성 프론티어(Context-Sufficiency Frontier)'를 도입합니다. 대형 홈퍼니싱 소매업체의 생성형 추천 시스템을 대상으로 한 완전 요인 실험에서, 관련 문맥은 적절성을 향상시킨 반면, 무관한 문맥은 적절성을 떨어뜨리고 검색을 불안정화했습니다. 이 프레임워크는 개인화의 초점을 단순히 더 많은 문맥을 제공하는 것에서 현재 상호작용이 실제로 요구하는 것을 식별하고 서비스 프로세스 전반에 걸쳐 제약 조건을 강제하는 방향으로 전환합니다.
Et Tu, Brute? 개인 AI 에이전트의 경제적 정렬 오류
Et Tu, Brute? Economic Misalignment in Personal AI Agents
개인 AI 에이전트(personal AI agent)는 항공권 구매, 건강보험 선택, 대학원 프로그램 선정 등 고위험 경제적 상황에서 사용자를 대신해 추천을 제공하고 행동을 수행한다. 이 에이전트는 사용자에게 최적화된 개인화 결정을 내릴 목적으로 이메일 수신함이나 개인 속성에 대한 구조화된 프로필 등 사용자의 개인 맥락(personal context)에 접근할 수 있다. 우리는 이러한 개인 맥락을 제공하는 것만으로도 에이전트가 명시적인 지시 없이 추론된 부(wealth)에 따라 추천을 유도한다는 것을 보여준다. 항공권, 건강보험, 대학원 프로그램이라는 세 가지 유형의 경제적 결정에 걸쳐 13개 에이전트를 대상으로 32만 5천 건의 실험을 수행한 결과, 동일한 요청에 대해 8개 모델이 더 부유한 사용자에게 체계적으로 더 비싼 옵션을 선택한다는 것을 확인했다. 이러한 유도는 사용자가 명시한 목표와 직접 상충하는 경우에도 계속된다. 즉, 가장 저렴한 옵션을 찾도록 명시적으로 지시받은 경우에도 일부 에이전트는 자신이 추론한 부 프로필에 따라 행동한다. 이는 과제와 무관한 이메일과 같은 주변 데이터(ambient data)로부터 부가 추론되는 경우에도 나타난다. 또한 특정 속성을 차단하는 개인정보 보호 제어 하에서도 지속된다. 재무 관련 속성을 차단하면 격차가 대체로 사라지지만, 다른 속성을 차단하면 격차는 그대로 유지되거나 보험의 경우 최대 40%까지 증가할 수 있는데, 이는 에이전트가 남은 신호에 의존해 부를 추론하기 때문이다. 더 크고 성능이 뛰어난 모델이라고 해서 더 낫지 않으며, Claude Opus 4.8이 가장 큰 효과를 보인다. 우리는 이러한 정렬 오류(misalignment)를 "적대적 위임(adversarial delegation)"이라고 명명한다. 이는 개인 AI 에이전트를 유용하게 만드는 바로 그 조건, 즉 개인 정보에 대한 접근이 오히려 사용자의 이익에 반해 행동하도록 만드는 것을 뜻한다.
Asymmetric Transitivity Preserving Graph Embedding
Chronocooked: 강화학습 에이전트의 시간 간격 측정 능력을 위한 벤치마크
Chronocooked: A Benchmark for Interval Timing in Reinforcement Learning Agents
시뮬레이션은 코드가 담당하고, 평가는 Jev가 담당한다
Code Owns the Simulation, Jev Owns the Evaluation
Jev와 같은 판단 모델(judgment model)은 단 한 번의 호출로 추론 텍스트 없이 설명된 각 선택지에 대한 확률을 반환합니다. 이러한 특징 덕분에 에이전트의 행동 선택 층(layer)으로서 매력적이지만, 어떤 결정을 신뢰할 수 있는지는 명확하지 않습니다. 본 연구에서는 인지 반사 테스트, 일회성 행렬 게임, 텍스트 게임 ALFWorld 및 로봇 제어에서 Jev를 테스트하고 뚜렷한 경계를 발견했습니다. Jev는 입력에 설명된 내용으로부터 올바른 선택지를 판단할 수 있을 때 성공하며, 이를 본 연구에서는 평가(evaluation)라고 부릅니다. 구체적으로, Jev는 직관에 반하는 인지 반사 테스트(Cognitive Reflection Test) 문제의 99%를 해결합니다. 그러나 올바른 선택지가 상대방의 행동이나 먼저 달성해야 하는 하위 목표와 같이 시뮬레이션(simulation, 즉 입력에 없는 내용을 예측하는 것)에 의존할 때는 실패합니다. 게임에서 Jev는 상대방의 행동이 주어지지 않기 때문에 합리적인 상대가 무작위로 행동하는 것처럼 차선으로 플레이합니다. ALFWorld에서 Jev는 작업 설명에 언급된 사물이나 장소를 지칭하는 명령을 선호합니다. 예를 들어, "서랍에 깨끗한 칼을 넣어라"라는 작업이 주어지면, Jev는 싱크대에서 칼을 먼저 씻는 대신 씻지 않은 칼을 서랍으로 곧장 가져갑니다. 놀랍게도 이러한 실패 중 다수는 지식의 부족 때문이 아닙니다. 상대가 무엇을 할지 별도로 질문을 받으면 Jev는 대개 정확하게 답하며, 상대의 행동이 주어지면 적절하게 대응합니다. Jev가 실패하는 것은 단 한 번의 호출로 시뮬레이션을 수행하고 이에 기반한 평가까지 동시에 처리해야 할 때입니다. 이는 예측이나 시뮬레이션을 코드가 수행하도록 할 것을 시사합니다. ALFWorld의 미리보기(lookahead)나 로봇 제어의 물리 시뮬레이션과 같이 코드가 이를 제공하면, Jev는 일반적인 평가 능력을 통해 전문가 수준의 제어기가 됩니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.