수개월 동안 대화를 나누는 AI 컴패니언은 상대를 이해할 수 있어야 합니다. 상대가 누구인지 알고, 그들이 한 말을 기억하며, 과거의 내용이 현재 중요한 순간을 인식할 수 있어야 합니다. 이를 평가하기 위해서는 실제 대화가 필요하지만, 실제 대화는 사적인 영역이므로 기존 벤치마크들은 가상의 인물과 가상의 질문을 사용해 왔습니다. 본 연구에서는 실제 사람들과 AI 컴패니언 간의 10가지 실제 관계를 바탕으로, 최대 120일에 걸친 27,218개의 메시지를 담은 RealCompanion을 공개합니다. 각 인물에 대해 전체 대화, 프로필, 페르소나, 채팅 테스트 항목, 질문 테스트 항목을 제공합니다. 모든 라벨은 이를 뒷받침하는 메시지를 가리키며, 모든 채팅 라벨에는 이를 도출한 추론 과정이 함께 제공됩니다. 실제 데이터는 세 가지 사실을 보여줍니다. 첫째, 사람들은 과거를 직접 언급하는 경우가 드뭅니다. 이전 발언에 의존하는 메시지는 전체의 3.4%에 불과하며, 의존하더라도 해당 이전 메시지는 대개 매우 먼 시점(중앙값 기준 2,157개 이전 메시지)에 위치합니다. 평균치는 이러한 사실을 가립니다. 가장 최근 메시지만을 살피면 전체적으로는 필요한 메시지를 95.9% 찾아내지만, 과거 멀리 떨어진 메시지의 경우에는 2.2%에 불과합니다. 둘째, AI 시스템은 과거가 중요한 시점을 구분하지 못합니다. 테스트된 탐지기들은 실제 메시지에서 무작위 확률 수준을 간신히 넘겼으며, 동일한 이전 메시지에 '이전 메시지' 대신 '기억'이라는 라벨이 붙으면 모델은 과거 정보가 전혀 필요하지 않은 상황에서도 과거를 10~14%포인트 더 자주 언급했습니다. 셋째, AI 시스템은 상대방이 드러낸 것 이상으로 과도하게 해석합니다. 세 가지 에이전트(agent) 시스템은 각 페르소나를 동등한 수준(F1 0.71)으로 재구성하지만, 상대방을 파악한 뒤 그 이상을 상상해 냅니다. 한 사람을 이해하는 것은 그들의 과거가 언제 중요한지, 그리고 그들이 공유한 내용의 경계가 어디까지인지를 아는 것에 달려 있으며, 이는 오직 실제 대화를 통해서만 평가할 수 있습니다.
최근 연구들은 인구통계적, 태도적 또는 페르소나 기반 설명으로 모델에 프롬프트를 제공하여 대규모 언어 모델(LLM)로 인간의 의견과 의사결정을 시뮬레이션한다. 그러나 이러한 시뮬레이션은 사람들이 정책 개입에 어떻게 반응하는지를 형성하는 실무적, 인지적 또는 사회적 마찰을 거의 모델링하지 않는다. 지각된 거래 비용(perceived transaction cost, PTC)은 정보 부담, 행정적 노력, 조정(coordination) 요구, 지각된 불확실성 등 정책 반응을 형성하는 실무적 마찰을 모델링하는 데 유용한 렌즈를 제공한다. 우리는 이 렌즈를 사용하여 LLM 기반 시뮬레이션을 위한 마찰 인식(friction-aware) 페르소나 모델링 접근법을 개발한다. 에너지 효율 리노베이션(energy-efficient renovation, EER) 맥락에서 세입자는 인구통계적으로 누구인지뿐만 아니라, 제안된 리노베이션 계획과 관련된 비용, 이익, 장벽, 불확실성을 어떻게 지각하는지에 의해 표현된다. 네덜란드에서 1,068명의 시민으로부터 수집하고 약 40,548개의 설문 질문-답변 쌍으로 구성된 설문 데이터를 사용하여, GPT-3.5-turbo, Ministral-8B-Instruct, Llama-3.1-8B-Instruct에 걸쳐 프롬프트 전용(prompt-only) 및 미세조정(fine-tuned) 설정을 비교하고, 로컬 오픈 가중치(open-weight) 모델에 대해 지도 미세조정(SFT) 및 Group Relative Policy Optimization(GRPO)을 평가한다. 결과는 PTC 기반 페르소나와 추론(reasoning)을 통합하면 프롬프트 전용 및 미세조정 설정 모두에서 모델 성능이 일관되게 향상됨을 보여주며, PTC 기반 페르소나 설계가 제도적 정책 이론과 해석 가능한 LLM 기반 정책 시뮬레이션 사이의 유용한 가교를 제공함을 시사한다. 코드는 https://github.com/xiaweijie1996/socialagent 에서 제공된다.
사용자 특성을 추론하고 페르소나에 일관된 응답을 생성하는 기존 접근법은 정적 프롬프팅에 의존한다. 이러한 방법들은 보정된 불확실성이 부족하고, 순차적 증거를 무시하며, 장기 상호작용 중에 드리프트가 발생한다. 우리는 대화로부터 22개 차원의 성격 프로파일을 지속적으로 업데이트하고 이를 개인 디지털 트윈에 구현하는 프레임워크인 AI YOU를 제시한다. 실제로, 이 시스템은 페르소나 추론을 위해 프롬프팅, 베이지안 업데이트(Bayesian updating), 등각 예측(conformal prediction)을 결합한다. 주기적으로 갱신되는 메모리 앵커와 세 계층으로 구성된 인지 메모리가 장기 상호작용에서 페르소나 일관성을 유지한다. 주요 실험 결과에서, AI YOU는 (i) 0.921에서 0.976 범위의 등각 커버리지를 달성하고, (ii) 불확실성 보정과 메모리에 기반한 추론을 개선하며, (iii) 다중 에이전트 적대적 환경에서 평가된 대부분의 백본에 대해 100턴 이상의 롤플레잉에서 정적 프롬프팅 대비 페르소나 충실도를 향상시키고 특성 드리프트를 감소시킨다. 프로토타입 AI YOU Town은 미래 상호작용을 위한 상상력 넘치는 트윈 세계를 초기화한다. 온라인 데모는 quinnnnnne-ai-you.hf.space에서 이용할 수 있다.
LLM 기반 시뮬레이션은 시민 숙의(civic deliberation)에 대한 통제된 연구를 가능하게 할 수 있으나, 현재 시스템은 화자 귀속 데이터와 장문의 제도적 행동을 평가하는 방법이 부족하다. ASR 전사본은 일반적으로 $Speaker\_1$과 같은 익명 레이블을 사용하여, 모델이 여러 회의에 걸쳐 안정적인 참여자 행동을 학습하는 것을 방해한다. 우리는 공개 Zoom 녹화물을 페르소나 프로필, 주제, $[propose\_motion]$과 같은 화용론적 '행동 태그'로 풍부하게 보강된 화자 귀속 전사본으로 변환하는 재현 가능한 파이프라인을 제시한다. 이 파이프라인을 활용하여 정부 숙의에 관한 세 가지 공개 데이터셋(항소법원 청문회, 교육위원회 회의, 시의회 세션)을 공개하고, 행동 인식 데이터로 LLM 페르소나를 미세조정한다. 우리는 시뮬레이션을 네 가지 차원인 페르소나 충실도, 페르소나 일관성, 제도적 충실도, 행동적 일관성에서 평가한다. 행동 인식 미세조정은 퍼플렉서티(perplexity)를 67% 감소시키고, 분류기 기반 페르소나 충실도를 두 배로 높이며, 투표 시도를 최대 $3.6\times$ 증가시키고, 숙의적 반응성을 최대 70% 향상시킨다. 인간 평가 결과, 시뮬레이션된 발췌문은 실제 숙의와 구별하기 어려운 경우가 많아, 데이터 기반 시민 시뮬레이션 연구를 위한 실용적인 기반이 마련되었음을 보여준다.
Reddit 약물 사용자 1,174명의 자기 낙인(self-stigma) 표현을 잠재 프로필 분석(LPA)으로 네 가지 페르소나로 나누고, 순차 베이지안·순환 신경망 분류기가 30개 게시물에서 macro-F1 0.74로 페르소나를 복원하는 페르소나 인식 LLM 지원 개념 증명을 제시한다. 임상 전문가 평가에서는 페르소나 맞춤 응답이 목표 행동 변화에는 유효했지만, 평가자들은 페르소나 중립 기준선의 일반적 공감을 더 선호해 전체적 공감 판단과 임상 정렬 설계가 엇갈릴 수 있음을 보였다.