arXiv:2411.10109v4 cs.AI

풍부한 자기보고에 기반한 AI 시뮬레이션은 정확도를 높이고 왜곡을 줄인다

AI Simulations Grounded in Rich Self-Reports Increase Accuracy and Reduce Distortion

Joon Sung Park, Carolyn Q. Zou, Jonne Kamphorst, Niles Egan, Aaron Shaw, Benjamin Mako Hill, Carrie Cai, Meredith Ringel Morris, Percy Liang, Robb Willer, Michael S. Bernstein

제출 2024-11-15

한국어 초록

인구통계 프롬프트로 구축한 사람에 대한 AI 시뮬레이션은 개인을 잘못 판단하고 표본 수준의 패턴을 왜곡하는 경우가 많다. 우리는 풍부한 자기보고 데이터가 이러한 문제를 줄이는지 검증한다. 우리는 AI 음성 인터뷰어를 개발하고, 미국 성인 1,052명을 대상으로 American Voices Project 프로토콜에 따라 두 시간 길이의 인터뷰를 수행했으며, 이들은 설문과 행동 실험도 함께 완료했다. 각 참가자에 대해 인구통계 속성, 직접 작성한 페르소나, 설문 응답, 인터뷰 응답, 또는 설문과 인터뷰를 결합한 정보를 프롬프트로 준 시뮬레이션을 비교했다. 우리는 보류된 응답에 대한 정확도를 평가하고, 표본 수준에서 여덟 가지 통계적 왜곡, 즉 편향된 평균, 압축된 분산, 왜곡된 응답 분포, 과도하게 상관된 문항, 하나의 차원으로 붕괴하는 태도, 이념적 정렬, 증폭된 실험 효과, 과잉 합리성을 측정했다. General Social Survey(GSS) 문항에서 인구통계 시뮬레이션의 정확도는 60.4%였고, 인터뷰 및 설문 시뮬레이션은 각각 69.4%와 69.3%, 이를 결합하면 72.8%에 도달했으며, 이는 참가자의 2주 간격 재검사 일치도 79.5%와 비교된다. 설문과 인터뷰는 성격 특성의 예측도 향상시켰으나 인센티브가 주어진 경제적 선택의 예측은 향상시키지 못했다. 인터뷰와 설문을 결합한 시뮬레이션은 인구통계 시뮬레이션과 참가자 응답 사이의 여덟 가지 왜곡 격차 중 중앙값 53.5%를 줄였다. 다른 참가자들의 자기보고와 대상 문항에 대한 응답으로 미세조정한 오픈 웨이트 모델은 GSS 정확도 75.2%를 달성했고 왜곡 격차의 중앙값 69.3%를 줄였다. 전반적으로 프런티어 모델과 미세조정 모델 모두 왜곡을 줄였으나 없애지는 못했고, 어느 쪽도 경제 게임에서의 과잉 합리성을 줄이지 못했다. 이러한 결과는 질적 및 양적 자기보고가 개인별 시뮬레이션을 개선하고 통계적 왜곡을 줄일 수 있음을 보여 준다.

원문 초록

AI simulations of people built from demographic prompts often misjudge individuals and distort sample-level patterns. We test whether rich self-report data reduce these problems. We developed an AI voice interviewer and conducted two-hour interviews following the American Voices Project protocol with 1,052 U.S. adults, who also completed surveys and behavioral experiments. For each participant, we compared simulations prompted with demographic attributes, self-authored personas, survey responses, interview responses, or combined surveys and interviews. We evaluated accuracy on held-out responses, and measured eight statistical distortions at the sample level: biased averages, compressed variance, distorted response distributions, over-correlated items, attitudes collapsing onto one dimension, ideological sorting, amplified experimental effects, and hyper-rationality. On General Social Survey (GSS) items, demographic simulation led to 60.4% accuracy, whereas interview and survey simulation achieved 69.4% and 69.3%, and combining them reached 72.8%, compared with 79.5% for participants' two-week test-retest agreement. Surveys and interviews also improved prediction of personality traits, but not of incentivized economic choices. Combined interview and survey simulation closed a median of 53.5% of the eight distortion gaps between demographic simulation and participant responses. An open-weight model fine-tuned on other participants' self-reports and responses to the target questions achieved 75.2% GSS accuracy and closed a median of 69.3% of the distortion gap. Overall, both frontier and fine-tuned models reduced distortions without erasing them, but neither reduced hyper-rationality in economic games. These findings demonstrate that qualitative and quantitative self-reports can improve person-specific simulations and reduce statistical distortions.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2411.10109v4제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.