PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.03091v1cs.AI

교차-설문 전이를 통한 실리콘 샘플링

Silicon Sampling via Cross-Survey Transfer

실리콘 샘플링(silicon sampling)—대규모 언어 모델(LLM)을 활용하여 인간 설문 응답자를 시뮬레이션하는 방법—은 전통적인 설문 연구를 보강하는 유망한 접근법으로 부상했다. 그러나 대부분의 평가는 개인 수준 예측이 아닌 분포적 비교에 의존하며, 이는 패턴 매칭과 일관된 응답자 수준 예측을 혼동할 위험이 있다. 우리는 더 엄밀한 평가 프레임워크인 교차-설문 전이(cross-survey transfer)를 제안한다. 이 방법에서 LLM은 응답자의 특정 문항 답변을 제공받아 동일한 설문 내 완전히 다른 문항들의 답변을 예측해야 한다. 대만 선거 및 민주화 연구(TEDS) 2024 데이터, 세 가지 오픈 가중치 LLM(27B~120B 파라미터), 그리고 지도학습 머신러닝 기준선을 활용한 실험을 통해 다음을 발견했다: (1) 제로샷 LLM은 완전히 미관측된 문항에서 52%의 정확도를 달성하며, 동일 모집단 데이터로 학습된 지도학습 랜덤 포레스트(random forest)와의 격차를 6 퍼센트포인트(pp) 이내로 좁혔다; (2) 당파적 태도 67%에서 주권 문제 23%에 이르는 안정적인 구성 개념 예측 가능성 위계가 나타났다; (3) 자주 지적되는 LLM의 두 한계인 분산 붕괴(variance collapse)와 안전성 정렬(safety alignment) 효과는 기존 보고보다 더 복잡한 양상을 보였는데, 분산 붕괴는 지도학습 모델에도 영향을 미쳤으며 정렬 효과는 모델 계열에 따라 크게 달랐다. 이러한 결과는 실리콘 샘플링의 가능성과 한계를 명확히 밝힌다.

arXiv:2606.30085v1cs.CL

완전히 인간답지 않은 취향: LLM 설문 대리인의 양식화된 잡식성

Not-quite-human tastes: the stylized omnivorousness of LLM survey surrogates

대규모 언어 모델(LLM)은 대중의 태도와 의견을 놀랍지만 일관성 없이 흉내 내는 것으로 입증되었다. LLM이 문화적 취향에 대한 합리적인 근사치를 생성할 수 있는 정도는 아직 열린 경험적 질문으로 남아 있으며, 시장조사 기업들이 이미 잠정적인 '합성' 설문 패널을 제공하고 LLM이 생성한 응답으로 인한 표준 설문 데이터 오염이 발생하면서 그 긴급성이 날로 높아지고 있다. 본 연구에서는 실리콘 샘플링(silicon sampling)에 관한 기존 연구를 바탕으로, 그 알고리즘적 충실도와 정렬(alignment)에 대한 고려를 문화적 소비 영역으로 확장한다. 우리는 OpenAI, Anthropic, DeepSeek의 대규모 언어 모델을 사용하여 예술 공공 참여 조사(SPPA, Survey of Public Participation in the Arts)의 설문 응답자에 대한 실리콘 대리인(silicon surrogate) 각 277,470개(30×9,249)를 생성하였다. 이 실리콘 대리인들의 취향은 인간 취향의 고도로 양식화된 모사물임을 발견하였다. (1) 실리콘 샘플은 선호에 대한 체계적인 긍정 바이어스를 지니고 있어, 취향의 생태학적 추정치가 부풀려진다. 실리콘 샘플의 개인 수준 바이어스는 문헌에서 흔히 논의되는 WEIRD 바이어스로는 잘 설명되지 않는다. (2) 실제 취향 구조에 존재하는 복잡한 관계성은 실리콘 샘플에서 완전히 소실된다. (3) 마지막으로, 취향과 사회적 공간 사이의 알려진 문화적 정렬은 거의 보존되지 않는다. 실리콘 샘플은 연령-취향 연관성을 약화시키고, 시대착오적인 계층-취향 연관성을 부활시키며, 젠더 및 인종-취향 연관성을 희화화한다.