PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.25066v1cs.CL

LLM 기반 인간 행동 시뮬레이션에서의 신뢰성 이해

Understanding Reliability in LLM-based Human Behavior Simulation

대규모 언어 모델(LLM)은 인간의 설문 응답과 행동 반응을 시뮬레이션하는 데 점점 더 많이 사용되지만, 신뢰할 수 없는 시뮬레이션은 사회과학적 결론을 오도할 수 있다. 그러나 기존 평가는 end-to-end 점수에 초점을 맞추어, 시뮬레이션 과정의 서로 다른 측면들이 상호작용하여 신뢰성을 어떻게 결정하는지는 불분명하게 남아 있다. 우리는 LLM 기반 인간 행동 시뮬레이션을 세 개의 구조화된 층으로 분해하고, 모델 용량, 프로필 완전성, 인구 커버리지의 세 가지 구성 차원에 걸쳐 개별 수준(R1)과 집단 수준(R2) 모두에서 신뢰성을 평가하는 ReliMap을 제안한다. 네 가지 시뮬레이션 과제와 11개 LLM에 걸친 실험을 통해, 프로필 조건화(profile conditioning) 없이는 모든 모델이 상당한 분포 바이어스를 보인다는 것을 발견한다. 프로필 조건화는 수확 체감과 함께 이 바이어스를 줄인다. 더 큰 모델이 더 많은 이득을 얻으며, 속성의 정보량은 양보다 더 중요하다. 중요하게도, R1의 이득은 R2로 신뢰하게 전이되지 않으며—개별 수준과 집단 수준의 신뢰성은 반대 방향으로 움직일 수 있다. 집단 층에서, 커버리지를 늘리면 분산은 줄이지만 체계적 바이어스는 줄이지 않으며, R2는 약 50–100명의 개인에서 안정화된다. 이러한 발견은 신뢰할 수 있는 시뮬레이션이 단일 층을 고립하여 최적화하는 것만으로는 달성할 수 없으며, 세 층 모두에 걸친 조율된 개선이 필요함을 강조한다.

arXiv:2605.30036v2cs.AI

기계에 가치 가르치기: 대규모 언어 모델에서의 인간 유사 행동 시뮬레이션

Teaching Values to Machines: Simulating Human-Like Behavior in LLMs

대규모 언어 모델(LLM)은 다양한 페르소나와 역할을 수용하는 놀라운 능력을 보여주지만, 일관되고 인간 유사한 가치 구조를 준수하는 행동을 나타낼 수 있는지는 여전히 불분명합니다. 본 연구에서는 확립된 심리학적 가치 이론을 바탕으로 LLM에 인간 유사 가치를 유도하고, 인간 연구에서 관찰된 패턴과의 정렬(alignment)을 평가합니다. 검증된 심리학적 설문지를 사용하여 500만 개 이상의 질문에 대한 대규모 실험을 수행함으로써, 선도적인 LLM들의 가치 구조와 가치-행동 관계를 평가하고 이를 인간과 비교했습니다. 연구 결과, 가치 프롬프트가 적용된 LLM과 인간 사이에 두 차원 모두에서 강력한 일치가 나타나는 것으로 밝혀졌습니다. 더욱이, 인간 가치 분포를 통합하면 가치 유도 LLM을 활용한 집단 수준 시뮬레이션이 향상됩니다. 이러한 발견은 인간 행동을 시뮬레이션하는 데 있어 가치 유도 LLM이 효과적이고 심리학적으로 근거한 도구로서 가질 수 있는 잠재력을 강조합니다.