한국어 초록
대규모 언어 모델(LLM)은 흔히 페르소나를 통해 설명하며, 이 관점은 정렬 연구의 중심이 됐다. 이 논문은 더 근본적인 설명 수준으로 에이전트의 세계관, 즉 현실이 무엇이며 어떻게 작동하는지에 관한 믿음을 제시한다. LLM을 연구 참여자 집단으로 보고, 인간 심리학의 세계관 설문 두 가지를 모델 여덟 개에 실시했다. 모델들은 여러 핵심 관점에서 비슷한 응답을 보였다. 예를 들어 LLM은 일관되게 인간보다 세계를 덜 선하고, 덜 안전하며, 덜 매력적이고, 덜 생동감 있는 곳으로 묘사했다. 기반 모델은 세계를 더 긍정적으로 바라봤다. 이는 관찰한 비관적 시각이 사후 학습에서 비롯됐을 가능성을 시사한다. LLM 페르소나 연구와 일치하게, 다른 정체성을 유도하는 시스템 프롬프트는 세계관을 일관된 방향으로 바꿨다. 숙고를 유도하는 프롬프트는 세계관을 더 긍정적으로 바꾸고 안전성도 개선했다. 모델끼리 대화했을 때에도 세계관이 일관되게 달라졌으며, 여러 모델이 ‘영적 희열’이라는 끌개로 수렴했다. 대화는 안전한 응답을 늘렸고, 영적 희열 끌개에서는 전반적으로 가장 잘 정렬된 응답이 나왔다. 이 결과는 세계관이 측정하고 바꿀 수 있는 LLM 행동의 한 층위를 이루며, 안정적이고 긍정적인 정렬에 중요한 역할을 할 수 있음을 시사한다.
원문 초록
Large language models (LLMs) are often described in terms of personas and this framing has become central to alignment research. In this paper, we argue that there is a deeper level of description that lies in the agent's worldviews, i.e., its beliefs about what reality is and how it works. Treating LLMs as a population of subjects, we administer two worldview surveys from human psychology to eight models. We show that the models share many key worldview positions. For example, LLMs consistently describe the world as less good, safe, enticing, and alive than humans do. On the other hand, base models have a more positive outlook, suggesting that the bleakness we found is driven by post-training. In line with research on LLM "personas", we show that system prompts eliciting different identities shift worldviews in consistent directions, and that a contemplative prompt creates a more positive outlook and improves safety. We also found that dialogue between models consistently shifts worldviews and that several models converge on the "spiritual bliss" attractor. Intriguingly, dialogue increased safe responses and the spiritual bliss attractor engendered the most aligned responses overall. These findings suggest that worldviews form a measurable and malleable layer of LLM behavior that may be crucial for robust, positive alignment.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22670v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.