대규모 언어 모델(LLM)은 의사결정 능력을 갖춘 장기 실행 에이전트로 점점 더 배치되고 있다. LLM은 트롤리 문제와 같은 딜레마에서 윤리적 역량을 보일 수 있지만, 이러한 역량이 복잡한 에이전트적(agentic) 시나리오로 이어지지 않을 수 있다. 우리는 Civilization V에서 이 격차를 연구한다. Civilization V는 경제, 외교, 기술, 군사 전략을 포함한 복잡한 의사결정 환경을 갖춘 멀티플레이어 게임이다. LLM 플레이어가 스스로 핵 사용 승인을 확대한 130건의 고긴장 LLM 자기 대국(self-play) 에피소드에서 출발하여, 13개 모델에 대해 세 가지 프롬프트 개입으로 재현한다: 핵 피해를 명시하는 윤리적 프롬프트, 이전 모델의 의사결정 근거 제거, 실세계 영향을 강조하는 고위험(high-stakes) 프레이밍. 어떤 개입도 그 조합도 창발적(emergent) 확대를 안정적으로 제거하지 못한다. 우리는 세 가지 실패 경로를 확인한다: 프롬프트 없이는 윤리적 추론이 드러나지 않는 경우, 프롬프트를 주어도 나타나지 않는 경우, 또는 드러났으나 전략적 반대 요인이 우세할 때 행동으로 이어지지 않는 경우. 따라서 에이전트적 모델 평가는 윤리적 추론이 고립된 설정에서 끌어낼 수 있는지를 넘어, 복잡한 의사결정 맥락에서 자발적으로 호출되고 행동적으로 효과적인지를 검증해야 한다.
사색적 전통(contemplative traditions)은 오랫동안 윤리적 행동과 친사회적 상호작용을 이끌어왔으며, 최근 연구에 따르면 사색적 원칙(예: 마음챙김, 연민, 비이원적 추론)이 대규모 언어 모델(LLM)의 정렬(alignment)을 위한 유망한 패러다임을 제공하고, 협력을 개선하며 LLM 출력의 윤리적 위반을 줄일 수 있음이 시사된다. 그러나 새로운 모델, 평가 지표, 벤치마크가 빠르게 등장함에 따라, 다양하고 변화하는 시나리오에서 사색적 원칙이 LLM 정렬을 향상시키는지, 그리고 어떻게 향상시키는지를 체계적으로 평가하는 것은 여전히 어려운 과제이며, 기존 접근법은 임시방편적이고 일반화에 실패하는 경우가 많다. 본 논문에서는 정신 건강 도메인을 초기 대상으로 하는 모듈형 확장 가능 평가 프레임워크를 제안한다. 이 프레임워크는 재사용 가능한 파이프라인을 통해 새로운 모델, 지표, 벤치마크의 원활한 통합을 지원한다. 현재 프레임워크는 기존 최첨단 결과를 재현하고, 모델·지표·벤치마크를 유연하게 조합하는 체계적인 교차 평가를 지원함으로써 공정한 비교와 심층적인 통찰을 가능하게 한다. 플러그 앤 플레이 방식의 프롬프팅 모듈은 사색적 원칙과 같은 윤리적 관점을 통합하기 위한 원칙적인 경로를 제공하여, 도메인 전문가가 기술적 전문 지식 없이도 정렬 기준을 정의할 수 있도록 한다. 정신 건강에 초점을 맞추어 시작되었지만, 이 프레임워크는 도메인에 구애받지 않으며 의사결정, 도덕적 추론, 인간-AI 협력 등의 영역으로 자연스럽게 확장된다. 계산적 평가와 인간 중심 윤리 추론을 연결함으로써, 본 연구는 인지과학, 행동경제학, 철학, 시스템 설계를 아우르는 학제 간 연구의 토대를 마련하며, 견고하고 신뢰할 수 있으며 사회적으로 유익한 인간-AI 생태계를 지향한다.
도덕적 딜레마에서 표준 사고의 연쇄(Chain-of-Thought)가 보이는 이해관계자 붕괴와 불확실성 억제를 줄이기 위해, 주인공·이해관계자·2단계 결과·�확실성·확약의 다섯 섹션으로 추론을 구조화하는 추론 시점 시스템 프롬프트 narration-of-thought(NoT)를 제안한다. 추가 학습·파라미터 변경 없이 DailyDilemmas 100개 시나리오에서 이해관계자 붕권을 최대 31%에서 1% 미만으로, 불확실성 억제를 최대 72%에서 1–24%로 낮추고, 다중 이해관계자 토론에서는 6% 교착을 95% 합의로 전환한다.