다중 에이전트 환경에서 대규모 언어 모델(LLM)이 코드 기반 정책 함수를 반복적으로 생성·개선하는 프레임워크를 제안하며, 스칼라 보상만 제공하는 희소 피드백(sparse feedback) 대비 효율성·평등성·지속가능성·평화 등 사회적 지표를 함께 제공하는 밀집 피드백(dense feedback)이 Sequential Social Dilemma 환경(Gathering, Cleanup)에서 일관되게 동등하거나 우수한 성능을 보임을 Claude Sonnet 4.6 및 Gemini 3.1 Pro를 통해 실증했다. 스칼라 보상이 서로 다른 실패 패턴을 동일한 값으로 압축하는 피드백 앨리어싱(feedback aliasing) 문제를 사회적 지표가 해소함으로써, LLM이 Voronoi 영역 분할이나 적응형 청소 일정과 같은 협력 전략을 발견할 수 있음을 설명한다.
확률적 시스템의 상태 분포에 집중(concentration) 성질을 강제하는 제어 정책(control policy)을 합성(synthesize)하는 문제를 고려한다. 이 문제를 마르코프 의사결정 과정(MDP)에서 엔트로피 기반 목적함수를 유지하기 위한 전략을 합성하는 형태로 형식화한다. 먼저 이 문제의 완화된 버전조차 복잡도 이론적으로 어렵다는 것을 보인다. 이어서 이러한 엔트로피 목적함수에 대한 전략을 검증하고 합성하기 위한 건전(sound)하고 (조건부) 상대적 완전(relative completeness)성을 갖는 방법을 제시한다. 주된 난제는 이러한 목적함수의 비선형적 특성이며, 우리의 접근법은 볼록 이중성(convex duality)과 불변식 합성(invariant synthesis)의 아이디어를 활용하고 결합함으로써 이를 다룬다. 또한 엔트로피 목적함수를 보장하는 데 있어 메모리와 랜덤화(randomization)의 역할을 조사한다. 마지막으로, 몇 가지 설명용 벤치마크(benchmark)에서 접근법을 경험적으로 평가하기 위해 아이디어를 구현한다.