맥락을 고려한 가치 정렬: 도덕적 신념도 형성
Accounting for Context: Shaping Moral Credences for Value Alignment
에이전트 행동이 인간의 도덕적 가치와 정렬되도록 보장하는 것은, 사회와 심지어 개인조차도 일반적으로 채택하는 다양한 도덕적 관점을 어떻게 반영할 것인가라는 문제를 불가피하게 제기한다. 도덕적 불확실성(moral uncertainty)에 관한 연구는 서로 다른 도덕 이론들에 걸친 행동 평가를 공정하고 민주적으로 집계하는 메커니즘을 제안한다. 그러나 본 논문은 도덕적 평가를 집계할 때 맥락적 요인을 고려해야 한다고 주장한다. 예를 들어, 결과주의적 관점은 에이전트의 행동이 세계를 어떻게 변화시키는지를 정확히 판단할 수 있다는 전제를 가정하는데, 이 전제는 실제 세계 환경에서는 종종 성립하지 않는다. 따라서 우리는 이러한 맥락적 요인들을 또한 고려하면서, 도덕적 불확실성 하에서의 에이전트 의사결정을 형식화한다. 이를 통해 겉보기에 상식적인 성질인 약 페레토 원칙(weak Pareto principle)이 위반됨을 보인다. 우리는 이 겉보기 문제가 사실은 심pson의 역설(Simpson's paradox)의 한 변형이며, 따라서 맥락적 요인의 영향을 무시하는 집계 메커니즘의 한계를 드러낸다고 주장한다.