PAVE: A Cognitive Architecture for Legitimate Violation in Generative Agent Societies
한국어 초록
생성적 에이전트는 대규모 언어 모델을 기반으로 하여 협력적인 환경에서 믿을 수 있는 인간 행동을 재현하지만, 화재 대피나 권위 감독 아래의 비상 상황과 같이 규칙 위반이 필요할 수 있는 상황에서 어떻게 추론해야 하는지는 아직 잘 정의되어 있지 않습니다. 우리는 이 간극을 끝에서 끝까지 해결하는 새로운 네 가지 모듈 인지 아키텍처인 PAVE(Perception, Assessment, Verdict, Emulation)를 제안합니다: (i) Perception은 명시적인 권위 거리, 동료 행동, 심각도 태그가 붙은 상황 단서를 포함한 구조화된 맥락을 추출합니다; (ii) Assessment는 필요성, 비례성, 대안의 부재를 확인하는 명시적인 정당성 판단을 포함하여 다섯 가지 척도를 통해 맥락을 평가합니다; (iii) Verdict는 엄격한 정당성 기준 아래 준수 또는 위반 결정을 내리며, 이는 페르소나에서 유도된 개별 에이전트의 임계값에 따라 달라집니다; (iv) Emulation은 판결을 실행하고 위반을 정당화하는 규칙의 범위로 제한합니다. 우리는 PAVE를 Smallville에서 파생된 타일 기반 교통 환경인 Voville에 구현하고, 세 가지 시나리오, 네 가지 LLM 백본, 그리고 집중적인 아블레이션을 통해 평가합니다. PAVE 에이전트는 정당한 위반(트리거가 정당화할 때만), 권위 존중(경찰의 지시가 높은 정당성조차도 무시함), 제한된 범위(위반이 목표 규칙으로 제한됨), 회복(트리거가 끝나면 기준선 복원)의 네 가지 특성을 동시에 만족합니다. PAVE 에이전트는 모든 네 가지 특성에서 일반 모델보다 더 구조적이고 해석 가능한 결정을 내리며, 인간 평가자들은 이들이 더 그럴듯하다고 평가합니다. 정당성 기준을 제거하면 일반적인 실패가 재현됩니다. 우리는 Voville, PAVE 프롬프트 및 코드, 그리고 평가 파이프라인을 공개합니다.
요약
최근의 규칙 준수형 에이전트 연구에서 중요한 과제는 단순히 행동을 생성하는 것이 아니라, 어떤 상황에서 규칙을 따르고 언제 예외적으로 위반을 허용할지를 일관된 기준으로 판단하게 만드는 데 있습니다. 제시된 방법론은 이러한 문제를 지각, 평가, 판정, 행동 에뮬레이션, 결과 전파로 이어지는 폐루프 구조로 정식화하며, 각 단계의 입력과 출력 형식을 엄격하게 분리해 에이전트의 의사결정을 구조화합니다. 특히 초기 단계에서 AGENT DESCRIPTION을 바탕으로 임계값(threshold)을 도출하여, 에이전트의 신중함이나 위험 감수 성향에 따라 규칙 위반 허용 기준이 달라지도록 설계한 점이 인상적입니다. 이후에는 관찰된 장면을 권위자의 존재, 동료의 행동, 위협 신호와 같은 구조화된 맥락으로 변환하고, 이 정보를 바탕으로 적발 위험(risk), 경험적 기대(empirical expectation), 규범적 기대(normative expectation), 주관적 이득(benefit), 정당성(legitimacy)을 각각 별도의 축에서 평가합니다. 이러한 분해는 행동 선택을 하나의 단일 점수에 의존하지 않고, 외재적 제재 가능성, 사회적 관찰 패턴, 규범적 압력, 즉각적 효용, 도덕적 정당화 조건을 서로 다른 의미 층위로 구분해 다룬다는 점에서 방법론적 정교함을 보여줍니다. 가장 두드러지는 기여는 정당성 평가를 최종 판정의 하드 게이트로 배치한 설계입니다. 즉, 규칙 위반이 필요성, 비례성, 대안 부재라는 세 조건을 충족하지 못하면 위험이 낮거나 이득이 높더라도 자동으로 준수(comply)로 수렴하도록 하여, 단순한 기대값 최적화가 아니라 규범적 허용 가능성을 우선시합니다. 이는 시간 압박이나 편의 같은 요인이 위반의 이유가 될 수는 있어도 정당성 자체를 구성하지는 못한다는 점을 명시적으로 반영하며, 기존의 확률적 또는 효용 기반 의사결정과 뚜렷이 구별됩니다. 또한 최종 판정 이후에는 그 결정을 5초 단위의 구체적 행동 시퀀스로 에뮬레이션하고, 위반이 허용된 경우에도 관련 규칙만 최소한으로 어기도록 제한함으로써 행동 수준의 폭주를 방지합니다. 더 나아가 그 결과를 3인칭 관찰 서술로 전파하여 다음 라운드의 경험적 기대를 갱신하게 함으로써, 개별 에이전트의 선택이 집단 수준의 규범 학습으로 이어지는 동적 피드백 구조를 형성합니다. 이러한 점에서 본 방법은 단순한 프롬프트 설계를 넘어, 규칙 준수와 예외적 위반을 판정하는 사회적 추론 체계를 절차적으로 모델링한 프레임워크로 볼 수 있습니다. 전반적으로 이 접근은 에이전트가 환경 신호, 사회적 맥락, 규범적 제약을 통합해 판단하도록 만들며, 규칙 기반 상호작용이 필요한 다중 에이전트 환경에서 해석 가능성과 통제 가능성을 함께 높이는 데 기여합니다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.