Agent Sociodrama: LLM 에이전트 팀을 위한 사회적 동역학 기반 페르소나 재구성
Agent Sociodrama: Social-Dynamics-Guided Persona Recasting for LLM Agent Teams
한국어 초록
대규모 언어 모델(LLM) 에이전트는 팀 단위로 배치되는 경우가 늘고 있지만, 특유의 사회적 방식으로 실패한다: 정보를 가진 쪽은 침묵하고, 발언을 주도하는 쪽은 집단을 잘못된 답에 고정시키며, 규범 위반은 제재받지 않는다. 우리는 LLM 에이전트 팀 내에서 변화하는 사회적 동역학을 모델링하고 검증하기 위한 프레임워크인 Agent Sociodrama를 제시한다. 고정된 페르소나 하에서, 에이전트의 감정 상태와 방향성 있는 비대칭적 관계는 통합된 외부 LLM 판정자(judge)에 의해 매 라운드마다 업데이트되며, 이는 이후 상호작용의 형태를 결정한다. 6개의 LLM 백본과 5개의 사회적 시나리오에 걸쳐, 우리는 고전적인 사회 이론 패턴 및 인간 판단과의 일치도를 통해 사회적 충실도(social fidelity)를 평가한다. 그 결과로 나타난 궤적(trajectory)은 구조화된 사회적 패턴과 모델별 차이를 보인다. 이어서 우리는 상호작용 기록(transcript)과 사회적 궤적으로부터 집단 동역학의 실패를 진단하고, 과제를 재실행하기 전에 에이전트 페르소나를 재구성하는 Trajectory-Guided Persona Recasting(TPR)을 제안한다. 4개의 협업 벤치마크에 걸쳐, TPR은 이질적으로 구성되거나 무작위로 초기화된 에이전트 페르소나 구성 모두에서 성능을 개선하며, 초기 캐스팅 대비 최대 83.3%p의 정확도 향상을 달성한다. 대표적인 분산 정보 협력(distributed-information cooperation) 및 혼합 동기 협상(mixed-motive bargaining) 과제에서, 우리는 네 번의 비교 중 세 번에서 SOTOPIA와 AgentVerse를 능가하며, Pareto 비율(Pareto rate)에서 최대 37.5%p의 차이를 보인다. 이러한 결과는 검증된 사회적 궤적이 LLM 에이전트 팀을 복구하기 위한 실행 가능한 신호를 제공함을 보여준다.
원문 초록
Large language model (LLM) agents are increasingly deployed as teams, yet they fail in characteristically social ways: information holders stay silent, dominant speakers anchor groups on wrong answers, and norm violations go unsanctioned. We present Agent Sociodrama, a framework for modeling and validating evolving social dynamics in LLM agent teams. Under fixed personas, agents' emotional states and directed, asymmetric relationships are updated every round by a unified external LLM judge and shape their subsequent interactions. Across six LLM backbones and five social scenarios, we assess social fidelity through classical social-theory patterns and agreement with human judgments. The resulting trajectories exhibit structured social patterns and model-specific differences. We then introduce Trajectory-Guided Persona Recasting (TPR), which diagnoses group-dynamic failures from interaction transcripts and social trajectories and recasts agent personas before rerunning the task. Across four collaborative benchmarks, TPR improves performance from both heterogeneous and randomly initialized agent persona compositions, yielding up to 83.3%p of accuracy improvement over the initial casting. On representative distributed-information cooperation and mixed-motive bargaining tasks, we outperform SOTOPIA and AgentVerse in three of four comparisons, by up to 37.5%p in Pareto rate. These results show that validated social trajectories provide actionable signals for repairing LLM agent teams.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
CARE로 다루기: 대규모 언어 모델(LLM)은 온라인 커뮤니티의 반응 방식을 재현할 수 있는가?
Handle with CARE: Can LLMs Reproduce How Online Communities React?
대규모 언어 모델(LLM)이 계산 사회 분석의 프록시로 점점 더 널리 사용되고 있으나, 인간 커뮤니티의 "두터운 기술(thick descriptions)"(Geertz, 1973)을 충실하게 표현하는 것은 여전히 중요한 과제로 남아 있습니다. 기존 평가는 종종 사회적 정체성을 정적인 레이블로 단순화하여 실제 집단이 사회적 변화에 대응하는 방식을 소외시킵니다. 이러한 격차를 해소하기 위해, 본 연구는 실제 뉴스에 대한 개별 커뮤니티의 진성적이고 사건 조건부인 반응을 기준으로 LLM이 시뮬레이션한 담화를 벤치마킹하는 반응 중심 프레임워크인 CARE(Community-Aware Reaction Evaluation)를 도입합니다. 207개의 Reddit 커뮤니티에 걸쳐 2,166개의 뉴스 기사에 대한 9,947개의 실제 반응을 포괄하는 CARE는 거친 태도와 세분화된 의사소통 톤을 아우르는 계층적 분류 체계를 사용하여 주요 LLM을 평가합니다. 우리의 실증적 분석 결과는 널리 쓰이는 커뮤니티 조건화(community-conditioning) 패러다임에서 두 가지 중대한 실패 모드를 드러냅니다. 첫째, 커뮤니티 문맥과 목표 지향적 추론이 매크로 수준의 태도 및 톤 프로파일링을 유의미하게 향상시키는 반면, 특정 사건에 대한 반응을 예측할 때는 이러한 이점이 인스턴스 수준에서 대체로 붕괴됩니다. 둘째, 커뮤니티 조건화의 이점은 현저하게 불균등합니다. 즉, 프롬프트 전략이 비균일한 변화를 초래하여 일부 커뮤니티에서의 충실도 향상이 다른 커뮤니티의 성능 저하로 상쇄됩니다. 이러한 미시-거시 간 괴리와 커뮤니티 수준의 불안정성은 표준 조건화가 동적이거나 공평한 사건 반응을 포착하지 못한 채 모델이 정적인 기준선 프로필을 근사하도록 할 뿐임을 보여주며, CARE가 커뮤니티 인지 사회 시뮬레이션을 위한 필수적인 진단 도구임을 확립합니다. 코드와 데이터는 https://github.com/nuankw/Handle_with_CARE 에서 제공됩니다.
DrugMCTS: 멀티 에이전트, RAG 및 몬테카를로 트리 탐색을 결합한 신약 재창출 프레임워크
DrugMCTS: a drug repurposing framework combining multi-agent, RAG and Monte Carlo Tree Search
대규모 언어 모델(LLM)의 최근 발전은 신약 재창출(drug repositioning)과 같은 과학적 영역에서 상당한 잠재력을 보여주었습니다. 그러나 사전학습(pre-training) 과정에서 획득한 지식을 넘어서는 추론을 수행할 때 그 효과는 여전히 제한적입니다. 미세조정(fine-tuning)이나 검색-증강 생성(RAG)과 같은 기존 접근 방식은 높은 연산 오버헤드를 발생시키거나 구조화된 과학 데이터를 온전히 활용하지 못한다는 한계가 있습니다. 이러한 문제를 극복하기 위해, 본 논문에서는 신약 재창출을 위해 RAG, 멀티 에이전트 협업, 그리고 몬테카를로 트리 탐색(MCTS)을 시너지 효과가 나도록 통합한 새로운 프레임워크인 DrugMCTS를 제안합니다. 이 프레임워크는 분자 및 단백질 정보를 검색하고 분석하는 역할을 맡은 5개의 특화된 에이전트를 활용하여 구조화되고 반복적인 추론을 가능하게 합니다. DrugBank 및 KIBA 데이터셋에 대한 광범위한 실험을 통해 DrugMCTS가 범용 LLM 및 심층 학습(deep learning) 베이스라인 모두에 비해 상당히 높은 재현율(recall)과 견고성을 달성함을 입증합니다. 본 연구 결과는 신약 재창출을 위한 LLM 응용을 발전시키는 데 있어 구조화된 추론, 에이전트 기반 협업, 피드백 기반 탐색 메커니즘의 중요성을 강조합니다.
종단적 생애 궤적을 활용한 LLM 에이전트의 정체성 본질주의 완화
Mitigating Identity Essentialism in LLM Agents with Longitudinal Life Trajectories
대규모 언어 모델(LLM)은 사회적 시뮬레이션을 위한 확장 가능한 접근법을 제공하지만, 그 신뢰성은 에이전트(agent)를 어떻게 구축하느냐에 달려 있습니다. 기존 방법론은 인구 수준의 패턴을 부분적으로 재현할 수 있지만, 인간다운 다양성을 포착하지 못하는 경우가 많습니다. 본 연구의 분석에 따르면, 정적 프로필 기반 에이전트는 인간보다 더 강한 인구통계학적 분리와 집단 내 압축을 나타내며, 이는 정체성 본질주의(identity essentialism)와 일치하는 패턴입니다. 즉, 인구통계학적 레이블로 인해 모델이 집단 평균 성향을 개인의 고유한 특성으로 취급하게 되어 집단 내 응답을 동질화할 수 있습니다. 우리는 이러한 한계가 두 가지 관련 요인, 즉 희소하고 정적인 에이전트 표현 방식과 경험을 지속적으로 통합하는 프롬프트(prompt) 전용 메모리의 제한된 능력에서 기인한다고 주장합니다. 상보적 메모리 시스템에서 영감을 받아, 우리는 구조화된 생애 사건 검색과 경험 통합을 위한 에이전트별 매개변수 메모리를 결합한 종단적 메모리 프레임워크인 LifeMem을 제안합니다. 세 가지 LLM을 대상으로 Understanding Society 데이터셋에서 수행한 실험 결과, LifeMem은 응답 분포, 전체 및 집단 내 다양성, 생애 단계에 걸친 개인 내 응답 변화 패턴 측면에서 인간 데이터와의 정렬(alignment)을 향상시키는 것으로 나타났습니다. 이러한 결과는 더욱 신뢰할 수 있고 동적으로 진화하는 사회적 에이전트를 구축하는 데 있어 종단적 생애 사건 메모리가 갖는 가치를 강조합니다.
적절성을 가정하지 않고 검증하기: 창발적 네트워크 구조에 대한 생성적 사회 시뮬레이터 보정
Testing, not presuming, adequacy: calibrating generative social simulators against emergent network structure
생성적 사회 시뮬레이터의 검증은 종종 표면 타당도에서 그친다. 창발적 �etwork 구조를 기술적으로만 비교할 뿐, 매개변수 불확실성을 정량화하거나 적절성(adequacy)을 검사하지 않는다. 우리는 amortized 사후 추정, 합성 식별가능성(identifiability) 평가, 표본 크기를 맞춘 적절성 검사(사전-예측 도달 가능성 및 통계량별 사후-예측 국소화), 진단 기반 수정, 통계량 홀드아웃 감사를 결합한 적절성 인식 보정 프로토콜을 제시한다. 채널×거주지 네 셀로 나뉜 실제 중고 명품 재판매 시장에서 이를 시연한다. 각 셀은 구매자-브랜드 이분 네트워크이며, 언어 모델로 오프라인에서 한 번 수집한 페르소나 프로필로 구축한 순방향 모델을 사용한다. 행동 매개변수는 네 셀 모두에서 복원 가능하나, 한 매개변수에 대해서는 보정이 근사적이고 과신(overconfident)하다. 관측 요약 통계는 모든 셀에서 시뮬레이터의 도달 가능성 기준 밖에 있으며, 구매 등급(tier) 평균이 전반적인 불일치이다. 수정은 네 셀 중 두 셀에서 value-block 기준을 만족하지만 적절성을 회복하지는 못하고, 홀드아웃 감사는 이전 진단이 포착하지 못한 구매자 폭(buyer-breadth) 분산 불일치를 드러낸다. 프로필 출처 ablation 결과, 언어 모델 프로필은 네 셀 모두에서 단순 규칙 기준선을 능가하지만, 카테고리 내 브랜드 재라벨링은 일관된 성능 저하를 일으키지 않는다. 따라서 프로필은 부분적으로 검증된 입력이며 그 가치는 브랜드 정체성이 아니라 구조에 있다. 인과적 주장은 하지 않고, 에이전트 상호작용이나 구매자 폭 메커니즘 없이 독립 집계(independent-aggregation)만으로는 시장의 구매 등급 수준, 상위 브랜드 집중, 커뮤니티 구조, 구매자 폭 이질성을 동시에 재현할 수 없다고 결론한다.
LLM 사회 시뮬레이터 감사를 위한 이유 매개 행동 모델
Reason-Mediated Behavioral Models for Auditing LLM Social Simulators
대규모 언어 모델(LLM)은 합성 설문 응답자를 포함하여 사회 시뮬레이터로 점점 더 많이 사용되고 있다. 대부분의 평가는 시뮬레이션 결과가 인간의 결과와 유사한지를 묻는다. 우리는 이것이 필요하지만 너무 약하다고 주장한다. 시뮬레이터는 잘못된 근거 유래 이유 패턴을 사용하면서도 최종 답변은 일치시킬 수 있기 때문이다. 우리는 각 응답자가 세 가지 제품 컨셉을 평가하고 서술형 근거를 작성한 94명 규모의 선크림 컨셉 테스트를 통해 이 문제를 연구한다. 우리는 이러한 근거를 부호가 있는 이유 상태 $Z$로 매핑하며, 양의 부호는 채택을 지지하고 음의 부호는 이를 막는다. 이는 실용적인 감사를 제공한다. 응답자 기술자 $D$, 카테고리 맥락 $K$, 컨셉 처치 $X$를 고정한 채, 인간의 근거 유래 이유가 행동 $Y$ 예측에 도움이 되는지, 그리고 LLM이 인간의 근거나 결과를 보지 않고도 동일한 이유 상태를 시뮬레이션할 수 있는지를 묻는다. 인간의 근거 유래 이유는 구매 의향의 홀드아웃 예측을 상당히 개선한다. LLM이 시뮬레이션한 이유는 더 취약하다. 종종 그럴듯하게 들리지만, 응답자의 수용 또는 거부 경로를 복원하기보다는 컨셉 보드(concept board)를 반복하는 경우가 많다. 본 논문은 사회 시뮬레이터를 위한 평가 프레임워크를 기여한다. 이유 상태는 그 자체로 자연적 인과 효과를 식별하지는 않지만, 시뮬레이터가 진술한 이유가 인간의 증거와 일치하는지에 대한 해석 가능한 검증을 제공한다.
Will Scaling Improve Social Simulation with LLMs?
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Project Page: https://lululu896.github.io/Agent-Sociodrama