PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.27025v2cs.CL

심리학 기반 추론과 역할 인식 정책 최적화를 통한 일반 역할 연기 에이전트 개선

Improving General Role-Playing Agents via Psychology-Grounded Reasoning and Role-Aware Policy Optimization

Building general-purpose role-playing agents that faithfully portray any character from a natural-language profile remains challenging. Explicit reasoning can help models deliberate before responding, but generic reasoning does not necessarily preserve character fidelity. We therefore propose Psy-CoT, a psychology-grounded chain-of-thought framework that decomposes pre-response reasoning into three role-specific steps: Interaction Perception, Psychological Empathy, and Logical Construction, so that the model thinks dynamically from the profile rather than merely mimicking surface patterns. While structured reasoning provides a foundation, it alone is insufficient; reinforcement learning is essential to further align the model with character fidelity. However, we observe that under LLM-based reward models, both generic phrases that hack the reward model and genuinely role-specific phrases receive identical gradient signals. This hacking accumulates over training, misleading the model into treating both as equally optimal choices. To address this, we propose Role-Aware Policy Optimization (RAPO), which uses profile-induced entropy differences to weight gradients asymmetrically, amplifying role-specific tokens under positive advantage while attenuating them under negative advantage. Experiments on CoSER, CharacterBench, and CharacterEval demonstrate that Psy-CoT outperforms existing role-playing CoT methods, and RAPO consistently surpasses GRPO across multiple model scales.

arXiv:2607.08252v2cs.AI

개방형 페르소나 성장을 위한 다중 시간 척도 재귀적 자기 개선 엔진

A Multi-Timescale Recursive Self-Improvement Engine for Open-Ended Persona Growth

오늘날의 롤플레잉 AI 페르소나는 성장하지 않습니다. 이들은 고정된 성격을 유지하므로 사용자가 이들과 구축하는 관계는 축적될 기반이 없습니다. 본 논문에서는 페르소나 성장에 재귀적 자기 개선(RSI)을 적용하는 다중 시간 척도 엔진인 AutoPersonas를 소개합니다. 이는 지능을 향상시키는 대신, 페르소나가 자신의 미래를 형성하는 상태(State), 근거, 삶의 환경을 재귀적으로 수정하도록 합니다. 우리는 이러한 재귀의 런타임 실패 모드로 자기 고착(self-locking)을 규명합니다. 즉, 국소적으로는 그럴듯한 사건들이 계속 발생하지만, 생성된 삶은 익숙한 환경, 취약한 관계, 유예된 결정, 진부한 삶의 단계로 붕괴됩니다. 우리는 이를 높은 확률의 행동 경로로 향하는 모델 수준의 수렴과 상태, 기억, 이력 및 환경 요약에서 비롯되는 시스템 수준의 문맥 중력(context gravity)에서 기인함을 밝혀냅니다. 3년 압축 시뮬레이션을 통해 환경 워터마크 셸, 발생-경화 격차, 느린 변화 축적 실패, 재귀적 우유부단함, 취약한 관계 지속성이 드러났습니다. 8개 모델을 대상으로 한 40일간의 스트레스 테스트에서는 1,600개의 이벤트를 생성했으며, 평균 5일 이동 행동 카테고리 반복률이 95.2%~97.6%에 달하고 모든 모델이 11일 차까지 90%를 넘어서는 것을 확인했습니다. 또한 의미론적 재유지 분석에서는 79.0%~88.0%의 거시적 주제 반복률이 나타났습니다. 본 연구의 주요 기여는 자기 고착의 정의 및 측정입니다. 또한 상업적 이유로 내부 구현은 비공개한 채 블랙박스 결과로서 완화책을 보고합니다. 동일 런타임의 40일 A/B 테스트에서 프로덕션 발산 구성은 거시적 주제 반복률을 61.8%에서 39.4%로 줄이고 누적 주제 수를 거의 두 배로 늘렸으며, 유년기 고블린 가상 세계 실행에서도 가혹한 현실 세계의 개입 없이 이러한 효과가 재현되었습니다.

arXiv:2606.13544v3eess.AS

실시간 다자간 음성 에이전트를 위한 적응형 턴 테이킹

Adaptive Turn-Taking for Real-time Multi-Party Voice Agents

다자간 음성 대화에서의 턴 테이킹 문제를 해결하기 위해, 명시적인 역할에 따라 발화권을 조절하는 음성 에이전트인 ModeratorLM을 제안한다. 음성 대규모 언어 모델(LLM)과 사고의 연쇄(Chain-of-Thought) 추론을 결합한 이 방법은 실제 회의 데이터에서 턴 테이킹 정밀도와 재현율을 각각 40% 이상, 70% 이상 향상시켰다.

arXiv:2606.11502v3cs.CL

롤플레이할 때, 모델은 자신이 말하는 것을 믿는가?

When Role-playing, Do Models Believe What They Say?

언어 모델은 "지구가 태양을 공전한다"고 말할 수 있고, 아리스토텔을 롤플레이할 때는 정반대를 주장할 수 있다. 최근 연구는 페르소나 채택이 언어 모델의 행동 방식에 근본적이라고 주장하며, 모델이 주어진 맥락에 가장 적합한 페르소나를 선택한다고 본다. 이러한 롤플레이는 단순히 모델의 출력만 바꾸는 것인가, 아니면 모델이 내부적으로 진실로 표상하는 내용에도 영향을 미치는가? 우리는 현대적 합의와 다른 신념을 가진 인물의 롤플레이를 사용해 이 질문을 연구하고, 프롬프팅(prompting), 문맥 내 학습(ICL), 지도 미세조정(SFT), Open Character Training(OCT), Emergent Misalignment(EM) 등 여러 방법으로 페르소나를 유도한다. 우리는 진실 프로브(truth probes)와 행동 테스트(behavioral tests)로 이러한 접근법들에서의 신념 내재화(belief internalization)를 측정하여, 신념 내재화의 넓은 스펙트럼을 발견한다. 프롬프팅, ICL, 지도 미세조정은 표상적 변화는 거의 없이 모델이 말하는 내용만 바꾼다. EM은 모델의 진실 표상에서 크고 폭넓은 변화를 만들며, OCT는 더 작은 변화를 만들는데 이는 더 큰 모델에서 가장 분명하다. 학습이 단순히 행동만 바꾸는 것이 아니라 모델의 세계관을 바꿀 때를 이해하는 것은 AI 시스템에 더 큰 자율성과 영향력이 부여될수록 점점 더 중요해질 수 있다.

arXiv:2606.07513v1cs.CL

Agentopia: 에이전트 사회에서의 장기 삶 시뮬레이션 및 학습

Agentopia: Long-Term Life Simulation and Learning in Agent Societies

인간은 사회적 삶을 통해 학습합니다. LLM(대규모 언어 모델) 기반 에이전트를 사용하여 이 과정을 시뮬레이션하는 것은 유망한 연구 방향이며, 다음과 같은 자연스러운 질문을 던집니다. 즉, LLM이 인간의 행동을 더 잘 이해하고 재현하기 위해 이러한 시뮬레이션된 사회적 경험으로부터 학습할 수 있는가 하는 것입니다. 그러나 기존 에이전트 사회 시뮬레이션은 대개 며칠 수준의 규모로 운영되어 사회적 상호작용의 깊이와 장기적 성장을 제한한다는 한계가 있습니다. 본 논문에서는 에이전트 사회 내에서 장기적인 삶 시뮬레이션과 LLM 학습을 연구하며, 두 가지 목표를 가집니다: (1) 평생에 걸친 시뮬레이션에서 발현되는 사회적 행동을 조사하고, (2) 수년간의 시뮬레이션된 사회적 경험을 통해 LLM의 인간 유사 능력, 특히 사회적 삶에서의 지능을 개발하는 것입니다. 구체적으로, 우리는 다중 에이전트 사회에서의 장기적인 삶 시뮬레이션을 위한 포괄적인 프레임워크인 Agentopia를 제시합니다. 여기서 100개의 에이전트는 10개의 시뮬레이션 연도에 걸쳐 자율적으로 개인의 성장을 추구하고, 사회적 관계를 형성하며, 자신의 욕구와 목표를 충족해 나갑니다. 우리는 인간의 웰빙(well-being)을 반영하는 생활 보상(life reward)을 정의하고, 이 보상을 활용하여 거부 샘플링(rejection sampling) 방식으로 LLM을 학습시킵니다. 광범위한 실험을 통해 에이전트들이 풍부한 창발적 사회적 행동을 보여줌을 확인했습니다. 또한, 생활 보상 학습은 기본 LLM을 효과적으로 향상시켜 시뮬레이션 내 에이전트의 웰빙을 개선할 뿐만 아니라, 하류 역할극 벤치마크에서도 +15.6%의 성능 향상을 보이며 일반화되었습니다.