사실에서 페르소나까지: 전문가 혼합을 이용한 대규모 언어 모델의 해석 가능한 역할 언러닝
From Facts to Personas: Interpretable Role Unlearning in LLMs via Mixture-of-Experts
한국어 초록
대규모 언어 모델(LLM)은 여러 역할이 등장하는 대화와 페르소나 시뮬레이션에 널리 쓰인다. 그러나 역할마다 다른 언어적·행동적 양상을 잘 모방하는 능력은 개인정보 위험을 낳고 사회적 편향을 강화하거나, 안전하지 않거나 통제하기 어려운 출력을 만들 수 있다. 이를 해결하기 위해 특정 역할과 관련된 말투 및 지식을 선택적으로 잊게 하면서 나머지 역할의 언어 능력과 행동을 보존하는 역할극 언러닝 과제를 도입한다. 기존 언러닝 과제가 사실 정보의 제거에 집중한 데 비해, 이 과제는 페르소나 고유의 특성도 잊도록 요구해 모델의 출력을 더 세밀하게 제어한다. 본 연구는 역할들을 더 독립적인 전문가 부분공간에 매핑해 역할 분리와 구조적 해석 가능성을 개선하는 전문가 혼합 프레임워크 RoleMoE를 제안한다. 역할마다 고유한 특징을 더 잘 구분하기 위해 상호 보완적인 손실 두 가지를 적용한다. 특화 손실은 역할별로 서로 다른 전문가 분포를 사용하도록 유도하고, 요인 분리 손실은 전문가마다 서로 다른 역량 부분공간을 갖도록 한다. 이 분리 구조 덕분에 언러닝을 대상 역할의 전문가에 선택적으로 집중할 수 있다. 평가용 RoleBench-Unlearn도 제안한다. 여러 백본 LLM의 실험에서 RoleMoE는 역할을 정밀하고 통제 가능하게 잊게 하면서, 대상이 아닌 역할의 언어 품질, 지식, 페르소나 일관성을 더 잘 보존했다. 코드와 데이터셋은 https://github.com/mbzuai-nlp/ROLEMOE 에서 확인할 수 있다.
원문 초록
LLMs are widely adopted in multi-role dialogue and persona simulation. However, their strong ability to imitate role-specific linguistic and behavioral patterns can introduce privacy risks, reinforce social biases, and lead to unsafe or uncontrollable outputs. To address these issues, we introduce the Role-playing Unlearning task, which aims to selectively forget the style and knowledge associated with target roles while preserving the language ability and behaviors of the remaining roles. Unlike prior unlearning tasks that focus solely on removing factual information, our task additionally requires forgetting persona-specific characteristics, making the control over model generation more fine-grained. We propose RoleMoE, a Mixture-of-Experts framework that maps different roles to more independent expert subspaces, improving role separation and structural interpretability. To further distinguish role-specific features, RoleMoE incorporates two complementary losses: a specialization loss that drives roles to adopt distinct expert distributions, and a disentanglement loss that encourages experts to develop distinct capability subspaces. This decomposed structure enables role unlearning to focus selectively on target-role experts. We finally propose RoleBench-Unlearn for evaluation, and experiments on multiple backbone LLMs show that RoleMoE enables precise and controllable role forgetting, while better preserving the linguistic quality, knowledge, and persona consistency of non-target roles. All code and datasets are publicly available at: https://github.com/mbzuai-nlp/ROLEMOE.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.19393v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.