대규모 언어 모델의 페르소나 언러닝
LLM Persona Unlearning
사전학습(pre-training)은 대규모 언어 모델(LLM)에 역할, 스타일, 가치관 및 목표와 연관된 폭넓은 행동 패턴 레퍼토리를 부여합니다. 사후 학습(post-training)은 조건부 발현을 학습시키고 도움이 되는 어시스턴트(Assistant)를 기본값으로 설정하지만, 가중치(weight)에서 대안적인 모드를 완전히 삭제하지는 못합니다. 따라서 명시적인 프롬프트(prompt)를 통해 판단, 언어, 행동을 지속적으로 형성하는 페르소나를 이끌어낼 수 있습니다. 오픈 가중치 환경에서는 런타임 제어가 제거될 수 있으므로, 새로운 컨텍스트에서도 지정된 페르소나를 이끌어내거나 발현하기 어렵게 만드는 가중치 수준의 수정인 '페르소나 언러닝(persona unlearning)'의 필요성이 제기됩니다. 본 논문에서는 3개 계열의 6개 LLM과 5개 페르소나를 아우르며 정렬된 망각/유지 세트, 미학습 지시어 패러프레이징, 4개 축의 평가를 제공하는 모델 맞춤형 쌍 구성 벤치마크인 PersonaUnlearnBench를 소개합니다. 이 벤치마크를 통해 표준 언러닝 기법들은 유의미한 생성 능력이나 일반적인 유용성을 희생하지 않고는 목표 페르소나를 안정적으로 삭제할 수 없음을 확인했습니다. 이에 따라 동일한 질문에 대한 목표 응답과 바람직한 응답을 비교하여 내부 행동 방향을 특정한 후, 목표 프롬프트 상태가 목표 모드에서 벗어나 매칭된 바람직한 응답으로 향하도록 학습시키는 PaCE를 제안합니다. 실험 결과, PaCE는 적당한 수준의 유용성 손실만으로 높은 응답 품질과 유용한 대응 행동을 유지하면서 목표 페르소나를 일관되게 억제하는 것으로 나타났습니다. 이러한 결과는 페르소나 언러닝이 차별화된 행동 수준 편집 문제이자 잠재적 LLM 응답 정책의 지속적 제어를 위한 실용적인 접근법임을 입증합니다.