RepSelect: 표현 선택성을 통한 강건한 LLM 언러닝
RepSelect: Robust LLM Unlearning via Representation Selectivity
대규모 언어 모델(LLM)이 일반적인 능력을 희생하지 않으면서 특정 지식과 가치를 깊이 잊게 하는 것은 언러닝(unlearning)의 핵심 과제로 남아 있다. 그러나 현재 방법들은 미세조정이나 퓨샷(few-shot) 프롬프팅에 의해 쉽게 되돌릴 수 있어, 그들의 망각이 얕기만 함을 시사한다. 우리는 근본 원인을 밝혀낸다. 기존 방법들은 유지 집합(retain set)과 미세조정 공격자가 복원하는 부분공간(subspace) 모두와 공유되는 표현을 대상으로 삼아, 언러닝이 일반 능력에 혼란을 주면서도 쉽게 되돌릴 수 있게 만든다. 우리는 RepSelect(Representation Selectivity)를 제안한다. 이 방법은 매 업데이트 전에 가중치 그래디언트의 상위 주성분(principal components)을 붕괴시켜 망각 집합(forget set) 특이적 표현을 분리하며, 일반 능력은 그대로 유지하면서 미세조정이 복원할 수 있는 것을 제한한다. 우리는 생물학적 위험(biohazardous) 지식과 학대적 성향(abusive tendencies)이라는 두 가지 망각 카테고리, 그리고 밀집(dense) 및 전문가 혼합(MoE) 아키텍처를 아우르는 네 가지 모델 계열(Llama 3, Qwen 3.5, Gemma 4 E4B, DeepSeek V2 Lite)에 대해 평가한다. 다섯 가지 인기 기준선(GradDiff, NPO, SimNPO, RMU, UNDIAL)과 비교할 때, RepSelect는 가장 강한 기준선 대비 재학습(post-relearning) 후 답변 정확도를 4~50배 더 크게 낮추며, 퓨샷 프롬프팅 공격에 거의 완벽하게 견고하다. 따라서 선택적 표현을 겨냥하는 것은 깊고 강건한 LLM 망각을 향한 중요한 단계이다.