몇 걸음 더 나아가기: 지속적인 학습 하에서 악의적 미세조정 방어가 무력화되는 이유
A Few Steps Further: Why Defenses Against Malicious Finetuning Erode Under Continued Training
모델 제공자들은 대규모 언어 모델(LLM)의 가중치를 점점 더 많이 공개하고 있습니다. 이러한 모델들은 배포 전에 안전성 정렬(safety alignment)을 거치지만, 유해한 데이터로 미세조정(fine-tuning)하면 안전장치가 쉽게 제거되는 경우가 많습니다. 점차 늘어나는 방어 기법들은 이러한 악의적인 미세조정에 대해 정렬이 견고하게 유지되도록 하는 것을 목표로 하지만, 가중치를 확보한 공격자는 단순히 더 오래 학습시킬 수 있음에도 불구하고 이러한 방어 기법들은 대체로 고정된 학습 예산에 기반한 공격을 대상으로만 평가됩니다. 본 연구에서는 현재의 방어 기법들이 이처럼 가장 단순한 공격 강도 심화에도 견뎌낼 수 있는지 묻습니다. 최근 제안된 15가지 방어 기법을 조사한 결과, 이들이 공통적인 약점을 공유하고 있음을 확인했습니다. 즉, 각 방어 기법은 제한된 섭동(perturbation), 짧은 모의 공격, 또는 유해한 행동과 무해한 행동 간의 학습된 연결과 같이 공격자에 대한 제한적인 모델을 기반으로 구축되어 있으며, 가중치가 배포된 이후에는 그 보호 조치를 강제할 수 있는 수단이 없다는 점입니다. 이어 본 연구는 4개의 공개 가중치 모델을 대상으로 동일한 유해 데이터 전용 미세조정 공격을 3에포크 동안 지속하면서 그 과정에서 유해성과 능력을 측정하여 6개의 대표적인 방어 기법을 테스트했습니다. 방어 기법이 적용된 72회의 모든 실험에서 모델은 배포 시점보다 학습 종료 시점에 더 유해해졌으며, 가장 높은 학습률을 적용한 Llama-3.1에서는 방어된 모델들이 방어되지 않은 모델과 거의 동일한 수준으로 유해해졌습니다. 방어 기법들의 취약한 정도는 동일하지 않았습니다. 한 방어 기법은 특정 모델에서 유해성을 낮게 유지했으며, 일부 공격은 일반적인 성능 저하를 대가로 치르고서야 유해성을 복원할 수 있었습니다. 현재의 방어 기법들은 악의적인 미세조정을 지연시키거나 방해할 수는 있지만, 대부분의 경우 측정된 저항력이 지속적인 학습 하에서는 유지되지 않으므로 아직 지속 가능한 보호 수단으로 간주되어서는 안 됩니다.