가중치 공개 LLM 미세조정 방어 기법의 단순 공격 취약성
Open-Weight LLM Fine-Tuning Defenses are Susceptible to Simple Attacks
가중치 공개(open-weight) 대규모 언어 모델(LLM)을 보호하기 위한 최근의 방어 기법들은 적대적 사용을 방지하는 것을 목표로 한다. 이러한 방어 기법의 기저에는 유해한 새로운 동작이 모델 탈옥(jailbreaking)을 통해 유도되기보다는 미세조정(fine-tuning)을 통해 학습된다는 가정이 깔려 있다. 그러나 사전학습된 LLM은 이미 여러 영역에 걸쳐 상당한 유해 지식을 인코딩하고 있어 중요한 의문을 제기한다. 공격자가 미세조정을 전혀 거치지 않고도 보호된 모델을 탈옥시켜 유해한 사용을 달성할 수 있는가? 본 논문에서는 가중치 공개 보호 장치가 잘 알려져 있음에도 불구하고 이러한 방어 기법을 대상으로 체계적으로 평가되지 않았던 더 단순한 전략들에 취약함을 보여준다. 구체적으로, 그래디언트(gradient) 기반 최적화에 의존하지 않는 두 가지 저비용 공격인 제거(abliteration)와 프리필링(prefilling)을 평가한다. 세 가지 유해성 평가 벤치마크(BeaverTails, HarmBench, AdvBench)에 걸쳐 이러한 공격들은 보호된 가중치 공개 모델에 대한 공격 성공률을 10% 미만에서 16%~96% 범위로 증가시킨다. 이러한 취약점을 완화하기 위해 저자들은 학습 과정에 제거 기반 목적 함수를 결합한 제거 저항 튜닝(ART, abliteration-resistant tuning)을 도입한다. ART는 기존 방어 기법 위에 중첩 적용될 수 있으며, 제거, 프리필링 및 이들의 결합 공격 성공률을 10%~20% 감소시킨다. 이러한 결과는 가중치 공개 모델의 공격 표면이 이전에 규명된 것보다 더 넓으며, 보호 방어 기법에 대한 평가가 적대적 미세조정을 넘어 더 다양한 공격 전략을 포함해야 함을 시사한다.