SafeGene: 전이 가능한 안전성 정렬을 위한 재사용 가능한 어댑터
SafeGene: Reusable Adapters for Transferable Safety Alignment
오픈 가중치 대규모 언어 모델(LLM)은 점점 더 맞춤형 어시스턴트로 미세조정되고 있으나, 다운스트림 미세조정은 안전성 정렬을 약화시키고 모델을 악의적인 프롬프트에 더 취약하게 만들 수 있으며, 이는 학습 데이터가 의도적으로 유해하지 않은 경우에도 발생한다. 이로 인해 대상 모델이 새로운 태스크 데이터나 사용자 상호작용으로 반복적으로 업데이트될 때마다 안전성 복구 문제가 되풀이된다. 우리는 아키텍처 호환 모델 패밀리 내에서 태스크 간 재사용을 위해 설계된 재사용 가능한 안전성 어댑터 모듈인 SafeGene을 제안한다. SafeGene은 안전성 복구를 모델별 수리 단계로 처리하는 대신, 안전성 능력을 태스크별 업데이트로부터 분리된 독립적이고 재사용 가능한 어댑터 표현으로 다룬다. 이 표현은 정렬된 모델과 저하된 모델 간의 불일치로부터 획득되고, 데이터 인식 층 선택을 통해 태스크 전이 가능한 안전성 벡터로 정제되며, 퓨샷 층별 계수 재보정을 통해 각 다운스트림 태스크 적응 모델에 적용된다. 다수의 모델 패밀리, 다운스트림 태스크, 안전성 판정기에 걸친 실험에서 SafeGene이 적용된 모델은 다운스트림 성능을 유지하면서 유해 응답률을 감소시키고, 안전성-유용성 트레이드오프에서 대표적인 안전 적응 방법들을 능가하는 것으로 나타났다.