DNAlign: 대규모 언어 모델을 위한 동적 영공간 기반 안전 정렬
DNAlign: Dynamic Null-Space Safe Alignment for LLMs
대규모 언어 모델(LLM)의 안전하고 신뢰할 수 있는 배포를 보장하는 것은 여전히 근본적인 과제로 남아 있습니다. 기존의 안전성 정렬(safety alignment) 방식들은 높은 계산 비용을 초래하거나 모델의 핵심 지식을 의도치 않게 훼손하여 무해한 작업에서의 유창성과 사실적 정확도를 저하시킵니다. 이는 안전성과 유용성(utility) 사이의 지속적인 트레이드오프를 보여줍니다. 본 논문에서는 제어 이론적 최적화와 영공간 투영(null-space projection)을 통합한 경량 정렬 프레임워크인 DNAlign을 제안합니다. 제안된 프레임워크는 LLM을 동적 시스템으로 취급하여, 생성이 안전한 방향으로 유도되도록 제어 가능한 섭동(perturbation)을 도입합니다. 핵심 구성 요소인 투영 모듈은 이러한 섭동을 중립 은닉 상태에서 파생된 유해성 관련 부분공간으로 제한함으로써, 일반적인 지식과 응답 품질을 보존합니다. 인간 선호도 데이터로 학습된 가치 함수는 인간의 안전성 선호도에 부합하도록 제어 신호를 적응적으로 최적화합니다. 다양한 LLM 백본에 걸친 광범위한 평가는 본 프레임워크가 유창성, 일관성, 사실적 유용성을 유지하면서 유해한 출력을 일관되게 감소시킴을 입증합니다. 또한 생성 다양성을 희생하지 않으면서 이전 정렬 베이스라인 대비 우수한 종합적 성능을 달성합니다. 이러한 결과는 제안된 프레임워크가 안전한 LLM 정렬을 위한 효과적이고 실질적으로 배포 가능한 솔루션을 제공함을 보여줍니다. 코드는 https://anonymous.4open.science/r/DNAlign 에서 이용할 수 있습니다.