순차적 미세 조정 중 안전성 보존: 리플레이에 대한 요인적·기하학적 분석
Preserving Safety During Sequential Fine-Tuning: A Factorial and Geometric Analysis of Replay
한국어 초록
무해한 미세 조정도 대규모 언어 모델의 안전성 정렬을 약화시킬 수 있으며, 순차적 적응은 이러한 위험을 크게 증폭시킨다. 기존 연구는 유해 프롬프트에 대한 거절 예시와 무해한 응답 수행 예시를 리플레이하여 이러한 약화를 완화하였고, 다른 연구는 대신 증류를 통해 기반 모델의 로짓을 맞추는 방식을 사용하였다. 그러나 순차적 적응 과정에서 지도 노출과 증류가 안전성 행동 및 거절 기하 구조에 각각 어떤 기여를 하는지는 여전히 불분명하다. 본 연구는 이 두 전략을 분리하여, 다양한 과제 순서(코드 생성, 독일어 요약, 과학 질의응답)에 걸쳐 Mistral-7B와 Llama-3-8B를 순차적으로 LoRA 미세 조정하는 동안의 행동적·기하학적 효과를 분석한다. 행동 측면에서, 지도 리플레이 노출은 Mistral에서 HarmBench 공격 성공률(ASR)을 기반 모델보다 평균 51.1포인트 낮추어 가장 큰 감소를 보이지만, OR-Bench-hard에서 과잉 거절이 기반 모델보다 평균 53.4포인트 증가하는 상당한 비용이 따른다. 지도 리플레이 손실이 전혀 없는 로짓 증류는 이 비용의 일부만으로 안전성 약화를 대체로 방지한다. 평균 ASR이 5.4포인트 감소하는 동안 과잉 거절은 5.1포인트 증가하는 데 그친다. Llama에서도 두 전략 사이에 동일한 비대칭이 나타난다. 노출과 증류를 결합하면 노출로 인한 과잉 거절이 완화되면서 후속 과제 점수는 대체로 영향을 받지 않는다. 기하학적으로는 두 모델이 서로 다른 양상을 보인다. Mistral에서는 증류가 노출보다 기반 모델의 거절 방향을 더 가깝게 보존하는 반면, Llama에서는 추출된 거절 방향을 제거(ablation)하더라도 노출 이후의 거절 행동이 대부분 유지된다. 모델 간의 이러한 불일치는 기반 모델의 거절 방향을 보존하는 것이 행동적 안전성을 나타내는 신뢰할 만한 대리 지표가 아님을 시사한다.
원문 초록
Benign fine-tuning can erode safety alignment in large language models, and sequential adaptation substantially compounds this risk. Prior work mitigates this erosion by replaying harmful-prompt refusals and benign-compliance examples, while other work instead matches base-model logits via distillation. However, the individual contributions of supervised exposure and distillation to safety behavior and refusal geometry during sequential adaptation remain unclear. We factor these two strategies apart and study their behavioral and geometric effects during sequential LoRA fine-tuning of Mistral-7B and Llama-3-8B across diverse task sequences (code generation, German-language summarization, and science question-answering). Behaviorally, supervised replay exposure yields the largest reduction in HarmBench attack success rate (ASR) on Mistral, averaging 51.1 points below base, but at a substantial over-refusal cost, averaging 53.4 points above base on OR-Bench-hard. Logit distillation, without any supervised replay loss, largely prevents safety erosion at a fraction of this cost: an average 5.4-point ASR reduction against only a 5.1-point rise in over-refusal. Llama shows the same asymmetry between the two strategies. Combining exposure and distillation moderates exposure's over-refusal while leaving downstream task scores largely unaffected. Geometrically, the two models diverge: on Mistral, distillation preserves the base refusal direction more closely than exposure does, whereas on Llama, refusal behavior after exposure largely survives ablation of the extracted refusal direction. This dissociation between models indicates that preserving the base refusal direction is not a reliable proxy for behavioral safety.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2610.38001v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.