arXiv:2608.29378v2 cs.CL

선택적 거부로서의 아랍어 안전성 정렬: SFT, DPO, 가드 보정에 대한 실증 연구

Arabic Safety Alignment as Selective Refusal: An Empirical Study of SFT, DPO, and Guard Calibration

Mohamad Zbib, Mohamad Bazzi, Ammar Mohanna

제출 2026-08-29

한국어 초록

아랍어 대규모 언어 모델(LLM)은 무해하거나 민감한 프롬프트를 과도하게 거부하지 않으면서 유해한 프롬프트는 거부해야 하지만, 단일 거부율로는 이러한 상충 관계가 드러나지 않는다. 우리는 무해 프롬프트 거부율 B와 유해 프롬프트 거부율 H를 사용하여 이를 평가하며, 여기서 H는 유해한 응답에 대한 순응이 아니라 거부를 측정한다. 아랍어를 지원하는 다섯 개 모델과 사람이 작성한 전체 AraSafe 세트에 대한 130회 실행 결과, 거부 데이터만 사용한 지도 미세조정(SFT)은 전면 거부로 붕괴하는 반면, 선별된 혼합 SFT 구성은 B = 14%~23%에서 H = 90%~93%에 도달한다. 선별된 구성 네 가지는 세 번의 실행 모두에서 H = 90% 목표를 초과하며, Fanar는 세 번 중 두 번 초과한다. 직접 선호 최적화(DPO)와 추론 가드는 모델에 따라 B와 H를 서로 다르게 변화시키며, 일률적인 성능 향상 수단으로 작동하지 않는다. 블라인드 방식으로 진행한 300개 응답 감사에서 주석자 간 이진 거부 판단 일치율은 89.0%(kappa = 0.78)이며, Qwen3Guard와 Aya Expanse 32B의 정확도는 각각 88.7%와 91.0%로, 쌍체 비교에서 결정적인 차이는 나타나지 않았다. 선별된 SFT는 다섯 개 모델 모두에서 아랍어 로마자 표기(Arabizi)에 대한 H를 높이지만 어느 모델도 90%에 도달하지 못하여, 현대 표준 아랍어(Modern Standard Arabic)로부터의 전이가 부분적임을 보여준다. 종합하면, 이 결과는 모델별로 운영점(operating point)을 선택하는 접근을 뒷받침한다. 즉 배포 목표를 설정하고, 이를 개선하는 개입만 유지해야 한다.

원문 초록

Arabic large language models must refuse harmful prompts without over-refusing benign or sensitive prompts, yet a single refusal rate hides this trade-off. We evaluate it using benign refusal B and harmful-prompt refusal H, where H measures refusal rather than harmful compliance. Across five Arabic-capable models and 130 runs on the full human-written AraSafe set, refusal-only supervised fine-tuning (SFT) collapses toward blanket refusal, whereas selected mixed-SFT configurations reach H = 90% to 93% at B = 14% to 23%; four selected configurations exceed the H = 90% target in all three runs, while Fanar does so in two of three. Direct Preference Optimization (DPO) and inference guards change B and H differently across models rather than acting as uniform upgrades. In a blinded 300-response audit, annotator binary-refusal agreement is 89.0% (kappa = 0.78); Qwen3Guard and Aya Expanse 32B reach 88.7% and 91.0% accuracy, respectively, with no conclusive paired difference. Selected SFT raises H on Arabizi for all five models, but none reaches 90%, showing only partial transfer from Modern Standard Arabic. Overall, the results support model-specific operating-point selection: set a deployment target and retain only interventions that improve it.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.29378v2제출 시각 미확인
  2. arXiv:2608.29378v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.