동적 의미론적 라우팅 보정(Dynamic Semantic Routing Calibration)을 통한 LLM 과도 거부 완화
Mitigating LLM Over-Refusal via Dynamic Semantic Routing Calibration
한국어 초록
안전성을 위해 정렬(alignment)된 대규모 언어 모델(LLM)은 종종 과도 거부(over-refusal) 문제를 겪으며, 악의적이지 않지만 안전과 관련된 지시를 잘못 거부한다. 기존 연구는 주로 정적 표현 중첩(static representation overlap)에 그 원인을 두었고, 근본적인 동적 메커니즘은 대체로 간과해 왔다. 본 논문에서는 트랜스포머 어텐션 내부의 라우팅 충돌 관점에서 과도 거부에 대한 기계론적 분석을 제시한다. Hypersensitive Safety Heads의 희소 부분집합이 Hard-Safe 프롬프트에서 오작동하여, 무해한 대상 개체를 거부 의미론에 강제로 결합시키는 비정상적인 어텐션 얽힘(attention entanglement)을 보인다는 것을 발견했다. 이는 대상 개체가 필요한 어텐션을 박탈당하는 심각한 고엔트로피(high-entropy) 라우팅 충돌을 유발한다. 이에 대응하기 위해 우리는 경량의 학습 없는(training-free) 추론(inference) 프레임워크인 Semantic Routing Calibration(SRC)을 제안한다. SRC는 추론 단계에서 이러한 과민 안전 헤드를 정확히 특정하고 동적으로 억제한다. 후속 디코딩 과정에서 안전성 정규화(safety regularizer) 역할을 하는 이중 분기 로짓(logits) 융합과 결합하여, SRC는 신뢰할 수 있는 추론을 매끄럽게 복원한다. 광범위한 실험을 통해 SRC가 과도 거부를 완화하면서 내재적 안전성 성능을 가능한 한 유지함을 보여준다.
원문 초록
Large language models (LLMs) aligned for safety often suffer from over-refusal, incorrectly rejecting benign yet safety-related instructions. Prior studies primarily attribute this to static representation overlap, largely overlooking the underlying dynamic mechanisms. In this paper, we present the mechanistic analysis of over-refusal through the lens of internal routing conflicts within transformer attention. We discover that a sparse subset of Hypersensitive Safety Heads misfires on Hard-Safe prompts, exhibiting abnormal attention entanglement that forcefully binds harmless target entities to refusal semantics. This triggers a severe, high-entropy routing conflict that deprives target entities of necessary attention. To counteract this, we propose Semantic Routing Calibration (SRC), a lightweight, training-free inference framework. SRC precisely localizes and dynamically suppresses these hypersensitive safety heads at the inference stage. Coupled with a dual-branch logits fusion that acts as a safety regularizer during subsequent decoding, SRC seamlessly restores trustworthy reasoning. Extensive experiments demonstrate that SRC alleviates over-refusal, with intrinsic safety performance preserved as much as feasible.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.25049v2
- arXiv:2609.25049v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Suan: 대규모 언어 모델의 직접 선호도 안전성 정렬 교정
Suan: Rectifying Direct Preference Safety Alignment in Large Language Models
도움이 되면서도 무해한 응답을 제공하기 위해서는 대규모 언어 모델(LLM)에 강력한 안전 가드레일을 통합하는 것이 필수적입니다. 독점 상용 시스템은 신뢰할 수 있는 안전 제어 기능을 보여주지만, 그 기저의 방법론과 트레이드오프는 대부분 공개되지 않았습니다. 사후학습(post-training)을 거친 모델 변형들이 과도한 거부(over-refusal)와 일반적인 품질 저하를 자주 겪기 때문에, 공개 가중치(open-weight) 모델에서 유사한 수준의 보안을 달성하는 것은 지속적인 난제로 남아 있습니다. 이러한 단점을 극복하기 위해, 본 논문에서는 새로운 선호도 최적화 알고리즘인 Suan을 소개합니다. 기존 방법과 달리, 표준 변분 유도(variational derivation) 과정을 우회하여 최적화 목표를 그래디언트(gradient) 수준에서 직접 정식화합니다. 그 결과, 더 해석 가능하고 견고한 학습(training) 역학을 얻을 수 있습니다. 경쟁력 있는 다양한 베이스라인 및 벤치마크에 걸친 광범위한 평가를 통해, Suan이 응답의 유용성을 온전히 보존하면서도 우수한 안전성 정렬(safety alignment)을 달성함을 입증합니다.
Health-ORSC-Bench: 의료 맥락에서 과도한 거부와 안전 완성을 측정하는 벤치마크
Health-ORSC-Bench: A Benchmark for Measuring Over-Refusal and Safety Completion in Health Context
대규모 언어 모델(LLM)의 안전성 정렬(alignment)은 의료 분야에서 매우 중요하지만, 이진 거부 경계에만 의존하면 무해한 질의에 대한 과도한 거부(over-refusal)나 유해한 질의에 대한 불안전한 준수(compliance)가 자주 발생한다. 기존 벤치마크는 이러한 극단을 측정하지만, 안전 완성(Safe Completion)을 평가하지 못한다. 이는 이중 용도(dual-use) 질의나 경계선상의 질의에 대해 실행 가능한 해로(harm)로 넘어가지 않으면서 안전하고 고수준의 안내를 제공함으로써 유용성을 극대화하는 모델의 능력을 말한다. 우리는 의료 분야에서 과도한 거부와 안전 완성 품질을 체계적으로 측정하도록 설계된 최초의 대규모 벤치마크인 Health-ORSC-Bench를 소개한다. 7개의 의료 카테고리(예: 자해, 의료 오정보)에 걸친 31,920개의 무해한 경계 프롬프트(prompt)로 구성된 우리 프레임워크는 사람 검증(validation)을 포함한 자동화 파이프라인을 사용하여 의도 모호성(intent ambiguity) 수준이 다른 상황에서 모델을 시험한다. GPT-5와 Claude-4를 포함한 30개의 최신 LLM을 평가한 결과, 뚜렷한 긴장 관계가 드러난다. 안전성에 최적화된 모델은 종종 "Hard" 무해 프롬프트의 최대 80%를 거부하는 반면, 도메인 특화 모델은 유용성(utility)을 위해 안전성을 희생하는 경우가 많다. 우리의 결과는 모델 제품군(family)과 크기가 교정(calibration)에 크게 영향을 미친다는 것을 보여 준다. GPT-5, Llama-4 같은 더 큰 프론티어 모델은 "안전성-비관주의(safety-pessimism)"와 더 높은 과도한 거부를 보이며, Qwen-3-Next 같은 더 작거나 전문가 혼합(MoE) 기반 모델보다 거부와 준수 사이의 균형을 맞추는 데 어려움을 겪는 현재 LLM의 한계를 드러낸다. Health-ORSC-Bench는 미세하고 안전하며 유용한 완성을 목표로 하는 차세대 의료 AI 어시스턴트를 교정하기 위한 엄격한 기준을 제공한다. 또한 우리 벤치마크는 재현 가능한 평가를 촉진하고, 안전성 교정을 장려하며, 임상적으로 신뢰할 수 있고 맥락을 인식하며 인간과 정렬된(human-aligned) 의료 AI 시스템 개발을 지원한다. 코드와 데이터는 https://github.com/ZhihaoZhang97/Health-ORSC-Bench 에서 제공된다. 경고: 일부 내용에는 독성 또는 원치 않는 콘텐츠가 포함될 수 있다.
BitBypass: A New Direction in Jailbreaking Aligned Large Language Models with Bitstream Camouflage
The Devil behind the mask: An emergent safety vulnerability of Diffusion LLMs
Safe Pruning LoRA: Robust Distance-Guided Pruning for Safety Alignment in Adaptation of LLMs
Probing the Robustness of Large Language Models Safety to Latent Perturbations
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
33 pages, 13 figures, accepted to the EMNLP 2026 Main Conference