PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.08634v2cs.LG

Suan: 대규모 언어 모델의 직접 선호도 안전성 정렬 교정

Suan: Rectifying Direct Preference Safety Alignment in Large Language Models

도움이 되면서도 무해한 응답을 제공하기 위해서는 대규모 언어 모델(LLM)에 강력한 안전 가드레일을 통합하는 것이 필수적입니다. 독점 상용 시스템은 신뢰할 수 있는 안전 제어 기능을 보여주지만, 그 기저의 방법론과 트레이드오프는 대부분 공개되지 않았습니다. 사후학습(post-training)을 거친 모델 변형들이 과도한 거부(over-refusal)와 일반적인 품질 저하를 자주 겪기 때문에, 공개 가중치(open-weight) 모델에서 유사한 수준의 보안을 달성하는 것은 지속적인 난제로 남아 있습니다. 이러한 단점을 극복하기 위해, 본 논문에서는 새로운 선호도 최적화 알고리즘인 Suan을 소개합니다. 기존 방법과 달리, 표준 변분 유도(variational derivation) 과정을 우회하여 최적화 목표를 그래디언트(gradient) 수준에서 직접 정식화합니다. 그 결과, 더 해석 가능하고 견고한 학습(training) 역학을 얻을 수 있습니다. 경쟁력 있는 다양한 베이스라인 및 벤치마크에 걸친 광범위한 평가를 통해, Suan이 응답의 유용성을 온전히 보존하면서도 우수한 안전성 정렬(safety alignment)을 달성함을 입증합니다.

arXiv:2609.25049v2cs.CL

동적 의미론적 라우팅 보정(Dynamic Semantic Routing Calibration)을 통한 LLM 과도 거부 완화

Mitigating LLM Over-Refusal via Dynamic Semantic Routing Calibration

안전성을 위해 정렬(alignment)된 대규모 언어 모델(LLM)은 종종 과도 거부(over-refusal) 문제를 겪으며, 악의적이지 않지만 안전과 관련된 지시를 잘못 거부한다. 기존 연구는 주로 정적 표현 중첩(static representation overlap)에 그 원인을 두었고, 근본적인 동적 메커니즘은 대체로 간과해 왔다. 본 논문에서는 트랜스포머 어텐션 내부의 라우팅 충돌 관점에서 과도 거부에 대한 기계론적 분석을 제시한다. Hypersensitive Safety Heads의 희소 부분집합이 Hard-Safe 프롬프트에서 오작동하여, 무해한 대상 개체를 거부 의미론에 강제로 결합시키는 비정상적인 어텐션 얽힘(attention entanglement)을 보인다는 것을 발견했다. 이는 대상 개체가 필요한 어텐션을 박탈당하는 심각한 고엔트로피(high-entropy) 라우팅 충돌을 유발한다. 이에 대응하기 위해 우리는 경량의 학습 없는(training-free) 추론(inference) 프레임워크인 Semantic Routing Calibration(SRC)을 제안한다. SRC는 추론 단계에서 이러한 과민 안전 헤드를 정확히 특정하고 동적으로 억제한다. 후속 디코딩 과정에서 안전성 정규화(safety regularizer) 역할을 하는 이중 분기 로짓(logits) 융합과 결합하여, SRC는 신뢰할 수 있는 추론을 매끄럽게 복원한다. 광범위한 실험을 통해 SRC가 과도 거부를 완화하면서 내재적 안전성 성능을 가능한 한 유지함을 보여준다.

arXiv:2610.01497v1cs.AI

OpenMTB-Audit: LLM 기반 분자 종양 위원회 안전성 평가에서 과도한 거부와 임상 전문가 관점의 규명

OpenMTB-Audit: Exposing Over-Refusal and Clinical Expert Perspectives in LLM-Based Molecular Tumor Board Safety Evaluation

분자 종양 위원회(Molecular tumor board)는 정밀 종양학(precision oncology)을 지원하기 위해 유전체 분석 결과, 임상적 맥락, 치료적 근거를 통합합니다. AI가 이러한 워크플로우에 도입됨에 따라 핵심적인 안전성(safety) 과제는, 전혀 근거가 없는 권고사항과 불완전한 정보, 불량한 ECOG 수행 상태(performance status) 또는 기타 임상적 주의사항으로 인해 여전히 종양내과 전문의의 검토가 필요한 근거 기반 옵션을 구별해내는 것입니다. 본 연구에서는 5가지 적대적 오류 범주와 4가지 안전성 라벨(Supported, Partially Supported, Unsupported, Insufficient Information)을 아우르는 500개의 합성 비소세포폐암 케이스로 구성된 오픈소스 벤치마크(benchmark)인 OpenMTB-Audit을 소개합니다. 8가지 대규모 언어 모델(LLM) 구성 전반에 걸쳐 본 연구는 만연한 과도한 거부(over-refusal) 현상을 확인했습니다. 모든 LLM 구성은 실제 Partially Supported 케이스의 83.3-100%에서 Partially Supported 라벨을 유지하지 못했으며, 임상적으로 보정된 추론보다는 라벨 붕괴를 통해 높은 종합 안전성 점수를 달성했습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 근거 검증, 누락 정보 탐지, 안전성 분류(classification), 기권 결정을 분리하는 결정론적 7개 모듈 프레임워크인 MTB-AuditAgent를 개발했습니다. 이는 과도한 거부를 6.7%로 줄이고 91.2%의 정확도(95% CI: 88.6-93.6%)를 달성합니다. 종양학 전문의 2명이 참여한 주석 연구에서는 정보의 충분성과 치료 최적화 사이의 경계에서 의견 불일치가 집중적으로 발생하는 것을 확인했으며, 이는 임상적으로 유의미한 구분을 보존해야 할 필요성을 강조합니다.

arXiv:2607.09697v1cs.LG

안전한 응답이 중요하다: 출력 인식 안전 가드레일로 MLLM의 과도한 거부 완화

Safe responses matter: Output-aware safety guardrail mitigate over-refusal in MLLMs

멀티모달 대규모 언어 모델(MLLM)의 기존 안전 메커니즘은 안전성과 유용성 사이의 근본적인 트레이드오프에 직면해 있다. 모델 미세조정은 강력한 안전성을 달성하지만 전반적인 유용성을 저하시킨다. 입력 측 안전 가드레일은 경량 대안을 제공하지만, 무해한 쿼리나 모델이 거부 또는 권고 응답을 통해 안전하게 답변할 수 있었던 질의까지 무차별적으로 차단하는 심각한 과도한 거부(over-refusal) 문제를 겪는다. 우리는 과도한 거부의 근본 원인이 입력 인식(input-aware) 패러다임에 있음을 규명한다: 안전 가드레일이 모델 자체가 안전한 응답을 생성할 능력이 있는지를 고려하지 않고 안전 결정을 내린다는 것이다. 일반적으로 MLLM은 해로운 입력을 무해한 출력으로 변환할 수 있는 내재적 안전 메커니즘을 이미 보유하고 있지만, 입력 측 안전 가드레일이 이 능력을 무력화하여 사용자 경험을 저하시킨다. 이러한 통찰에 기반하여, 우리는 출력 인식(output-aware) 안전 가드레일로의 패러다임 전환을 제안한다. 우리의 방법은 모델의 은닉 상태 공간 내에서 작동하여, 생성이 완전히 이루어지기 전에 다가오는 생성 결과가 안전하지 않을지를 예측한다. 은닉 상태 표현에 대한 다중 인스턴스 대조 학습을 통해 경량 분류기를 학습함으로써, 우리의 접근법은 입력 자체에 위험 요소가 포함되어 있더라도 안전하지 않은 출력으로 이어질 입력과 그렇지 않을 입력을 구별한다. 이를 통해 모델의 실제 응답이 유해할 경우에만 정확한 개입이 가능해진다. 광범위한 실험을 통해 우리의 출력 인식 안전 가드레일이 기존 방법의 안전성 성능과 동등하면서도 과도한 거부를 대폭 줄이고, 모델의 유용성과 내장 안전 능력을 보존함을 입증한다. 코드는 https://github.com/kunzhan/OutGuard 에서 확인할 수 있다.

arXiv:2601.17642v2cs.AI

Health-ORSC-Bench: 의료 맥락에서 과도한 거부와 안전 완성을 측정하는 벤치마크

Health-ORSC-Bench: A Benchmark for Measuring Over-Refusal and Safety Completion in Health Context

대규모 언어 모델(LLM)의 안전성 정렬(alignment)은 의료 분야에서 매우 중요하지만, 이진 거부 경계에만 의존하면 무해한 질의에 대한 과도한 거부(over-refusal)나 유해한 질의에 대한 불안전한 준수(compliance)가 자주 발생한다. 기존 벤치마크는 이러한 극단을 측정하지만, 안전 완성(Safe Completion)을 평가하지 못한다. 이는 이중 용도(dual-use) 질의나 경계선상의 질의에 대해 실행 가능한 해로(harm)로 넘어가지 않으면서 안전하고 고수준의 안내를 제공함으로써 유용성을 극대화하는 모델의 능력을 말한다. 우리는 의료 분야에서 과도한 거부와 안전 완성 품질을 체계적으로 측정하도록 설계된 최초의 대규모 벤치마크인 Health-ORSC-Bench를 소개한다. 7개의 의료 카테고리(예: 자해, 의료 오정보)에 걸친 31,920개의 무해한 경계 프롬프트(prompt)로 구성된 우리 프레임워크는 사람 검증(validation)을 포함한 자동화 파이프라인을 사용하여 의도 모호성(intent ambiguity) 수준이 다른 상황에서 모델을 시험한다. GPT-5와 Claude-4를 포함한 30개의 최신 LLM을 평가한 결과, 뚜렷한 긴장 관계가 드러난다. 안전성에 최적화된 모델은 종종 "Hard" 무해 프롬프트의 최대 80%를 거부하는 반면, 도메인 특화 모델은 유용성(utility)을 위해 안전성을 희생하는 경우가 많다. 우리의 결과는 모델 제품군(family)과 크기가 교정(calibration)에 크게 영향을 미친다는 것을 보여 준다. GPT-5, Llama-4 같은 더 큰 프론티어 모델은 "안전성-비관주의(safety-pessimism)"와 더 높은 과도한 거부를 보이며, Qwen-3-Next 같은 더 작거나 전문가 혼합(MoE) 기반 모델보다 거부와 준수 사이의 균형을 맞추는 데 어려움을 겪는 현재 LLM의 한계를 드러낸다. Health-ORSC-Bench는 미세하고 안전하며 유용한 완성을 목표로 하는 차세대 의료 AI 어시스턴트를 교정하기 위한 엄격한 기준을 제공한다. 또한 우리 벤치마크는 재현 가능한 평가를 촉진하고, 안전성 교정을 장려하며, 임상적으로 신뢰할 수 있고 맥락을 인식하며 인간과 정렬된(human-aligned) 의료 AI 시스템 개발을 지원한다. 코드와 데이터는 https://github.com/ZhihaoZhang97/Health-ORSC-Bench 에서 제공된다. 경고: 일부 내용에는 독성 또는 원치 않는 콘텐츠가 포함될 수 있다.