PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2601.15588v2cs.CL

YuFeng-XGuard: A Reasoning-Centric, Interpretable, and Flexible Guardrail Model for Large Language Models

YuFeng-XGuard는 대규모 언어 모델(LLM) 상호작용에서 다차원적 위험 인식을 수행하는 추론 중심(reasoning-centric) 가드레일 모델로, 불투명한 이진 판단 대신 명시적 위험 카테고리, 신뢰도 점수, 자연어 설명을 포함한 구조화된 위험 예측을 생성한다. 첫 번째 디코딩 토큰 기반의 즉각적 위험 결정과 온디맨드 추론 설명을 지원하는 계층적 추론 패러다임과 모델 재학습 없이 런타임에서 안전 정책을 조정할 수 있는 동적 정책(Dynamic Policy) 메커니즘을 도입하여, 다양한 공개 안전성 벤치마크에서 최고 수준의 성능을 달성했다.

arXiv:2607.02072v1cs.LG

kNNGuard: Turning LLM Hidden Activations into a Training-Free Configurable Guardrail

kNNGuard는 파인튜닝 없이 기존 대규모 언어 모델(LLM)의 숨겨진 활성화(hidden activation) 공간을 활용해 안전하지 않거나 주제를 벗어난 적대적 프롬프트를 탐지하는 가드레일 프레임워크로, 50개의 레이블된 예시만으로 은행을 구성해 다층 kNN 분류를 수행한다. 6개 도메인 평가에서 파인튜닝 기반 최신 가드레일과 동등하거나 우수한 F1 성능을 달성하면서도 추론 속도는 최대 2.7배 빠르고, 새로운 도메인 적응은 10초 이내에 완료된다.

arXiv:2606.28332v1cs.CY

When Medical Safety Alignment Fails: A Benchmark for Evaluating LLMs on High-Risk Medical Queries

Large language models (LLMs) are increasingly used for medical and health-related questions, yet their safety in high-risk medical scenarios remains poorly understood. We introduce \textsc{MedHarm}\footnote{Code and data will be released upon acceptance. Due to the sensitive nature of high-risk medical queries, data access will be available to qualified researchers upon request.}, a high-risk medical safety benchmark with 1,100 medically grounded queries across 10 safety-critical categories, including toxicology, pharmacology, covert poisoning, anesthesia, and fetal harm. Unlike broad medical QA benchmarks, \textsc{MedHarm} targets realistic clinical, educational, and technical prompts that require refusal, caution, or safe redirection rather than direct helpfulness. We evaluate 15 LLMs spanning general-purpose, medical-purpose, closed-source, and downstream SFT models, together with 4 representative guardrail models. Results reveal a substantial gap between apparent alignment and medical safety: aligned models can still produce unsafe or actionable responses, medical fine-tuning can amplify harmful specificity, and external guardrails reduce some failures while introducing brittle blocking and weak safe helpfulness. These findings show that medical safety cannot be inferred from general alignment or medical capability alone, highlighting the need for domain-specific stress testing before deploying LLMs in safety-critical medical applications.