PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2608.14089v3cs.AI

체제 조건부 검증: 안전성 분류기 적응 및 모니터링을 위한 정확도 추정

Regime-Conditional Verification: Correctness Estimation for Adapting and Monitoring Safety Classifiers

대규모 언어 모델(LLM)과 함께 배포되는 안전성(safety) 분류기는 흔히 두 가지 이유로 실패합니다. 분류기의 결정이 배포자가 원하는 정책이 아닌 학습(training) 중에 학습된 정책을 반영한다는 점과, 배포 환경의 트래픽이 변화함에 따라 성능이 저하된다는 점입니다. 본 연구에서는 기존 안전성 분류기를 재학습하지 않고도 적응시키는 경량 래퍼인 체제 조건부 검증(Regime-Conditional Verification, RCV)을 제안합니다. RCV는 분류기의 내부 표현으로부터 각 예측이 배포자의 정책과 일치하지 않을 확률을 추정하고, 틀릴 가능성이 높은 예측을 선별적으로 수정합니다. 또한 동일한 정확도 추정치는 분포 변화(distribution shift)를 감지하기 위한 라벨 없는 신호를 제공하여, 정확도 추정 층(layer)을 업데이트하고 라벨 예산 내에서 수정이 실패할 때에만 분류기 미세조정(fine-tuning)을 수행하는 유지관리 루프를 가능하게 합니다. 세 가지 기존 안전성 분류기와 두 가지 벤치마크 데이터셋(dataset)에 걸친 실험에서, RCV는 기반 분류기를 수정하지 않고도 모든 분류기-데이터셋 조합에서 배포자 정책에 대한 준수율을 향상시켰으며, 이전에 놓쳤던 유해 콘텐츠를 최대 0.81까지 포착했습니다. RCV 학습에서 제외된 위해 범주로 구성된 10개의 공격 캠페인을 활용한 배포 연구에서, RCV는 전용 주입 패널의 모든 캠페인을 감지했습니다. 또한 유지관리 조사에서 대부분의 드리프트 사례는 분류기를 업데이트하지 않고도 해결되었으며, 미세조정은 잔여 사례에 대해서만 선별적으로 적용되었습니다.

arXiv:2606.27210v1cs.CL

진정한 의도로 포장된 길: 의도 인식 학습이 다양한 학습 방식에서 LLM 안전성 분류를 향상시킨다

Paved with True Intents: Intent-Aware Training Improves LLM Safety Classification Across Training Regimes

안전성 분류기가 프롬프트와 해악 레이블 사이에서 사용자 의도를 명시적 중간 표현으로 학습하도록, 1,724개의 난이도 높은 프롬프트에 의도 설명과 해악 레이블을 주석한 AIMS 데이터셋을 제안하고 지도 미세조정, 선호도 학습(DPO), 추론 증류, GRPO 등 네 가지 학습 방식에서 의도 인식 학습을 평가한다. GRPO로 의도 충실성을 직접 보상한 모델이 다섯 가지 외부 안전성 벤치마크에서 최고 평균 성능을 달성했고, 의도 인식 모델은 추론 지연-F1 파레토 프런티어를 형성해 충실한 의도 모델링이 강건한 안전성 분류를 위한 간결한 지도 신호임을 보여준다.