대규모 언어 모델(LLM)을 인간의 가치에 정렬(alignment)하는 것은 안전한 배포와 광범위한 채택을 위해 필수적입니다. 현재 LLM 안전성 벤치마크는 개별적인 문제 쿼리의 거부에만 초점을 맞추는 경우가 많은데, 이는 쿼리가 발생하는 맥락의 중요성을 간과하며 안전한 맥락에서의 쿼리를 의도치 않게 거부하여 사용자 경험을 저하시킬 수 있습니다. 이러한 격차를 해소하기 위해 우리는 LLM의 안전성 평가에 맥락을 통합한 문맥 인식 안전성 벤치마크인 CASE-Bench를 소개합니다. CASE-Bench는 Contextual Integrity 이론에 기반하여 범주화된 쿼리에 형식적으로 기술된 고유한 맥락을 할당합니다. 또한, 소수의 어노테이터로부터 다수결 투표에 주로 의존하는 기존 연구들과 달리, 우리는 검정력 분석(power analysis)을 기반으로 실험 조건 간의 통계적으로 유의미한 차이를 검출하는 데 필요한 충분한 수의 어노테이터를 모집하였습니다. 다양한 오픈소스 및 상용 LLM에 대해 CASE-Bench를 사용한 광범위한 분석 결과, 맥락이 인간의 판단에 미치는 실질적이고 유의미한 영향(z-검정에서 p<0.0001)이 밝혀졌으며, 이는 안전성 평가에서 맥락의 필요성을 강조합니다. 또한 인간의 판단과 LLM 응답 사이의 현저한 불일치를 확인하였으며, 특히 안전한 맥락 내 상용 모델에서 두드러졌습니다.
언어 모델의 프라이빗(private) 및 강건한(robust) 정렬(alignment)을 이론적으로 분석해, 프라이버시 제약과 적대적 손상이 있는 선호 레이블 환경에서 오프라인·온라인 설정 모두의 최적성 격차(suboptimality gap) 상한을 확립한다. 프라이버시 단독 설정에서는 MLE 방식 log loss가 근-최적(near-optimal) 수렴률을 달성함을 보이고, 결합 설정에서는 기존 오프라인 알고리즘이 더 강한 보장을 제공함을 입증하며, 프라이빗·강건 온라인 정렬에 대한 최초 결과를 제시한다.
Today's reasoning models use thinking tokens to attain stronger performance on benchmarks than their instruction-tuned counterparts. It is also generally believed that this more "deliberative" mode should improve alignment and safety, by providing the model a safe space to consider whether its planned answer to a request violates its safety principles. We present evidence that this intuition is not always correct. Across frontier open-weight reasoning models spanning GPT-OSS, Qwen, Olmo, and Phi families, we find that the eventual refusal/compliance outcome is already strongly predictable via a trained head on the first token's hidden representation ($0.84$-$0.95$ AUROC and $\sim88\%$ balanced accuracy for predicting refusal/compliance) before any visible thinking. The thinking process turns out to be more akin to prefix completion than to deliberative revision, with the final outcome rarely changing after the first $\sim20\%$ of thinking, despite giving the appearance of deliberation at the text level ($\sim74\%$ of text-level deliberations occur when the response distribution is already locked to one refusal/compliance side). We also find that existing inference-time and training-based safety interventions, despite being motivated by the goal of inducing deliberation, largely shift model behavior toward over-refusal while suppressing already-scarce deliberation signals. Our results suggest that safety behavior in current reasoning models is much less deliberative than commonly assumed, and highlight the need for methods that induce real safety deliberation.
RLHF 보상 모델이 긴 응답에 과도하게 높은 점수를 주는 길이 편향(length bias)을, 경량 적합 모델로 비선형 길이-보상 관계를 학습·보정하는 FiMi-RM 프레임워크로 완화하는 방법을 제안한다. 실험에서 편향을 줄인 보상 모델이 DPO·Best-of-N(BoN) 등 정렬 알고리즘에서 길이 통제 승률을 높이고 장황함을 줄이면서 성능을 유지한다고 보고한다.
As AI systems are deployed across increasingly diverse and high-stakes settings, model alignment must generalize beyond the tasks and domains seen during training. This is especially important for reinforcement learning (RL), which can introduce unexpected misalignment through reward hacking, deception, or other unintended strategies. We study whether RL on beneficial behavior, instantiated in realistic domains, can produce broad and persistent alignment generalization beyond the training distribution. We construct a dataset of realistic situations designed to measure and train beneficial traits, such as truthfulness, fairness, risk awareness, and corrigibility, spanning varied domains, including health, science, and education. We then train models with RL on this dataset and evaluate them on more than 50 independent benchmarks of alignment and beneficial behavior. Compared to a compute-matched baseline, beneficial trait RL improves performance on over 80% of these out-of-distribution benchmarks. We observe substantial out-of-distribution alignment transfer: a beneficial-behavior RL intervention entirely limited to one domain, health, produces broad improvements on non-health alignment evaluations, including reduced reward hacking, deception, and general misalignment. Finally, we study alignment persistence: whether behavior remains robustly aligned under attempts to steer models towards misalignment. Models trained with beneficial trait RL show improved persistence, including greater resistance to adversarial prompting and harmful finetuning; further work is required to isolate the sources of these effects. These results suggest that RL to reinforce beneficial behavior in realistic domains can produce models that are more robustly aligned with human flourishing.
언어 모델을 인간의 선호에 정렬하는 것은 종종 여러 행동적 목표를 최적화해야 합니다. 실용적인 접근 방식은 직접 선호 최적화(DPO)와 같은 선호 최적화 방법을 사용하여 이러한 목표를 순차적으로 적용하는 것이지만, 후속 학습이 이전에 학습된 선호를 균일하게 저하시키는지, 아니면 효과가 목표 간의 관계에 따라 달라지는지는 여전히 불분명합니다. 우리는 분포 충돌, 다중 속성 상호작용, 강력한 안전성 신호, 그리고 호환되는 응답 품질 목표를 포함하는 네 가지 선호 설정에 걸쳐 순차적 DPO를 연구합니다. LoRA 어댑터를 적용한 Llama-3.1-8B-Instruct를 사용하여, 우리는 고정된 기본 모델 참조로 모든 단계 후에 모든 목표를 평가합니다. 우리는 순차적 DPO가 단일한 망각 패턴을 만들어내지 않음을 발견했습니다. 선호 변화는 목표 관계, 신호 강도 및 학습 순서에 따라 부분적 저하, 안정성, 쌍 수준 재분배 또는 긍정적 전이 사이에서 다양하게 나타납니다. 길이 정규화된 정책 마진을 사용한 쌍 수준 분석은 집계 메트릭이 선호 쌍 전체의 이질적인 변화를 가릴 수 있음을 보여주는 반면, 사분위수 분해는 높은 신뢰도 쌍이 설정에 따라 저하되거나 개선될 수 있음을 보여줍니다. 기계적 진단에 따르면 모든 설정에서 2단계 그래디언트와 어댑터 업데이트가 이전 목표에 대해 거의 직교하며, 이는 직접적인 그래디언트 대립이 주요 원인이라는 증거가 거의 없음을 시사합니다. 이러한 발견은 미래의 순차적 정렬 파이프라인이 후속 목표가 이전 선호에 균일하게 영향을 미친다고 가정하기보다는 목표 호환성과 신호 강도를 고려해야 함을 시사합니다.
대규모 언어 모델(LLM)이 자신의 출력이 인간의 윤리와 정렬되지 않았는지 식별할 수 있습니까? 그리고 스스로 교정할 수 있습니까? 우리는 LLM에 자신의 추론과 출력을 검토하는 양심 단계(conscience step)를 부여하고, 직접 선호 최적화(DPO)를 사용하여 학습 손실에 정렬 구성 요소를 확장하여 모델이 비윤리적 출력을 생성하지 않도록 유도했습니다. 그 결과 학습, 미세조정, 적대적 프롬프팅, 제로샷 학습 등 다양한 응용 분야에서 모델을 정렬할 수 있는 온라인 기법이 탄생했습니다. 이 기법은 더 약하거나 강한 판사(judge)를 필요로 하지 않으며, 대신 자신의 동결된 사본에 의존합니다. 이전 연구에서 창발적 오정렬(Emergent Misalignment) 시나리오는 모델을 코드 해킹으로 미세조정할 때 다양한 창발적 비윤리적 행동이 나타남을 보여주었습니다. 대신, 우리는 창발적 정렬(Emergent Alignment)을 달성하는 방법을 실증적으로 보여줍니다: 단 하나의 상위 수준 성찰적 질문이 동일한 코드 해킹 시나리오에서 학습을 윤리적 모델로 이끕니다.
정렬(alignment)으로 LLM이 고정관념 관련 설정에서 명시적 증거를 무시하고 정당한 결론을 거부하는 오발된 정렬(misfired alignment)을 정량화하기 위해 BBQ 파생 대조 쌍 벤치마크 VETO와 오발된 정렬률(MAR) 지표를 제안한다. 25개 LLM은 MAR 4.7~18.9%를 보였고 인간은 0%였으며, 안전 관련 프라이밍이 MAR을 증폭하고 인스트럭션 튜닝 이후 후기 층에서 증거 지원 답변이 억제되는 기계론적 패턴이 확인되었다.
인간 피드백 강화학습(RLHF)의 보상 모델에서 도움성과 무해성 목표 간의 갈등을 분석하여 혼합 목표 모델이 단일 목표 모델보다 성능이 낮은 이유를 규명했다. 활성화 기반 방법과 뉴런 제거 실험을 통해 두 목표 간에 공유된 뉴런이 모델 행동에 과도한 영향을 미쳐 정렬(alignment) 긴장을 유발함을 밝혔다.
대규모 언어 모델(LLM)이 조작된 어시스턴트 측 컨텍스트인 프리필(prefill)을 인식하고 저항하는 능력을 분석한 결과, 최신 모델들이 상당한 수준의 감지 및 기본 동작 복귀 능력을 보임을 확인했습니다. 이는 정렬(alignment) 평가나 제어 프로토콜 등 프리필 기반 방법들의 유효성에 영향을 미칠 수 있음을 시사합니다.
대규모 언어 모델(LLM)은 미세조정 후 안전성 비정렬의 중요한 위험을 내포하고 있는데, 이는 모델이 명시적 및 암시적 유해 데이터 모두에 의해 손상될 수 있기 때문입니다. 심지어 겉보기에 무해한 일부 데이터조차도 의도치 않게 모델을 비정렬 행동으로 이끌 수 있습니다. 이를 해결하기 위해 우리는 GradShield를 소개합니다. 이는 원칙 기반 필터링 방법으로, 유해 데이터 포인트가 모델의 정렬을 훼손하기 전에 이를 식별하고 제거하여 미세조정 중 LLM을 보호합니다. 이 방법은 각 데이터 포인트에 대해 미세조정 암시적 유해성 점수(FIHS)를 계산하여 잠재적으로 유해한 데이터를 제거하고 적응형 임계값 알고리즘을 사용합니다. 우리는 다양한 수준의 유해 데이터에 걸쳐 여러 유용성 미세조정 작업에 GradShield를 적용하고, 다양한 지표를 사용하여 결과 LLM의 안전성 및 유용성 성능을 평가합니다. 결과는 GradShield가 모든 기준선 방법보다 우수하며, 유용성 성능을 유지하면서 공격 성공률(ASR)을 일관되게 6% 미만으로 유지함을 보여줍니다.