arXiv:2510.00938v3 cs.LG

대규모 추론 모델은 결함 있는 사고로부터 더 나은 정렬을 학습한다

Large Reasoning Models Learn Better Alignment from Flawed Thinking

ShengYun Peng, Pin-Yu Chen, Eric Smith, Song Jiang, Hongyuan Zhan, Haozhu Wang, Mahesh Pasupuleti, Duen Horng Chau, Jianfeng Chi

제출 2025-10-01

한국어 초록

대규모 추론 모델(LRM)은 최종 답을 내기 전 구조화된 사고의 연쇄(CoT)를 생성하여 "생각"하지만, 안전성 정렬(safety alignment)에 대해 비판적으로 추론하는 능력은 여전히 부족하며, 사고 과정에 결함 있는 전제가 주입되면 쉽게 편향된다. 우리는 RECAP(Robust Safety Alignment via Counter-Aligned Prefilling)을 제안한다. 이는 사후 학습을 위한 원칙적인 강화학습(RL) 방법으로, 결함 있는 추론 궤적을 명시적으로 덮어쓰고 안전하고 도움이 되는 응답으로 경로를 재설정하도록 모델을 가르친다. RECAP은 합성적으로 생성된 counter-aligned CoT prefill과 표준 프롬프트의 혼합으로 학습되며, 일반적인 인간 피드백 강화학습(RLHF)을 넘어서는 추가 학습 비용이나 수정 없이 안전성과 jailbreak 견고성을 크게 향상시키고, 과도한 거부(overrefusal)를 줄이며, 핵심 추론 능력을 유지한다—모두 추론 토큰 예산을 유지한 채로. 광범위한 분석에 따르면 RECAP으로 학습된 모델은 자기 성찰(self-reflection)을 더 자주 수행하고 적응형 공격 하에서도 견고하며, 추론을 덮어쓰려는 반복적인 시도 이후에도 안전성을 유지한다.

원문 초록

Large reasoning models (LRMs) "think" by generating structured chain-of-thought (CoT) before producing a final answer, yet they still lack the ability to reason critically about safety alignment and are easily biased when a flawed premise is injected into their thought process. We propose RECAP (Robust Safety Alignment via Counter-Aligned Prefilling), a principled reinforcement learning (RL) method for post-training that explicitly teaches models to override flawed reasoning trajectories and reroute to safe and helpful responses. RECAP trains on a mixture of synthetically generated counter-aligned CoT prefills and standard prompts, requires no additional training cost or modifications beyond vanilla reinforcement learning from human feedback (RLHF), and substantially improves safety and jailbreak robustness, reduces overrefusal, and preserves core reasoning capability -- all while maintaining inference token budget. Extensive analysis shows that RECAP-trained models engage in self-reflection more frequently and remain robust under adaptive attacks, preserving safety even after repeated attempts to override their reasoning.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2510.00938v3제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.