PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.08064v3cs.LG

대규모 언어 모델의 위험 조건부 미세조정

Risk-Conditioned Fine-Tuning of Large Language Models

대규모 언어 모델(LLM)은 드물지만 심각한 유해 생성이 중대한 결과를 초래할 수 있는 환경에 점점 더 많이 배포되고 있습니다. 기존의 위험 회피형 인간 피드백 강화학습(Risk-Averse RLHF)은 조건부 가치평가 위험(CVaR)을 최적화하여 이 문제를 다루지만, 고정된 위험 수준에 맞춰 정책을 학습하므로 추론(inference) 시점에 원하는 위험 회피 수준을 조정할 수 없습니다. 본 논문에서는 연속적인 위험 제어 인터페이스를 제공하는 단일 정책을 학습하여, 사용자가 여러 위험별 모델을 재학습하거나 배포할 필요 없이 서로 다른 위험 회피 정도를 선택할 수 있도록 하는 프레임워크인 위험 조건부 RLHF(risk-conditioned RLHF)를 제안합니다. 여러 벤치마크에 걸친 실험을 통해 단일 위험 조건부 정책이 추론 시점에 다양한 위험 수준에 적응할 수 있음을 입증하며, 이를 통해 더 유연하고 위험을 인식하는 LLM 배포가 가능함을 보여줍니다.