대규모 언어 모델은 얼마나 제어 가능한가? 행동 세분성 전반에 걸친 통합 평가
How Controllable Are Large Language Models? A Unified Evaluation across Behavioral Granularities
한국어 초록
대규모 언어 모델(LLM)은 사회적으로 민감한 영역에 점점 더 많이 배포되고 있지만, 의도의 불일치부터 일관성 없는 성격에 이르는 예측 불가능한 행동은 상당한 위험을 초래한다. 본 논문은 언어 특징, 감성, 성격의 세 영역에 걸쳐 LLM의 제어 가능성을 평가하는 계층적 벤치마크인 SteerEval을 소개한다. 각 영역은 L1(무엇을 표현할 것인가), L2(어떻게 표현할 것인가), L3(어떻게 구체화할 것인가)의 세 가지 명세 수준으로 구성되며, 상위 수준의 행동 의도를 구체적인 텍스트 출력과 연결한다. SteerEval을 이용해 최신 조향(steering) 방법을 체계적으로 평가한 결과, 더 세분화된 수준에서 제어력이 흔히 저하됨을 확인하였다. 본 벤치마크는 안전하고 제어 가능한 LLM 행동을 위한 원칙적이고 해석 가능한 프레임워크를 제공하며, 향후 연구의 토대가 된다.
원문 초록
Large Language Models (LLMs) are increasingly deployed in socially sensitive domains, yet their unpredictable behaviors, ranging from misaligned intent to inconsistent personality, pose significant risks. We introduce SteerEval, a hierarchical benchmark for evaluating LLM controllability across three domains: language features, sentiment, and personality. Each domain is structured into three specification levels: L1 (what to express), L2 (how to express), and L3 (how to instantiate), connecting high-level behavioral intent to concrete textual output. Using SteerEval, we systematically evaluate contemporary steering methods, revealing that control often degrades at finer-grained levels. Our benchmark offers a principled and interpretable framework for safe and controllable LLM behavior, serving as a foundation for future research.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2603.02578v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.