말한 대로 행동하되, 추론한 대로는 아니다: LLM 에이전트의 충실성 격차 규명
Doing What They Say, Not What They Reason: Locating the Faithfulness Gap in LLM Agents
LLM 에이전트가 자신의 추론에 따라 실제로 행동하는지 측정하기 위해, Texas Hold'em 시뮬레이터에서 결론-행동(conclusion→action)과 추론-결론(reasoning→conclusion) 두 단계로 충실성 격차를 분리한 결과, 결론-행동 불일치율은 명시적 태그 사용 시 1% 미만으로 신뢰할 수 있지만, 추론-결론 단계에서는 규칙 오적용이 발생하며 이 경우 거의 항상(99.5%) 위험 회피 방향으로 오류가 편향됨을 발견했다. 기계적 규칙 적용을 지시하면 오적용 비율이 절반으로 감소하며, 이는 능력 한계가 아닌 헤징 행동임을 시사한다.