언어적 강화학습에서 경험 추출에서 통찰 거버넌스까지: 피드백 루프 닫기
Closing the Feedback Loop: From Experience Extraction to Insight Governance in Verbal Reinforcement Learning
학습 없는 언어적 강화학습(Verbal Reinforcement Learning)은 LLM(대규모 언어 모델) 에이전트가 경험에서 언어적 규칙을 추출하여 이를 컨텍스트로 주입함으로써, 매개변수 변경 없이 에이전트의 행동을 업데이트하고 세계 피드백(동적 작업 결과, 시장 수익률, 수요 예측과 같은 객관적 신호)으로부터 학습할 수 있게 합니다. 그러나 비정상 환경에서 이러한 에이전트는 보유-망각 딜레마(retention-forgetting dilemma)에 직면합니다. 오래된 통찰을 유지하면 부정적 전이(negative transfer)가 발생하고, 반면 이를 폐기하면 조건이 재발할 때 치명적 망각(catastrophic forgetting)이 발생하기 때문입니다. 우리는 이 딜레마를 헤쳐나가기 위한 네 가지 요구사항(결과 기반 평가, 지속적 구조화 증거, 비단조적 지식 수명 주기, 구성적 거버넌스)을 식별하고, 기존 방법들이 경험 추출에는 과도하게 투자하는 반면 통찰 거버넌스에는 투자가 부족함을 보여줍니다. 우리는 규칙, 증거, 기술의 세 층으로 구성된 아키텍처를 제안하며, 이는 피드백 기반 큐레이션 루프를 통해 연결되어 거버넌스 격차를 해소합니다. 규칙은 세계 결과로부터 증류된 경험을 포착하고, 증거 로그는 에피소드 전반에 걸쳐 각 규칙의 신뢰성을 추적하며, 기술은 적용할 규칙, 충돌 해결 방법, 및 자제 시점을 관리합니다. 세계 피드백이 본질적으로 풍부하고 노이즈가 많으며 비정상적인 금융 예측을 사례 연구로 사용하여, 우리는 동일한 축적된 경험이 큐레이션 루프의 존재 여부에 따라 제로샷 기준선(zero-shot baseline)보다 성능을 저하시키거나, 정확도와 위험 조정 수익을 극적으로 향상시킴을 보여줍니다.