MIThinker: 동기강화상담을 위한 플러그앤플레이 정책 최적화 사고 모델
MIThinker: A Plug-and-Play Policy-Optimized Thinker For Motivational Interviewing Counseling
추론 대규모 언어 모델(LLM)은 최근 내부 추론(또는 사고)을 활용하여 해결책 생성을 유도함으로써 복잡한 문제 해결에서 괄목할 만한 발전을 이루었다. 그러나 동기강화상담(MI)을 활용하는 기존 LLM 기반 상담 에이전트는 사고를 상담 기법과 명시적으로 정렬하지 않은 채 응답을 생성하므로 그 효과가 제한된다. 우리는 MI 상담 에이전트가 전략을 선택하고 응답을 생성하도록 안내하는 치료적 사고를 생성하는 경량 사고 모델인 MIThinker를 제안한다. 주석이 달린 사고 데이터의 부재를 극복하기 위해, 우리는 관찰된 응답으로부터 상담사의 사고를 역공학적으로 추출하는 자동화 파이프라인인 AugR1-MI를 도입한다. 지도 미세조정과 강화학습을 결합한 2단계 학습을 통해 MIThinker는 향상된 마음 이론(theory-of-mind) 평가 및 전략 정렬을 보여준다. 종합적인 평가 결과, MIThinker를 활용한 우리의 에이전트 MindfulMI는 최신 시스템에 필적하는 MI 역량을 달성하면서도 연산량은 한 자릿수 수준으로 적게 사용함을 확인하였다.