AI 어시스턴트의 과도한 개입
AI Assistants Overassist
대규모 언어 모델(LLM)은 점점 더 튜터와 사고 파트너로 사용되어 사용자가 문제를 추론하도록 돕고 있다. AI 어시스턴트의 안내는 사고를 비계화하고 학습을 촉진할 수 있지만, 이러한 이점은 그들이 어떻게 돕느냐에 달려 있다. 예를 들어, 너무 이르거나 너무 자주 개입하면 진정한 학습과 인지적 참여를 저해할 수 있다. 그러나 문제 해결 과정에서 AI 시스템이 개입 결정을 어떻게 탐색하는지는 여전히 잘 이해되지 않고 있다. 본 연구에서는 학습 중 LLM 개입을 평가하기 위한 시뮬레이션 기반 벤치마크인 Int-Bench를 제안한다. Int-Bench는 "학생"이 문제를 풀고 "교사"가 학생의 추론을 모니터링하며 개입 여부, 시점, 방식을 결정하는 상황을 시뮬레이션한다. 코드 디버깅, 수학, 두뇌 퍼즐이라는 세 가지 영역에서 LLM 교사의 개입 빈도와 시점, 그리고 즉각적인 과제 성공과 새로운 문제로의 일반화에 미치는 영향을 평가한다. LLM과 인간을 비교한 결과, LLM이 인간보다 더 자주, 더 일찍 개입하는 것으로 나타났다. 게다가 인간과 달리, LLM은 표적화된 힌트보다는 완전한 해답을 제공하는 경향이 있다. 이러한 결과는 현재 LLM 어시스턴트가 더 깊은 학습과 장기적 성공에 필요한 추론 과정을 지원하기보다는 단기적 성공을 최적화하는 경우가 많음을 시사한다.