SpecialEduBench: 자폐 아동 언어 개입에서 지식·기술·태도에 대한 비전-언어 모델 벤치마킹
SpecialEduBench: Benchmarking Vision-Language Models on Knowledge, Skill, and Attitude in Language Intervention for Autistic Children
언어는 자폐 아동에 대한 대부분의 조기 개입의 목표이다. 목표와 방법이 아동마다 달라지기 때문에, 한 번에 한 아동을 맡아 전개되는 각 장면을 판단하는 교사에게 그 일이 맡겨진다. 인공지능이 이제 그 업무에 도입되고 있으나, 특수교육에 이르는 벤치마크들은 아동 앞에서 모델이 무엇을 하는지보다 모델이 무엇을 아는지를 묻는다. 아동이 방금 한 행동에 따라 응답이 좋은 교수인지 여부가 달라지므로 정답 키가 적용되지 않아, 이를 구축하는 것은 간단하지 않다. 대기 시간의 길이, 시선의 전환, 아동의 수용(uptake) 등은 대본에 흔적을 남기지 않으므로, 이를 판별하는 근거는 언어적만큼이나 시각적이다. 우리는 지식, 기술, 태도 축을 따라 교수 역량을 측정하는 SpecialEduBench를 소개한다. 여기에는 4,537개의 지식 항목과, 녹화된 개입을 바탕으로 한 200개의 기술 항목 및 68개의 태도 항목이 있으며, 태도 항목은 압박(pressure)과 모니터링(monitoring)을 교차하여 192개의 응답 셀로 구성된다. 특수교육 전문가 7명이 항목을 작성·채점·검토했으며, 우리는 그들이 설정한 기준 점수에 맞추어 judge 모델의 instruction을 수정했다. 8개의 최신 비전-언어 모델 전반에서 어느 축도 포화되지 않았으며, 가장 강한 모델도 정직성(honesty) 셀의 약 10분의 1에서 여전히 실패한다. 모델들은 지식이 사실적일 때는 수렴하고 과제가 상황에 맞춰질(situated) 때는 갈라지며, 실패는 압박이 가해지는 곳에 집중된다. 우리는 이 벤치마크를 배포 전에 실행하는 감사(audit)로, 그리고 이 영역을 위해 구축되는 모델의 출발점으로 의도한다.