누가 언제 어떤 역할을 맡는가? 동료 인정 및 팀 성과 예측을 위한 커뮤니케이션 역할 역학
Who Plays Which Role When? Communication Role Dynamics for Peer Recognition and Team Performance Prediction
팀 역할은 협업에 대한 해석 가능한 관점을 제공하지만, 역할에 관한 계산적 연구들은 이론에 기반한 분류 체계보다 도메인 특화 페르소나나 데이터 기반 클러스터링에 의존하는 경향이 있다. 우리는 교육학 문헌에 근거한 8가지 커뮤니케이션 역할 분류 체계를 구체화하고, 한 학기 컴퓨터 과학 수업 프로젝트에서 18개 팀, 55명의 학생이 주고받은 6,307개의 Slack 메시지 코퍼스에 주석을 달았다. 우리는 대규모 언어 모델(LLM)이 전문가 레이블을 근사할 수 있는지 평가하여 확장 가능한 분류 체계 기반 역할 주석을 가능하게 한다. 이러한 역할 레이블을 활용하여 팀 생애 주기에 걸친 역할 역학을 규명하였으며, 서로 다른 역할이 서로 다른 시점에 최고조에 달하고 프로젝트가 진행될수록 학생들이 더 다양한 역할을 수행한다는 것을 발견하였다. 역할 구성 요소의 유용성을 평가하기 위해, 이를 동료 인정 예측에 활용하여 어휘적, 대화적, LLM 프롬프팅 기반선(baseline)을 능가하는 성능을 달성하였다. 교육적 맥락을 넘어선 일반화 가능성을 평가하기 위해, 동일한 역할 구성 요소를 공개 데이터셋(DeliData)에 적용하여 심의 후 팀 성과 향상을 예측하였으며, 여기서도 기존 성능을 초과하였다.