다자간 맞장구 예측: 진단, 벤치마크 및 한계점
Multi-Party Backchannel Prediction: a Diagnosis, a Benchmark, and a Ceiling
맞장구(backchannel) 예측은 거의 전적으로 2인 대화(dyadic conversation) 환경에서만 연구되어 왔습니다. 본 연구에서는 AMI 말뭉치를 기반으로 171개의 회의, 190명의 화자, 18,697건의 맞장구 사건과 화자가 겹치지 않는 분할(person-disjoint held-out split)로 구성된 682개의 마스킹된 청자 뷰를 포함하는 다자간 벤치마크를 소개합니다. 회의 오디오에 제로샷(zero-shot)으로 적용된 최첨단 2인 대화 모델(model)은 무작위 수준(AUROC 0.499)의 성능을 보였으나, 동결된 음향 특징 자체는 여전히 유용한 정보를 담고 있어 선형 프로브(linear probe)는 0.704에 도달하고 예측기를 재학습하면 성능이 0.751까지 향상됩니다. 재학습은 두 번째 한계점을 드러냅니다. 청자 조건화(listener conditioning)는 학습(training) 중에 관찰된 청자에 대한 예측은 향상시키지만 미관찰 청자에게는 그렇지 못하며, 용량 축소, 청자 대립 쌍 학습(listener-adversarial training), 청자별 적응, 오라클 어휘 조건화 환경에서도 이러한 격차가 유지됩니다. 대립 쌍 학습은 화자 신원 정보의 일부만 제거하는 반면, 더 강력하게 제거하면 예측 성능이 저하되어 신원 정보가 맞장구에 유용한 단서들과 얽혀 있음을 시사합니다. 모델 내 통제 실험은 이러한 패턴을 설명하는 데 도움을 줍니다. 동일한 특징과 데이터 분할을 사용할 때 발화 시작(turn-onset) 예측은 미관찰 청자에게 전이되지만, 맞장구 예측은 전이되지 않습니다. 또한 맞장구 빈도는 발화 시작 빈도보다 개인 간 편차가 약 두 배 더 큽니다. 맞장구는 전체 프레임의 약 1%만을 차지하므로 프레임 수준 F1은 기본 비율에 큰 영향을 받습니다. 따라서 청자 활성 구간에서의 사건-F1과 함께 AUROC를 보고합니다. 본 연구는 벤치마크와 평가 도구를 https://github.com/HafsatiMohammed/bc_multiparty_release 에 공개합니다.