회의 효과성에 대한 재고: 시간적으로 세분화된 자동 회의 효과성 평가를 위한 벤치마크 및 프레임워크
Rethinking Meeting Effectiveness: A Benchmark and Framework for Temporal Fine-grained Automatic Meeting Effectiveness Evaluation
회의 효과성 평가는 조직의 생산성을 향상하는 데 매우 중요합니다. 기존 접근 방식은 회의 전체에 대해 단일한 거친(coarse-grained) 점수를 산출하는 사후 설문조사에 의존합니다. 이러한 수동 평가에 대한 의존은 확장성, 비용, 재현성 측면에서 본질적으로 한계가 있습니다. 게다가 단일 점수는 협업 논의의 역동적인 특성을 포착하지 못합니다. 본 논문에서는 새로운 기준과 시간적으로 세분화된(temporal fine-grained) 접근 방식을 중심으로 회의 효과성을 평가하는 새로운 패러다임을 제안합니다. 효과성을 시간에 따른 목표 달성률로 정의하고, 회의 내 개별 주제 세그먼트별로 이를 평가합니다. 이 태스크를 지원하기 위해, 130개의 AMI Corpus 회의에서 사람이 직접 주석을 단 2,459개의 세그먼트를 포함하는 새로운 메타 평가 데이터셋인 AMI Meeting Effectiveness(AMI-ME) 데이터셋을 소개합니다. 또한 대규모 언어 모델(LLM)을 판정관(judge)으로 사용하여 전체 회의 목표 대비 각 세그먼트의 효과성을 점수화하는 자동 효과성 평가 프레임워크를 개발합니다. 광범위한 실험을 통해 이 새로운 태스크를 위한 종합적인 벤치마크를 구축하고, 비즈니스 시나리오부터 비정형 토론에 이르기까지 다양한 회의 유형 전반에서 프레임워크의 일반화 가능성을 평가합니다. 나아가 완전한 시스템의 역량을 측정하기 위해 원시 음성(raw speech)에서 시작하는 엔드투엔드 성능을 벤치마킹합니다. 본 연구의 결과는 프레임워크의 유효성을 검증하며, 회의 분석 및 다자간 대화 연구를 촉진할 강력한 베이스라인을 제공합니다. 데이터셋과 코드는 공개될 예정입니다. AMI-ME 데이터셋과 자동 평가 프레임워크는 https://github.com/ku-nlp/AMI-ME 에서 확인할 수 있습니다.