회의 효과성 평가는 조직의 생산성을 향상하는 데 매우 중요합니다. 기존 접근 방식은 회의 전체에 대해 단일한 거친(coarse-grained) 점수를 산출하는 사후 설문조사에 의존합니다. 이러한 수동 평가에 대한 의존은 확장성, 비용, 재현성 측면에서 본질적으로 한계가 있습니다. 게다가 단일 점수는 협업 논의의 역동적인 특성을 포착하지 못합니다. 본 논문에서는 새로운 기준과 시간적으로 세분화된(temporal fine-grained) 접근 방식을 중심으로 회의 효과성을 평가하는 새로운 패러다임을 제안합니다. 효과성을 시간에 따른 목표 달성률로 정의하고, 회의 내 개별 주제 세그먼트별로 이를 평가합니다. 이 태스크를 지원하기 위해, 130개의 AMI Corpus 회의에서 사람이 직접 주석을 단 2,459개의 세그먼트를 포함하는 새로운 메타 평가 데이터셋인 AMI Meeting Effectiveness(AMI-ME) 데이터셋을 소개합니다. 또한 대규모 언어 모델(LLM)을 판정관(judge)으로 사용하여 전체 회의 목표 대비 각 세그먼트의 효과성을 점수화하는 자동 효과성 평가 프레임워크를 개발합니다. 광범위한 실험을 통해 이 새로운 태스크를 위한 종합적인 벤치마크를 구축하고, 비즈니스 시나리오부터 비정형 토론에 이르기까지 다양한 회의 유형 전반에서 프레임워크의 일반화 가능성을 평가합니다. 나아가 완전한 시스템의 역량을 측정하기 위해 원시 음성(raw speech)에서 시작하는 엔드투엔드 성능을 벤치마킹합니다. 본 연구의 결과는 프레임워크의 유효성을 검증하며, 회의 분석 및 다자간 대화 연구를 촉진할 강력한 베이스라인을 제공합니다. 데이터셋과 코드는 공개될 예정입니다. AMI-ME 데이터셋과 자동 평가 프레임워크는 https://github.com/ku-nlp/AMI-ME 에서 확인할 수 있습니다.
다자간 환경에서의 장기 대화 메모리는 긴 대화에서 관련 내용을 검색하는 것 이상을 요구한다. 즉, 누가 무엇을 말했는지, 각 발화가 누구에 관한 것인지, 개인들이 서로를 어떻게 인식하는지, 그룹이 공유하는 정보가 무엇인지, 그리고 상태가 시간에 따라 어떻게 변하는지를 구분해야 한다. 다자간 대화 벤치마크에 대한 최근 연구들은 기존의 범용 LLM 메모리 시스템이 개인 및 그룹 관계를 잃어버리거나, 구성원·그룹·시간에 걸쳐 분산된 단서를 통합하는 데 어려움을 겪는 경향이 있음을 보여준다. 이러한 문제들은 두 가지 핵심 병목, 즉 다자간 대화에서의 메시지 귀속(attribution) 및 관계 이해와, 뒤섞인 이력으로부터의 상태 재구성을 드러낸다. 이 둘을 해결하기 위해 우리는 $\textbf{SpeakerMem-R1}$을 제안한다. 이 시스템의 이중 트랙 메모리는 화자가 표시된 원문(verbatim) 메시지와, 개인 수준 및 그룹 수준 뷰로 구성된 파생 상태를 저장하며, 질의 시점에 엔티티, 이벤트, 시간을 기준으로 두 트랙의 증거를 결합한다. 구조화된 메모리를 구축하는 동안 발생하는 귀속 및 갱신 오류를 줄이고 로컬 배포를 가능하게 하기 위해, 우리는 SpeakerLevenshtein과 화자 조건부 GRPO로 Writer-R1을 학습한다. GroupMemBench, SocialMemBench, EverMemBench에서 SpeakerMem-R1은 이진 정확도(binary accuracy) 각각 47.9%, 69.2%, 61.9%를 달성한다. EverMind-AI가 공개 보고한 EverMemBench 리더보드에서는 62.33%를 달성하였으며, 이는 최신 최첨단 프레임워크 중 보고된 최고 결과이다. 또한 두 사람 간 장기 대화 경계 테스트로 사용한 LoCoMo의 전체 1,986개 질문에서 70.85%를 달성한다. 305개 질문에 대한 통제된 평가에서, RL은 SFT Writer의 평균 정확도를 57.38%에서 68.20%로 끌어올린다. 우리는 이진 정확도와 토큰(token) F1을 모두 보고하며, 절제 실험(ablation)을 통해 표준화된 평가 인터페이스 하에서 원문 트랙과 구조화 트랙, 그리고 개인 수준 뷰와 그룹 수준 뷰가 서로 상호 보완적임을 보인다.
다자간 대화에서 옴니모달 대규모 언어 모델(OLM)을 평가하려면 사전 세그먼트된 입력에 대한 답변 정확성만으로는 부족하다. 우리는 SocialOmni를 제안한다. 이는 오프라인 진단 벤치마크로, 턴 수준에서 세 가지 결정을 분리한다: 누가 말하고 있는지 식별하는 것, 주석이 달린 쿼리 시점에 지정된 참가자가 언제 개입해야 하는지 결정하는 것, 그 참가자가 대화를 어떻게 이어가야 하는지 결정하는 것. SocialOmni는 2,000개의 지각(perception) 항목과 품질 관리된 핵심 분할로 200개의 상호작용 생성 항목을 포함하며, 자연적으로 발생하는 화자-가시성 불일치도 담고 있다. 각 항목은 세 명의 인간 주석자가 독립적으로 검증한다. 평가 대상 시스템은 쿼리 시점에 한정된 멀티모달 증거만 받으며, 수동으로 검증된 참조 연속(continuation)은 응답 채점용으로 따로 보류한다. 완전한 3심사관 앙상블이 모든 해당 응답을 채점하며, leave-one-judge-out 및 family-sensitivity 감사를 수행한다. 11개 OLM에 걸쳐 순위는 축별로 크게 달라지며, 커버리지 보정 점수는 높은 조건부 응답 품질이 선택적 턴 진입에 의존하는 경우를 드러낸다. 이 프로토콜은 지속적인 스트리밍 상태나 실제 경과 시간(wall-clock latency)을 측정하지 않는다.