PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.01488v1cs.SD

다자간 맞장구 예측: 진단, 벤치마크 및 한계점

Multi-Party Backchannel Prediction: a Diagnosis, a Benchmark, and a Ceiling

맞장구(backchannel) 예측은 거의 전적으로 2인 대화(dyadic conversation) 환경에서만 연구되어 왔습니다. 본 연구에서는 AMI 말뭉치를 기반으로 171개의 회의, 190명의 화자, 18,697건의 맞장구 사건과 화자가 겹치지 않는 분할(person-disjoint held-out split)로 구성된 682개의 마스킹된 청자 뷰를 포함하는 다자간 벤치마크를 소개합니다. 회의 오디오에 제로샷(zero-shot)으로 적용된 최첨단 2인 대화 모델(model)은 무작위 수준(AUROC 0.499)의 성능을 보였으나, 동결된 음향 특징 자체는 여전히 유용한 정보를 담고 있어 선형 프로브(linear probe)는 0.704에 도달하고 예측기를 재학습하면 성능이 0.751까지 향상됩니다. 재학습은 두 번째 한계점을 드러냅니다. 청자 조건화(listener conditioning)는 학습(training) 중에 관찰된 청자에 대한 예측은 향상시키지만 미관찰 청자에게는 그렇지 못하며, 용량 축소, 청자 대립 쌍 학습(listener-adversarial training), 청자별 적응, 오라클 어휘 조건화 환경에서도 이러한 격차가 유지됩니다. 대립 쌍 학습은 화자 신원 정보의 일부만 제거하는 반면, 더 강력하게 제거하면 예측 성능이 저하되어 신원 정보가 맞장구에 유용한 단서들과 얽혀 있음을 시사합니다. 모델 내 통제 실험은 이러한 패턴을 설명하는 데 도움을 줍니다. 동일한 특징과 데이터 분할을 사용할 때 발화 시작(turn-onset) 예측은 미관찰 청자에게 전이되지만, 맞장구 예측은 전이되지 않습니다. 또한 맞장구 빈도는 발화 시작 빈도보다 개인 간 편차가 약 두 배 더 큽니다. 맞장구는 전체 프레임의 약 1%만을 차지하므로 프레임 수준 F1은 기본 비율에 큰 영향을 받습니다. 따라서 청자 활성 구간에서의 사건-F1과 함께 AUROC를 보고합니다. 본 연구는 벤치마크와 평가 도구를 https://github.com/HafsatiMohammed/bc_multiparty_release 에 공개합니다.

arXiv:2607.22729v1cs.CV

모델의 눈을 열다: 비디오 및 문맥 인식 멀티모달 백채널 예측

Open Your Model's Eyes: Video and Context-Aware Multimodal Backchannel Prediction

백채널(backchannel)은 공감과 이해와 같은 청자의 상태를 나타내며, 자연스러운 인간 상호작용의 기본 요소이다. 그러나 현재 접근법은 오디오와 텍스트에만 의존한다. 이는 정확한 예측에 필요한 표정과 제스처와 같은 중요한 시각적 단서뿐만 아니라 더 넓은 대화 문맥을 누락한다. 본 논문에서는 Multi-Layer Multimodal Alignment(MMA)를 통해 시각 정보를 활용하는 새로운 프레임워크인 Context-Aware Multimodal Alignment for Backchannel Prediction(CAMA-BC)을 제안한다. 정렬(alignment) 과정은 두 단계로 구성된다. 먼저 Context Alignment(MMA-CA)는 비디오가 포함된 라벨 없는 대화를 활용하여 대화 문맥을 포착한다. 다음으로 Backchannel Alignment(MMA-BA)는 백채널 예측을 위해 표현을 특화적으로 파인튜닝(fine-tuning)한다. 실험 결과, CAMA-BC는 기존 방법과 단순한 멀티모달 베이스라인 모두를 크게 능가하며, 공감과 같은 복잡한 백채널을 인식하는 데 특히 효과적임을 보여준다.