MissMAC-Bench: 강건한 멀티모달 정서 컴퓨팅의 모달리티 결측 문제를 다루기 위한 견고한 벤치마크 구축
MissMAC-Bench: Building Solid Benchmark for Missing Modality Issue in Robust Multimodal Affective Computing
현재의 멀티모달 정서 컴퓨팅(Multimodal Affective Computing, MAC) 시스템은 인간의 정서 상태를 정확히 이해하기 위해 여러 모달리티의 완전성에 크게 의존하고 있습니다. 그러나 실제 환경에서는 모달리티 데이터의 가용성이 동적이며 불확실한 경우가 많고, 불완전한 멀티모달 입력으로 인한 분포 변화와 의미적 결손으로 인해 상당한 성능 변동이 발생합니다. 모달리티 결측(missing modality) 문제로 알려진 이 과제는 MAC 모델의 강건성과 실제 배포에 중대한 장벽이 됩니다. 이러한 문제를 체계적으로 정량화하기 위해, 본 논문에서는 교차 모달 시너지(cross-modal synergy) 관점에서 공정하고 통일된 평가 표준을 정립하도록 설계된 포괄적인 벤치마크인 MissMAC-Bench를 소개합니다. 더 나은 일반화를 보장하기 위해 학습(training) 중 결측에 대한 사전 지식을 가정하지 않는 원칙과, 완전한 모달리티 및 불완전한 모달리티 시나리오를 모두 처리할 수 있는 단일 모델(model)을 요구하는 두 가지 가이드라인을 제안합니다. 나아가 학술 연구와 실제 응용 간의 간극을 좁히기 위해, 본 벤치마크는 데이터셋(dataset) 및 인스턴스 수준에서 고정 및 무작위 결측 패턴을 모두 포함하는 평가 프로토콜을 통합합니다. 4개 데이터셋에 걸쳐 널리 사용되는 3개 언어 모델을 대상으로 수행한 광범위한 실험을 통해, 모달리티 결측 문제를 해결하는 다양한 MAC 접근법의 유효성을 검증합니다. 본 벤치마크는 강건한 MAC의 발전을 위한 견고한 기반을 제공하며 멀티미디어 데이터 마이닝의 발전을 촉진합니다. 코드는 https://github.com/RH-Lin/MissMAC-Bench 에 공개되어 있습니다.