현재의 멀티모달 정서 컴퓨팅(Multimodal Affective Computing, MAC) 시스템은 인간의 정서 상태를 정확히 이해하기 위해 여러 모달리티의 완전성에 크게 의존하고 있습니다. 그러나 실제 환경에서는 모달리티 데이터의 가용성이 동적이며 불확실한 경우가 많고, 불완전한 멀티모달 입력으로 인한 분포 변화와 의미적 결손으로 인해 상당한 성능 변동이 발생합니다. 모달리티 결측(missing modality) 문제로 알려진 이 과제는 MAC 모델의 강건성과 실제 배포에 중대한 장벽이 됩니다. 이러한 문제를 체계적으로 정량화하기 위해, 본 논문에서는 교차 모달 시너지(cross-modal synergy) 관점에서 공정하고 통일된 평가 표준을 정립하도록 설계된 포괄적인 벤치마크인 MissMAC-Bench를 소개합니다. 더 나은 일반화를 보장하기 위해 학습(training) 중 결측에 대한 사전 지식을 가정하지 않는 원칙과, 완전한 모달리티 및 불완전한 모달리티 시나리오를 모두 처리할 수 있는 단일 모델(model)을 요구하는 두 가지 가이드라인을 제안합니다. 나아가 학술 연구와 실제 응용 간의 간극을 좁히기 위해, 본 벤치마크는 데이터셋(dataset) 및 인스턴스 수준에서 고정 및 무작위 결측 패턴을 모두 포함하는 평가 프로토콜을 통합합니다. 4개 데이터셋에 걸쳐 널리 사용되는 3개 언어 모델을 대상으로 수행한 광범위한 실험을 통해, 모달리티 결측 문제를 해결하는 다양한 MAC 접근법의 유효성을 검증합니다. 본 벤치마크는 강건한 MAC의 발전을 위한 견고한 기반을 제공하며 멀티미디어 데이터 마이닝의 발전을 촉진합니다. 코드는 https://github.com/RH-Lin/MissMAC-Bench 에 공개되어 있습니다.
스파이킹 신경망(SNN)은 뉴런 수준에서 생물학적으로 영감을 받은 동역학을 통해 이벤트 기반 연산을 가능하게 하는 반면, 전문가 혼합(MoE)은 모델 수준에서 전문가 선택을 통해 조건부 연산을 수행합니다. 이들의 장점을 결합하면 유연한 신경망 구조를 구축할 수 있는 잠재력이 생깁니다. 그러나 핵심적인 과제는 스파이킹 활동을 기반으로 하는 전문가 선택 메커니즘을 설계하는 데 있습니다. 이를 해결하기 위해 본 논문에서는 해마 CA1 영역에서 관찰되는 경쟁-억제(competition-inhibition)에서 영감을 얻은 스파이크 기반 k-WTA 라우터를 도입합니다. 이 라우터는 측두 억제(lateral inhibition)와 불응기(refractory period)를 결합하여 이산적인 스파이크 수에 따라 상위 K개(Top-K) 전문가를 선택합니다. 이를 바탕으로 뉴런 수준의 스파이킹 동역학과 모델 수준의 전문가 선택을 통합하는 프레임워크인 SpikeMoE를 제안합니다. 또한 멀티모달 과제에서 불완전한 다중 감각 입력을 처리하기 위해, 관측된 모달리티 풀의 경험적 프로토타입과 모달리티별 학습 가능한 임베딩(embedding)을 결합하여 결측 모달리티 표현을 구축하는 2단계 결측 모달리티 모델링 모듈을 SpikeMoE에 추가로 탑재했습니다. 비전, 언어 및 멀티모달 벤치마크(benchmark)에 대한 실험 결과는 SpikeMoE가 SNN 베이스라인 중 최고 수준의 성능을 달성하고, 이에 상응하는 인공신경망(ANN)의 성능과 일치하거나 이를 능가하며, 다양한 결측 모달리티 조건 전반에서 견고성을 유지함을 보여줍니다. 이러한 결과는 성능과 에너지 효율성 간의 우수한 절충점(trade-off)을 입증하여, 스파이킹 동역학과 희소 전문가 연산의 통합 타당성을 검증하고 에너지 효율적인 뇌 모사 컴퓨팅을 위한 유망한 접근법으로서 SpikeMoE의 가치를 부각합니다.
RGB-D 의미 분할은 눈에 띄는 진전을 이루었지만, 대부분의 모델은 RGB와 깊이(depth)가 항상 사용 가능하다고 가정한다. 실제로는 감시 센서의 고장이나 가림(occlusion)으로 인해 한쪽 모달리티가 사라지는 경우가 많다. RGB 또는 깊이만으로도 충분한 단서를 담을 수 있지만, 전체 모달리티 입력만으로 학습된 모델은 한쪽 모달리티가 없어지면 남은 모달리티를 활용하지 못해 성능이 크게 저하된다. 우리는 이 문제를 간단한 지속 학습(continued training) 패러다임인 Condition Dropout(ConD)으로 해결한다. ConD는 전체 모달리티 정확도를 유지하면서 성능 저하를 완화한다. 사전학습된 RGB-D 모델에서 출발하여, ConD는 두 번째 단계를 추가한다. 이 단계에서는 완전한 입력, RGB 결측 입력, 깊이 결측 입력을 무작위로 시뮬레이션하고, 원래 인코더를 고정(freeze)한 뒤, 복사한 인코더를 영-초기화(zero-initialized) 특징(feature) 주입과 함께 학습한다. NYU-Depth V2와 SUN RGB-D에서의 실험은 ConD가 결측 모달리티 상황에서 견고성(robustness)을 향상시키며, 모달리티가 모두 있을 때에도 약간의 성능 향상을 보인다는 것을 보여준다. 우리 코드는 논문 채택 시 공개될 예정이다.
멀티모달 의료 모델은 입력이 누락될 때 성능이 저하되는 경우가 많으며, 이는 실제 임상 워크플로우에서 흔히 발생하는 상황이다. 또한 모든 모달리티가 존재하는 경우에도 학습 중 모달리티 지배(modality dominance) 현상이 관찰되는데, 이는 최적화 과정이 예측력이 높은 모달리티에 과도하게 의존하고 보완적인 모달리티를 충분히 학습하지 못해 부분적 가용성 환경에서 낮은 강건성을 초래한다. 학습 시 모달리티 녹아웃(modality knockout)은 누락된 모달리티에 대한 강건성을 향상시키지만, 기존 방법들은 학습 중 변화하는 모달리티 유용성에 적응하지 못하는 정적 마스킹 비율을 사용한다. 우리는 검증 유용성에 기반하여 모달리티별 녹아웃 확률을 학습하는 동적 학습 전략인 ShapKO(Shapley-Adaptive Modality Knockout)를 제안한다. ShapKO는 모달리티 부분집합 전반에 걸쳐 주기적으로 성능을 평가하고, Shapley 값을 통해 모달리티 중요도를 추정하며, 지배적인 모달리티를 더 빈번하게 억제하도록 마스킹 확률을 업데이트한다. 이 적응적 과정은 구조적 수정 없이도 보완적 표현을 촉진한다. 우리는 다중작업 임상 분류, 생존 예측, 암 탐지를 포함하는 세 가지 데이터셋에서 ShapKO를 평가한다. ShapKO는 모달리티 부재 환경에서 일관되게 성능을 향상시키며, 학습된 마스킹 동작의 해석 가능한 궤적을 제공한다. 코드는 https://github.com/sumona00/ShapKO 에서 확인할 수 있다.
다중 매개변수 MRI를 활용한 정확한 뇌종양 분할은 효과적인 치료 계획 수립에 필수적이다. 그러나 임상 환경에서는 모든 MRI 시퀀스를 완전히 획득하는 것이 항상 가능하지 않다. 특정 MRI 모달리티의 부재는 기존 분할 방법의 성능을 크게 저하시키는데, 이러한 방법들은 일반적으로 단순한 특징 연결(concatenation)이나 직접적인 융합 전략에 의존한다. 이러한 한계를 해결하기 위해, 본 논문은 모달리티 누락 환경에서 안정적인 성능을 유지하도록 설계된 새로운 분할 모델 D3Seg를 제안한다. D3Seg는 고차 모달리티 간 의존성을 모델링하는 Multi-hop Modality Graph Fusion(MMGF), 잠재 공간에서 누락된 T1ce 및 FLAIR 특징 표현을 보완하는 경량 확산 기반 대체(imputation) 메커니즘, 그리고 지배적 클래스의 과신(overconfidence)을 완화하고 과소 표현된 종양 하위 영역의 경계 구분을 개선하는 확률 공간 결정 정제(probability-space decision refinement)를 도입한다. 제안된 D3Seg 모델은 BraTS 2023 Glioma를 주요 벤치마크로 평가하고, 종양 병리 전반에 걸친 일반화 성능을 평가하기 위해 외부 데이터셋인 BraTS 2023 Meningioma 코호트의 일부에서 추가 테스트를 수행한다. 다양한 모달리티 누락 조건에서 최신 모델들과 비교한 결과, 제안된 모델은 BraTS Glioma 데이터셋에서 현재 최고 성능 모델 대비 여러 모달리티 누락 구성에서 강화 종양(ET, enhancing tumor)에 대해 약 1.5~2.0%, 종양 핵심부(TC, tumor core)에 대해 약 1.0%의 Dice 점수 향상을 달성한다. BraTS Meningioma 데이터셋에서의 코호트 간 평가는 제안된 모델의 일반화 가능성을 입증하며, 여러 모달리티 누락 구성에서 난이도가 높은 TC 및 ET 영역에서 각각 약 1.5~3.0%, 1.5~6.5%의 일관된 성능 향상을 보인다.
우리는 결측 모달리티(missing modalities)가 존재하는 상황에서의 멀티모달 학습을 연구합니다. 이는 의사결정이 필요한 시점에 이질적인 모달리티가 부분적으로만 사용 가능한 경우가 많은 생명과학 응용 분야에서 특히 동기를 얻었습니다. 우리는 잠재 세계 복구(Latent World Recovery, LWR)를 제안합니다. 이 프레임워크는 두 가지 핵심 아이디어에 기반합니다: (i) 서로 다른 모달리티의 모달리티 특화 임베딩(embedding)들이 공유된 잠재 공간에서 정렬되며, (ii) 학습(training) 및 추론(inference) 시점에 실제로 사용 가능한 모달리티의 임베딩만 융합하여 통합된 표현(representation)을 구성합니다. 결측 모달리티를 대체(imputation)하거나 고정된 모달리티 세트를 요구하는 대신, LWR은 각 모달리티를 기저 잠재 상태에 대한 부분적 인지(perception)로 간주하고 관찰된 모달리티로부터 직접 가용성 인지 표현 학습을 수행합니다. 이러한 이웃 기반 잠재 정렬과 가용성 인지 모달리티 융합의 결합은 결측 모달리티의 명시적 재구성으로 인한 오류 전파를 피하면서, 부분적 관찰 하에서 견고한 멀티모달 예측을 가능하게 합니다. 우리는 제안된 프레임워크를 실제 불완전한 멀티-오믹스(multi-omics) 벤치마크에서 평가하고, 암 표현형 분류(classification) 및 생존 예측과 같은 하위 작업에 효과적인 접근 방식을 제공함을 입증합니다.
현대 의학은 방사선학, 병리학, 텍스트 보고서, 구조화된 임상 정보에 걸친 이질적인 데이터 소스에 의존한다. 그러나 실제 환자 데이터는 빈번히 불완전하며, 모달리티가 누락되거나 희소하게 수집되어 표준적인 멀티모달 융합 접근법의 효과를 제한한다. 이를 위해, 우리는 누락 데이터 하에서 모달리티 수준의 표현 학습을 수행하는 분해 인식 적응형 게이티드 중간 융합 프레임워크인 멀티모달 유연 중복 인식 분해 게이티드 학습(Multi-FRuGaL) 프레임워크를 제안한다. Multi-FRuGaL은 신호 분해 층, 입력 조건부 게이팅 네트워크, 정보 인식 융합 목적 함수를 갖춘 모달리티별 인코더를 통합하여 중복 신호와 모달리티별 보완 신호를 분리하고, 정보량이 많은 모달리티에는 가중치를 높이며 중복되거나 노이즈가 있는 입력은 억제하고, 다수의 모달리티가 부재한 경우에도 안정적으로 동작한다. 우리는 Multi-FRuGaL을 두 개의 멀티모달 두경부암 코호트에서 평가한다: 5가지 모달리티와 두 가지 예후 엔드포인트(5년 생존 및 2년 재발)로 구성된 HANCOCK 챌린지 데이터셋(N = 763), 그리고 인유두종바이러스(HPV) 상태 분류를 위한 3가지 모달리티로 구성된 HECKTOR 챌린지 데이터셋(N = 588). Multi-FRuGaL은 여러 태스크에 걸쳐 평가된 기준선 모델들보다 일관되게 높은 평균 성능을 달성하며, 생존에 대한 AUC를 0.601에서 0.8496으로, 재발에 대한 AUC를 0.672에서 0.8102로 향상시키고, HECKTOR에서 HPV 예측에 대해 AUC 0.975를 달성한다. 생존 분석에서는 HANCOCK에서 전체 생존에 대한 일치 지수(concordance index) 0.6814, 재발 없는 생존에 대한 0.7421, 무진행 생존에 대한 0.7143을 달성하고, HECKTOR에서 재발 없는 생존에 대한 0.7203을 달성한다. 정성적 분석은 Multi-FRuGaL이 심각한 모달리티 누락 조건에서도 판별적이고 강건한 멀티모달 표현을 학습함을 추가로 보여준다.