FairSSL: 공정한 멀티모달 자기지도학습
FairSSL: Fair Multimodal Self-Supervised Learning
널리 사용되는 멀티모달 자기지도학습(SSL) 방법론들은 서로 다른 뷰(view)가 태스크와 관련된 상당한 양의 정보를 공유한다는 중복성(redundancy) 가정에 의존합니다. 본 연구에서는 이질성(heterogeneity, 예: 가변 길이의 의료 또는 행동 데이터)이 두드러지는 복잡한 실세계 환경에서는 이러한 가정이 무너지며, 엄격한 정렬(alignment)을 강제할 경우 고유한 모달리티별 신호가 손실되고 의도치 않게 바이어스가 증폭될 수 있음을 주장합니다. 이에 따라 본 논문에서는 데이터 이질성을 장애물이 아닌 공정성을 위한 자원으로 활용하는 프레임워크인 FairSSL을 제안합니다. 일반적인 대조 학습(contrastive learning) 방식과 달리, FairSSL은 동일한 피험자(subject)로부터 추출된 세그먼트 간의 정렬을 강제하는 피험자 인지 기반 분산-불변성-공분산 정규화(Variance-Invariance-Covariance Regularization) 목적 함수를 사용합니다. 가변 길이 모달리티를 다루기 위해 세그먼트 기반 풀링 전략을 도입하며, (i) 충분한 피험자 내 변동성(within-subject variability), (ii) 교차 모달 및 교차 피험자 불변성(cross-modal and cross-subject invariance), (iii) 표현 비상관화(representation decorrelation)를 유도하도록 표현을 정규화합니다. 이론적 분석을 통해 본 목적 함수가 보호 집단 간의 점수 격차를 제한함을 보입니다. 실증적으로 FairSSL은 이질적 멀티모달 데이터셋에서 기존 베이스라인 모델들을 크게 능가하며, 다운스트림 예측 성능을 저하시키지 않고도 공정성을 개선합니다. 코드는 https://github.com/abtinmU/FairSSL 에서 확인할 수 있습니다.