PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.23533v1cs.CV

GeoBalance: 균형 잡힌 멀티모달 학습을 위한 기하학 인지 모니터링 및 재구성과 비대칭 최적화

GeoBalance: Geometry-Aware Monitoring and Reconstruction with Asymmetric Optimization for Balanced Multimodal Learning

멀티모달 분류기는 특정 모달리티가 결합 예측(joint prediction)을 지배하여 다른 모달리티의 학습을 억제하는 모달리티 지배적 해로 수렴할 수 있습니다. 기존의 불균형 완화 방법들은 주로 손실, 그래디언트(gradient) 또는 모달리티 기여도를 조정하며, 모달리티 불균형을 주로 최적화(optimization) 문제로 취급하는 동시에 취약한 모달리티를 최적화가 덜 되었을 뿐 표현적으로는 온전하다고 암묵적으로 간주합니다. 본 연구에서는 지속적인 모달리티 지배가 취약한 모달리티의 표현 수준 붕괴를 유발할 수 있으므로 이러한 가정이 항상 성립하지는 않음을 발견하고, 이를 다양체 모달리티 붕괴(manifold modality collapse, MMC)라고 명명합니다. MMC는 취약한 모달리티의 표현이 각 클래스 내에서 더 적은 방향으로 붕괴되고 클래스 간 구분이 어려워지는 결합된 기하학적 퇴보로 나타납니다. 이러한 관찰에 착안하여, 본 논문은 이 두 가지 기하학적 특성을 모니터링하고 MMC 징후를 보일 때만 취약한 모달리티 표현을 재구성하는 기하학 인지 프레임워크인 GeoBalance를 제안합니다. 일단 작동되면 GeoBalance는 고정된 Simplex-ETF 클래스 스캐폴드(scaffold)와 스펙트럼 정규화(regularization)를 사용하여 소수의 특징(feature) 방향으로의 붕괴를 방지하면서 클래스 분리도를 복원합니다. 결합 학습(joint training) 중에 재구성을 보존하기 위해 비대칭 그래디언트 투영은 재구성과 충돌하는 결합 그래디언트 성분을 제거하고 충돌하지 않는 최적화는 그대로 유지합니다. 6개의 멀티모달 벤치마크(benchmark)에 걸친 광범위한 실험을 통해 경쟁력 있는 불균형 완화 방법 대비 큰 폭의 성능 향상을 입증함으로써 그 효과를 검증합니다.