Gestalt: 대규모 다중모달 상호작용 모델
Gestalt: Large Multimodal Interplay Model
본 논문에서는 다중모달 상호작용(multimodal interplay)을 중심으로 구축된 대규모 다중모달 모델(large multimodal model)의 새로운 패러다임인 Gestalt를 제안합니다. 급격한 발전에도 불구하고 기존 대규모 다중모달 모델들은 병목에 직면하고 있습니다. 기존 접근 방식들은 각 모달리티의 고유한 특성과 모달리티 간의 관계를 간과한 채 주로 추가적인 모달리티를 수용하는 데만 집중하기 때문입니다. 인간의 다감각 지각이 지닌 다단계 특성에 착안하여, 본 연구는 모달리티별 처리에서 시작하여 교차 모달 정렬(cross-modal alignment)을 거쳐 더 깊은 다중모달 통합으로 나아가는 과정으로 다중모달 모델링을 체계화하는 다중모달 상호작용 피라미드(multimodal interplay pyramid)를 제안합니다. 이 피라미드를 기반으로 Gestalt는 통합된 이산 확산(discrete diffusion) 프레임워크와 상호작용 분할 구조를 채택하며, 학습 가능한 상호작용 토큰이 교차 모달 교환 및 통합을 매개하도록 합니다. 또한 이 피라미드는 데이터 구성 및 학습 전략도 체계화합니다. 이미지 생성, 다중모달 이해, 텍스트 전용 평가 전반에 걸친 뛰어난 성능은 Gestalt가 모달리티별 정보를 보존하면서 교차 모달 통합을 크게 향상시키고, 확산 기반 다중모달 모델의 장점을 효과적으로 활용하여 통합 다중모달 인공지능을 향한 유망한 경로를 제시함을 보여줍니다. 프로젝트 페이지: https://GeWu-Lab.github.io/Gestalt