통합 멀티모달 모델 내 이해와 생성 간의 격차 정량화
Quantifying the Gap between Understanding and Generation within Unified Multimodal Models
통합 멀티모달 모델(UMM)의 최근 발전은 이해와 생성 작업 모두에서 괄목할 만한 진전을 보여주었습니다. 그러나 단일 모델 내에서 이 두 가지 능력이 진정으로 정렬(alignment)되고 통합되었는지는 여전히 불분명합니다. 이러한 의문을 조사하기 위해, 본 연구에서는 이해와 생성 능력 간의 격차를 정량화하고 "통합된" 두 방향의 인지적 일관성을 정량적으로 측정하도록 설계된 양방향 벤치마크인 GapEval을 소개합니다. 각 질문은 두 가지 양식(모달리티, 이미지 및 텍스트) 모두로 답변될 수 있어, 모델의 양방향 추론(inference) 능력과 모달리티 간 일관성을 대칭적으로 평가할 수 있습니다. 실험 결과 서로 다른 아키텍처를 가진 다양한 UMM 전반에 걸쳐 두 방향 사이에 지속적인 격차가 존재함이 드러났으며, 이는 현재 모델들이 두 능력의 깊은 인지적 수렴(convergence)이 아닌 표면적 수준의 통합만을 달성하고 있음을 시사합니다. 기본 메커니즘을 추가로 탐색하기 위해, 본 논문은 근본적인 한계를 설명하고자 지식 조작 관점에서 실증적 연구를 수행합니다. 우리의 발견은 UMM 내의 지식이 종종 분리된 상태로 남아 있음을 보여줍니다. 모달리티 전반에 걸친 능력의 창발(emergence)과 지식은 동기화되지 않으며, 이는 추가적인 탐험(exploration)을 위한 기반을 마련합니다.