공간-주파수 시각적 앵커 학습을 통한 멀티모달 대규모 언어 모델(MLLM)의 시각적 성능 저하 완화
Mitigating Visual Degradation in MLLMs via Spatial-Spectral Visual Anchor Learning
멀티모달 대규모 언어 모델(MLLM)의 발전에도 불구하고, 이들 모델은 시각적 인지에서 여전히 결함을 보입니다. 시각적 지시 미세조정(visual instruction tuning) 이후, 추론 과정에서 MLLM의 내부 표현은 원래의 의미적 상태에서 급격히 벗어나 심각한 정보 저하를 유발합니다. 기존 방법들은 내부 표현을 정렬하기 위해 외부 비전 기반 모델(VFM)을 활용하고자 하지만, VFM과의 직접적인 정렬은 시각적 의미를 향상시키지만 표현의 이탈을 완화하지는 못함을 발견했습니다. 이를 해결하기 위해 공간-주파수 시각적 앵커 학습(Spatial-Spectral Visual Anchor Learning, SSVAL)을 제안합니다. SSVAL의 핵심은 시각적 앵커 프롬프트 주입(Visual Anchor Prompt Injection, VAPI)으로, 학습 중에 외부 VFM으로부터 풍부한 지식을 흡수하는 프롬프트를 도입하여 추론 중에 표현 이탈을 완화하는 안정적인 시각적 앵커 역할을 하도록 합니다. 또한, 중간 LLM 레이어에서 상호보완적인 비전 특화 감독을 제공하기 위해 보조적인 공간 및 주파수 영역 표현 정렬 손실을 통합합니다. 광범위한 실험을 통해 SSVAL이 기존 방법들보다 크게 뛰어난 성능을 보임을 입증합니다. 코드는 프로젝트 페이지(\href{https://msls38.github.io/SSVAL/}{project page})에서 확인할 수 있습니다.