arXiv:2608.01635v1 cs.CV

공간-주파수 시각적 앵커 학습을 통한 멀티모달 대규모 언어 모델(MLLM)의 시각적 성능 저하 완화

Mitigating Visual Degradation in MLLMs via Spatial-Spectral Visual Anchor Learning

Qianlong Yang, Bowen Ye, Xianda Guo, Yanlun Peng, Wenke Huang, Hongyuan Zhang, Yulei Jia

제출 2026-08-03

한국어 초록

멀티모달 대규모 언어 모델(MLLM)의 발전에도 불구하고, 이들 모델은 시각적 인지에서 여전히 결함을 보입니다. 시각적 지시 미세조정(visual instruction tuning) 이후, 추론 과정에서 MLLM의 내부 표현은 원래의 의미적 상태에서 급격히 벗어나 심각한 정보 저하를 유발합니다. 기존 방법들은 내부 표현을 정렬하기 위해 외부 비전 기반 모델(VFM)을 활용하고자 하지만, VFM과의 직접적인 정렬은 시각적 의미를 향상시키지만 표현의 이탈을 완화하지는 못함을 발견했습니다. 이를 해결하기 위해 공간-주파수 시각적 앵커 학습(Spatial-Spectral Visual Anchor Learning, SSVAL)을 제안합니다. SSVAL의 핵심은 시각적 앵커 프롬프트 주입(Visual Anchor Prompt Injection, VAPI)으로, 학습 중에 외부 VFM으로부터 풍부한 지식을 흡수하는 프롬프트를 도입하여 추론 중에 표현 이탈을 완화하는 안정적인 시각적 앵커 역할을 하도록 합니다. 또한, 중간 LLM 레이어에서 상호보완적인 비전 특화 감독을 제공하기 위해 보조적인 공간 및 주파수 영역 표현 정렬 손실을 통합합니다. 광범위한 실험을 통해 SSVAL이 기존 방법들보다 크게 뛰어난 성능을 보임을 입증합니다. 코드는 프로젝트 페이지(\href{https://msls38.github.io/SSVAL/}{project page})에서 확인할 수 있습니다.

원문 초록

Despite the progress of multimodal large language models (MLLMs), they continue to exhibit deficiencies in visual perception. Following visual instruction tuning, internal MLLM representations rapidly deviate from their original semantic states during inference, causing severe information degradation. While existing methods attempt to leverage external vision foundation models (VFMs) to align internal representations, we find that direct alignment with VFMs enhances visual semantics but fails to mitigate representation deviation. To address this, we propose Spatial-Spectral Visual Anchor Learning (SSVAL). The core of SSVAL is Visual Anchor Prompt Injection (VAPI), which introduces prompts that absorb rich knowledge from external VFMs during training, enabling them to serve as stable visual anchors that mitigate representation deviation during inference. Additionally, we incorporate auxiliary spatial and frequency-domain representation alignment losses to provide complementary vision-specific supervision at intermediate LLM layers. Extensive experiments demonstrate that SSVAL significantly outperforms existing methods. Code are available on our \href{https://msls38.github.io/SSVAL/}{project page}.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.01635v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.