MWOP: 효율적인 MLLM을 위한 모달리티 인지 너비 단위 연산 가지치기
MWOP: Modality-aware Width-wise Operation Pruning for Efficient MLLMs
멀티모달 대규모 언어 모델(MLLM)은 긴 시각-텍스트 시퀀스를 처리할 때 상당한 추론 비용을 초래합니다. 기존의 연산 압축 방식들은 모달리티 수준의 중복성을 활용하지만, 어텐션 헤드 내 연산과 공유 순전파 신경망(FFN) 채널을 대체로 단일 단위로 취급하여 더 미세한 단위의 중복성은 충분히 탐색하지 못하고 있습니다. 본 연구에서는 동일한 어텐션 헤드 내의 모달리티 간 상호작용 경로와 동일한 FFN 채널의 시각 및 텍스트 실행 전반에서 중복성이 서로 다르게 나타남을 발견했습니다. 이러한 발견을 바탕으로, 각 층 내에서 시각-시각(V2V), 텍스트-시각(T2V), 텍스트-텍스트(T2T) 어텐션 경로를 독립적으로 가지치기하고, 시각 및 텍스트 입력에 대해 FFN 채널을 개별적으로 선택하는 모달리티 인지 너비 단위 연산 가지치기(MWOP)를 제안합니다. 1차 테일러 기준(first-order Taylor criterion)이 가지치기 과정을 유도하며, 어텐션 가지치기와 LoRA 기반 복구 학습을 거친 후 FFN 중요도를 재평가합니다. 그 결과로 얻어지는 미세한 희소성을 실제 가속으로 전환하기 위해, 경로 희소(path-sparse) Triton 어텐션 커널과 컴팩트한 시각 측 FFN 실행 방식을 추가로 개발했습니다. MWOP는 어텐션 및 FFN 연산을 줄이면서도 토큰 시퀀스를 보존하므로 토큰 압축 기법과 상호 보완적이며, 시퀀스 길이와 토큰당 연산량을 동시에 줄일 수 있도록 합니다. LLaVA-OneVision-7B에서 MWOP 단독으로 12개 벤치마크에 걸쳐 99.7%의 평균 성능 유지율과 함께 1.6배의 프리필(prefill) 속도 향상을 달성했습니다. 대표적인 두 가지 토큰 압축 방법과 결합했을 때는 프리필 속도 향상을 각각 2.0배 및 1.9배에서 2.9배 및 2.7배로 더욱 증가시켰습니다. Qwen2.5-VL-7B에서의 결과는 다양한 아키텍처 전반에 걸친 적용 가능성을 추가로 입증합니다. 코드는 https://github.com/EIT-NLP/MWOP 에서 이용할 수 있습니다.