arXiv:2407.12498

Evaluating Linguistic Capabilities of Multimodal LLMs in the Lens of Few-Shot Learning

Mustafa Dogan, Ilker Kesen, Iacer Calixto, Aykut Erdem, Erkut Erdem

제출 2024-07-17

원문 초록

The linguistic capabilities of Multimodal Large Language Models (MLLMs) are critical for their effective application across diverse tasks. This study aims to evaluate the performance of MLLMs on the VALSE benchmark, focusing on the efficacy of few-shot In-Context Learning (ICL), and Chain-of-Thought (CoT) prompting. We conducted a comprehensive assessment of state-of-the-art MLLMs, varying in model size and pretraining datasets. The experimental results reveal that ICL and CoT prompting significantly boost model performance, particularly in tasks requiring complex reasoning and contextual understanding. Models pretrained on captioning datasets show superior zero-shot performance, while those trained on interleaved image-text data benefit from few-shot learning. Our findings provide valuable insights into optimizing MLLMs for better grounding of language in visual contexts, highlighting the importance of the composition of pretraining data and the potential of few-shot learning strategies to improve the reasoning abilities of MLLMs.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2505.05145cs.LG공통 태그 Few-Shot Learning, In-Context Learning

활성화 부분공간을 통한 덧셈 문맥 내 학습의 이해

Understanding In-context Learning of Addition via Activation Subspaces

퓨샷(few-shot) 학습을 수행하기 위해 언어 모델(model)은 몇 개의 입력-라벨 쌍에서 신호를 추출하고, 이를 학습된 예측 규칙으로 취합한 뒤, 새로운 입력에 이 규칙을 적용합니다. 이러한 과정은 현대 트랜스포머(transformer) 모델의 순전파(forward pass)에서 어떻게 구현될까요? 이 질문을 탐구하기 위해, 우리는 입력에 정수 $k$를 더하는 것이 참인 예측 규칙인 구조화된 퓨샷 학습 태스크 패밀리를 연구합니다. 우리는 모델의 퓨샷 학습 능력을 단 몇 개의 어텐션(attention) 헤드로 국소화하는 새로운 방법을 소개합니다. 이 방법과 연구 결과는 산술 및 의미론적 태스크에 걸친 네 가지 추가 태스크 패밀리로 일반화됩니다. 그런 다음 차원 축소와 헤드 출력 공간의 분해를 통해 개별 헤드에 대한 심층 분석을 수행합니다. 예를 들어 Llama-3-8B-Instruct에서 우리는 이러한 태스크의 기저 메커니즘을 6차원 부분공간을 가진 단 3개의 어텐션 헤드로 축약하며, 여기서 4개 차원은 주기 $2$, $5$, $10$을 갖는 삼각함수를 사용하여 일의 자리 숫자를 추적하고, 2개 차원은 저주파 성분을 사용하여 크기를 추적합니다. 이 메커니즘에 대한 이해를 심화하기 위해, 우리는 어텐션 헤드의 ''취합자(aggregator)'' 및 ''추출자(extractor)'' 부분공간을 연결하는 수학적 항등식을 유도하여 개별 예시에서 최종 취합된 개념으로 이어지는 정보의 흐름을 추적할 수 있도록 합니다. 우리의 결과는 순전파 전반에 걸쳐 국소화된 헤드의 저차원 부분공간을 추적하는 것이 언어 모델의 세밀한 계산 구조에 대한 통찰을 어떻게 제공할 수 있는지를 보여줍니다. 우리의 코드는 https://github.com/xyVickyHu/addition-subspaces 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.