arXiv:2305.07358

Towards Versatile and Efficient Visual Knowledge Integration into Pre-trained Language Models with Cross-Modal Adapters

Xinyun Zhang, Haochen Tan, Han Wu, Bei Yu

제출 2023-05-12

원문 초록

Humans learn language via multi-modal knowledge. However, due to the text-only pre-training scheme, most existing pre-trained language models (PLMs) are hindered from the multi-modal information. To inject visual knowledge into PLMs, existing methods incorporate either the text or image encoder of vision-language models (VLMs) to encode the visual information and update all the original parameters of PLMs for knowledge fusion. In this paper, we propose a new plug-and-play module, X-adapter, to flexibly leverage the aligned visual and textual knowledge learned in pre-trained VLMs and efficiently inject them into PLMs. Specifically, we insert X-adapters into PLMs, and only the added parameters are updated during adaptation. To fully exploit the potential in VLMs, X-adapters consist of two sub-modules, V-expert and T-expert, to fuse VLMs' image and text representations, respectively. We can opt for activating different sub-modules depending on the downstream tasks. Experimental results show that our method can significantly improve the performance on object-color reasoning and natural language understanding (NLU) tasks compared with PLM baselines.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2502.08660v4cs.CL공통 태그 Natural Language Understanding공식 코드 · Papers with Code

사전학습 언어 모델 시대의 의미역 할당 체계적 서베이

A Systematic Survey of Semantic Role Labeling in the Era of Pretrained Language Models

의미역 할당(SRL)은 텍스트 내 술어-인수(predicate-argument) 구조를 이해하고 하위 응용을 가능하게 하는 자연어 처리(NLP)의 핵심 과제이다. 광범위한 연구에도 불구하고, 통합적 관점에서 해당 분야를 비판적으로 종합하는 포괄적 서베이는 여전히 부족하다. 본 서베이는 기존 연구를 정리하는 것을 넘어 여러 기여를 한다. 우리는 모델 아키텍처, 구문 특징 모델링, 응용 시나리오, 멀티모달 확장을 축으로 SRL 연구를 분류하는 통합 4차원 분류체계를 제안한다. 구문 특징이 언제, 왜 도움이 되는지에 대한 비판적 분석을 제공하며, 구문 보조 접근법이 구문 비사용 대안 대비 일관된 이득을 제공하는 조건을 밝힌다. 대규모 언어 모델(LLM) 시대의 SRL에 대한 최초의 체계적 논의를 제공하며, LLM과 전문 SRL 시스템의 상보적 역할을 검토하고 하이브리드 접근의 방향을 제시한다. SRL 서베이의 범위를 시각, 비디오, 음성 모달리티를 포함한 멀티모달 설정까지 확장하고, 이러한 모달리티 간 평가의 구조적 차이를 분석한다. 문헌은 ACL Anthology, IEEE Xplore, ACM Digital Library, Google Scholar에 대한 체계적 검색을 통해 수집하였으며, 2000년부터 2025년까지의 출판물을 대상으로 명시적 포함·제외 기준을 적용하여 약 200편의 핵심 참고문헌을 도출하였다. SRL 벤치마크, 평가 지표, 패러다임 모델링 접근법을 도메인 전반의 실용적 응용과 함께 논의한다. 대규모 언어 모델과 더 넓은 NLP 영향력 속에서 변화하는 SRL의 역할을 다루며, 향후 연구 방향을 분석한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.