Low-Rank Adaptation for Multilingual Summarization: An Empirical Study
원문 초록
Although the advancements of pre-trained Large Language Models have significantly accelerated recent progress in NLP, their ever-increasing size poses significant challenges for conventional fine-tuning, especially in memory-intensive tasks. We investigate the potential of Parameter-Efficient Fine-Tuning, focusing on Low-Rank Adaptation (LoRA), in the domain of multilingual summarization, a task that is both challenging (due to typically long inputs), and relatively unexplored. We conduct an extensive study across different data availability scenarios, including high- and low-data settings, and cross-lingual transfer, leveraging models of different sizes. Our findings reveal that LoRA is competitive with full fine-tuning when trained with high quantities of data, and excels in low-data scenarios and cross-lingual transfer. We also study different strategies for few-shot cross-lingual transfer, finding that continued LoRA tuning outperforms full fine-tuning and the dynamic composition of language-specific LoRA modules.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Bridging the Linguistic Divide: A Survey on Leveraging Large Language Models for Machine Translation
마스크 미세조정을 통한 대규모 언어 모델 성능 향상
Boosting Large Language Models with Mask Fine-Tuning
대규모 언어 모델(LLM)은 일반적으로 주류 최적화 프로토콜에 통합됩니다. 그러나 모델의 무결성을 유지하는 것이 유의미한 성능을 위해 \textit{필수적}인지는 아직 충분히 탐구되지 않았습니다. 본 연구에서는 모델 가중치를 업데이트하지 않고도 모델의 구조적 무결성을 정교하게 깨뜨림으로써 놀랍게도 성능을 향상시킬 수 있음을 입증하는 새로운 LLM 미세조정 패러다임인 마스크 미세조정(Mask Fine-Tuning, MFT)을 소개합니다. MFT는 표준 LLM 미세조정 목적 함수를 감독 신호로 사용하여, 잘 최적화된 모델에 적용할 이진 마스크를 학습하고 적용합니다. 완전히 미세조정된 모델을 기반으로, MFT는 동일한 미세조정 데이터셋을 활용하여 여러 도메인 및 백본 전반에서 일관된 성능 향상을 달성합니다(예: LLaMA2-7B/3.1-8B 기반 IFEval에서 평균 2.70/4.15 향상). 상세한 절제 연구(ablation study) 및 분석을 통해 희소 비율(sparse ratio)과 손실 표면(loss surface)을 포함한 다양한 관점에서 제안된 MFT를 검토합니다. 또한 잘 훈련된 모델에 적용할 경우, MFT는 다른 LLM 최적화 절차와도 호환되어 전반적인 모델 성능을 향상시킵니다. 나아가 본 연구는 모델 압축을 위한 네트워크 가지치기에서의 전통적 용도를 넘어 마스킹 연산을 확장하여 더 광범위한 모델 역량을 아우르도록 합니다.
Exploring Sparsity for Parameter Efficient Fine Tuning Using Wavelets for Vision
LoSiA: Efficient High-Rank Fine-Tuning via Subnet Localization and Optimization
Detecting Referring Expressions in Visually Grounded Dialogue with Autoregressive Language Models
GuiLoMo: Allocating Expert Number and Rank for LoRA-MoE via Bilevel Optimization with GuidedSelection Vectors
토론
이 논문과 연결된 포럼 글이 아직 없습니다.