LORA-CRAFT: 사전학습 어텐션 가중치의 동결 Tucker 분해를 통한 층 간 랭크 적응
LORA-CRAFT: Cross-layer Rank Adaptation via Frozen Tucker Decomposition of Pre-trained Attention Weights
본 논문은 LoRA-CRAFT(Cross-layer Rank Adaptation via Frozen Tucker, 이하 CRAFT)를 제안한다. CRAFT는 트랜스포머 층 전반에 쌓인 사전학습 어텐션 가중치 행렬에 Tucker 텐서 분해를 적용하고, 그 결과로 얻은 동결(frozen) Tucker 인수들에 대해서만 작은 정사각 적응 행렬을 학습하는, 극도로 매개변수 효율적인 미세조정(PEFT) 방법이다. 기존 텐서 기반 PEFT 방법들은 그래디언트 갱신을 분해한다. LoTR은 공유 인수 행렬과 함께 Tucker 분해를 적용하고, SuperLoRA는 층 간 $\Delta W$를 묶어 재구성한 뒤 Tucker 분해를 적용한다. 별도로 PiSSA 같은 방법은 사전학습 가중치에 SVD를 적용하지만 층마다 독립적으로 동작한다. CRAFT는 이 두 연구 계열을 잇는다. 사전학습 가중치를 층 간 3차원 텐서로 구성한 뒤 고차 SVD(HOSVD)로 전체 Tucker 분해를 수행하고, 모든 인수를 동결한 다음, 각 인수 행렬에 가벼운 학습 가능 변환을 적용해 모델을 적응시킨다. RoBERTa-base 및 RoBERTa-large를 사용한 GLUE 벤치마크와 LLaMA2-7B 및 LLaMA3-8B를 사용한 상식 추론 벤치마크 실험에서 CRAFT는 기존 방법과 경쟁력 있는 성능을 달성하면서 Tucker 적응 매개변수만 극히 적게 요구한다. LLaMA3-8B에서는 CRAFT가 LoRA의 평균 정확도를 수백 배 적은 매개변수로 넘어선다. LLaMA2-7B에서도 0.252M 예산에서 동일한 결과가 성립한다. 결과는 모델 규모가 커질수록 CRAFT의 효율 이점이 커진다는 점을 시사한다. 동결 Tucker 인수가 더 풍부한 층 간 구조를 갖는 대규모 사전학습 모델을 더 잘 포착하기 때문이다.