PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.28932v1cs.LG

DLR: 저랭크 사전학습을 위한 추론 비용 제로의 잠재 잔차

DLR: Zero-Inference-Cost Latent Residuals for Low-Rank Pre-Training

대규모 언어 모델은 언어 및 멀티모달 AI 분야의 최근 발전을 이끌어 왔지만, 대규모 사전학습은 비용이 지나치게 높다. 각 가중치 행렬을 랭크-r 분해로 인수분해하여 매개변수 수와 FLOPs를 동시에 줄이는 저랭크 사전학습은 유망한 접근법이지만, 일반적으로 풀랭크 학습에 비해 품질이 떨어진다. 우리는 저랭크 사전학습을 위한 학습 전용·매개변수 불추가·폴딩 가능한 플러그인인 Duplicated Latent Residual(DLR)을 제안한다. DLR은 표준 저랭크 출력 Bz에 고정된 구조적 잔차 alpha/sqrt(K) * Expand_K(z)를 추가하며, 이는 각 잠재 좌표를 출력 전체에 걸쳐 K = ceil(d_out/r)회 복제한다. alpha를 고정하면 DLR은 층당 학습 가능한 매개변수를 전혀 추가하지 않으며, 학습 후에는 B* = B + alpha/sqrt(K) R^T 형태로 업프로젝션에 닫힌 형식으로 흡수되므로, 배포 시 매개변수 수·FLOPs·메모리가 기반 저랭크 백본과 완전히 동일하다. 60M에서 7B 매개변수 규모의 LLaMA 모델 전반에 걸쳐, DLR은 C4 검증 퍼플렉서티 기준 대부분의 설정에서 저랭크 사전학습 성능을 향상시키며, 130M 이상에서 가장 뚜렷한 개선을 보인다. 폴딩된 체크포인트는 표준 벤치마크의 지도 미세조정에도 깔끔하게 전이된다.