PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2508.08011v2cs.CL

최적 수송 기반 깊이 업스케일링

Optimal Transport Depth Up-Scaling

대규모 언어 모델(LLM)을 더 큰 규모로 바닥부터 사전학습(pre-training)하면 놀라운 성능을 얻을 수 있지만 상당히 높은 학습 비용이 발생합니다. 깊이 업스케일링(depth up-scaling)은 사전학습된 LLM에 새로운 층(layer)을 삽입하여 바닥부터 학습하는 것을 피하는 효율적인 대안을 제공합니다. 그러나 대부분의 기존 방식은 새로운 층을 만들기 위해 베이스 층을 복사하거나 평균화하는데, 이는 기능적으로 대응하는 뉴런들의 정렬을 어긋나게 하여 뉴런 순열 불일치(neuron permutation mismatch)를 유발하고 성능을 저하시킵니다. 이러한 문제를 해결하기 위해, 우리는 최적 수송(Optimal Transport, OT) 이론을 활용하여 새로운 층 구축 시 인접한 베이스 층의 기능적으로 대응하는 뉴런들을 모듈 단위로 정렬하고 융합하는 최적 수송 깊이 업스케일링(OT-DUS)을 제안합니다. OT-DUS는 다양한 모델 크기와 모델 계열에 걸친 지속적 사전학습 및 지도 미세조정(supervised fine-tuning)에서 일반 및 특화 도메인 모두 기존 방식보다 더 우수한 전반적 성능을 달성합니다. 또한 삽입 전략에 대한 분석을 통해 새로운 층을 더 높은 위치에 삽입할수록 더 강력한 성능뿐만 아니라 향상된 학습 효율성까지 얻을 수 있음을 발견했습니다.