PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2604.01329v2cs.LG

데이터 프리 공분산 추정을 통한 모델 병합

Model Merging via Data-Free Covariance Estimation

모델 병합(model merging)은 개별 모델들을 저렴한 비용으로 결합하여 각 모델의 능력을 이어받는 모델을 생성하는 방법을 제공합니다. 일부 병합 방식은 다중 작업 학습(multitask training)의 성능에 근접할 수 있지만, 대개 휴리스틱에 기반을 두고 있어 이론적 정당성이 부족합니다. 이에 대한 원칙적인 대안은 모델 병합을 작업 간 간섭(interference)을 직접 최소화하는 층별 최적화 문제로 정의하는 것입니다. 그러나 이러한 정식화는 데이터로부터 층별 공분산 행렬(covariance matrix)을 추정해야 하므로, 병합 수행 시 데이터를 사용할 수 없는 상황에서는 한계가 있습니다. 반면, 휴리스틱 기반 방식의 다수는 보조 데이터를 필요로 하지 않아 실용적인 이점을 지닙니다. 본 연구에서는 간섭 최소화 프레임워크를 재검토하여, 특정 조건 하에서 공분산 행렬을 차이 행렬(difference matrix)로부터 직접 추정할 수 있음을 보입니다. 이를 통해 데이터를 필요로 하지 않으면서도 계산 비용을 절감할 수 있습니다. 86M 파라미터부터 7B 파라미터에 이르는 비전 및 언어 벤치마크 전반에서 제안하는 접근 방식을 검증하였으며, 기존의 최고 수준(SOTA) 데이터 프리 병합 방식들을 능가하는 성능을 보였습니다.