PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.34077v2cs.LG

MaskCoFT: 메모리 효율적인 MoE 추론을 위한 마스크 기반 공적응 미세조정

MaskCoFT: Masked Co-Adaptive Fine-Tuning for Memory-Efficient MoE Inference

전문가 혼합(MoE) 언어 모델은 종종 단일 GPU의 메모리를 초과합니다. 전문가 오프로딩은 대부분의 전문가를 호스트 메모리에 유지하고 필요에 따라 로드하므로, 디코딩 속도는 각 토큰이 가져와야 하는 전문가 수에 따라 달라집니다. 캐싱과 프리페칭은 라우팅이 허용하는 범위 내에서만 이러한 비용을 줄여줍니다. 라우터 전용 미세조정은 전문가를 재사용하도록 라우팅을 재구성할 수 있지만, 전문가가 동결된 상태로 유지되므로 새로운 라우팅이 전송하는 토큰에 전문가가 적응할 수 없습니다. 본 연구에서는 교차 엔트로피 손실만으로 라우터와 전문가를 함께 학습시키는 마스크 기반 공적응 미세조정 방법인 MaskCoFT를 제안합니다. 미세조정 중에 학습 가능한 이진 마스크는 각 층의 Top-K 라우팅을 전문가의 하위 집합으로 제한하며, 전문가는 자신에게 재지정된 토큰에 적응합니다. 추론 시 학습된 마스크는 전문가의 순위를 다시 매기는 소프트 사전 확률(soft prior)이 되어 모든 전문가가 여전히 선택 가능한 상태로 유지됩니다. 본 연구는 Mixtral-8x7B에 대해 층당 4개 전문가, DeepSeek-V2-Lite에 대해 12개 전문가의 GPU 캐시를 시뮬레이션합니다. MaskCoFT는 베이스 모델 대비 토큰당 전문가 페치 횟수를 각각 23.7%와 10.1% 줄입니다. 실제 오프로딩 시스템 서빙에서 출력 토큰당 시간을 각각 최대 16.4%와 5.5% 낮춥니다. 9개 벤치마크에 대한 평균 정확도는 베이스 모델보다 각각 0.92포인트와 0.53포인트 높게 유지됩니다.