PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13370v1cs.CL

전문가 선택 편향을 통한 데이터 불균형 극복

Overcoming Data Imbalances with Expert Selection Biases

전문가 혼합(MoE) 모델은 프론티어 대규모 언어 모델(LLM)의 표준 아키텍처로 자리 잡았습니다. 각 트랜스포머(transformer) 블록에 존재하는 다수의 병렬 전문가는 이론적으로 사전학습(pre-training) 과정에서 도메인, 언어 또는 모달리티와 같은 카테고리에 맞춰 전문가의 전문화를 가능하게 합니다. 그러나 카테고리 간 데이터가 불균형할 경우, 소수 카테고리는 전문가 풀의 작은 일부분에 집중되거나 비효율적으로 분산되어 실질적으로 활용 가능한 용량이 제한될 수 있습니다. 본 연구에서는 카테고리 조건부 전문가 선택 편향(expert-selection bias)을 통해 서로 다른 카테고리의 토큰을 특화된 전문가 풀로 우선 라우팅할 수 있음을 입증합니다. 입력 카테고리에 기반한 편향을 적용함으로써, 유연한 카테고리 맞춤형 전문화를 유도하는 간단한 방법을 제시합니다. 이러한 개입은 필요에 따라 카테고리 간 공유를 유지하면서도 카테고리가 구별된 전문가 하위 집합으로 향하도록 유도합니다. 더 중요하게는, 데이터 부족으로 인해 불리할 수 있는 카테고리에 전문가 용량을 초과 할당(over-allocation)할 수 있도록 지원합니다. 최대 10.6B 파라미터 크기의 모델에서 다양한 모달리티, 저자원 언어, 코드 전반에 걸친 성능 향상을 확인했습니다. 가장 작은 모델 규모와 가장 큰 모델 규모에서 이러한 성능 향상은 기준선(baseline) 대비 각각 18.5% 및 2.7%의 추가 학습 토큰을 할당한 것과 맞먹는 수준입니다. 전반적으로 본 연구 결과는 전문가 편향이 표준 MoE 추론을 유지하면서도 저자원 카테고리를 위한 공간을 확보하고 카테고리 수준의 전문가 할당을 위한 경량화된 제어 수단으로 활용될 수 있음을 보여줍니다.

arXiv:2609.28053v1cs.LG

전문가 혼합(MoE)을 위한 정확한 분위수 균형 및 부하 오류 주입

Exact Quantile Balancing and Load-Error Injection for Mixture-of-Experts

전문가 혼합(MoE) 학습은 전문가 미활용을 막기 위해 전역 부하 균형이 필요하고, 효율적인 전문가 병렬 실행을 위해 지역 균형이 필요하다. 기존 분산 Quantile Balancing(QB)은 샤드(shard)에 따라 달라지거나 근사적인 전역 분위수를 사용하며, 토큰과 무관한 전문가 편향(bias)으로는 마이크로배치(microbatch) 수준의 균형을 보장할 수 없다. 우리는 통신 부담이 거의 없이 정확한 전역 배치 BF16 분위수를 계산하는 Exact Quantile Balancing(EQB)과, 지역 부하 오류를 라우터 점수(router-score) 그래디언트에 직접 주입하는 Load-Error Injection(LEI)을 제안한다. 최대 500B 토큰까지 학습한 75억(7.5B) 매개변수 MoE에서 EQB는 단순 QB 대비 전역 균형과 하류(downstream) 성능을 개선하고, LEI는 지역 균형을 개선하며 유사한 품질에서 GShard 손실(loss)을 능가한다.

arXiv:2602.19938v2cs.LG

희소 전문가 혼합(SMoE) LLM의 플러그 앤 플레이 부하 균형을 위한 Replicate-and-Quantize 전략

A Replicate-and-Quantize Strategy for Plug-and-Play Load Balancing of Sparse Mixture-of-Experts LLMs

희소 전문가 혼합(SMoE) 아키텍처는 대규모 언어 모델(LLM)을 효율적으로 확장하는 데 점점 더 많이 사용되며, 고정된 연산 예산 하에서 높은 정확도를 제공한다. 그러나 SMoE 모델은 전문가 간 심각한 부하 불균형에 자주 시달리는데, 소수의 전문가가 대부분의 토큰을 받는 반면 다른 전문가들은 활용도가 낮다. 기존 연구는 주로 라우팅 정규화나 보조 손실과 같은 학습 시점 해결책에 집중하여, 배포에 중요한 추론 시점 동작은 덜 탐구되어 왔다. 우리는 추론 중 전문가 라우팅에 대한 체계적인 분석을 제시하고 세 가지 발견을 확인한다: (i) 부하 불균형은 지속되며 더 큰 배치 크기에서 악화된다, (ii) 선택 빈도는 전문가의 중요도를 신뢰성 있게 반영하지 않는다, (iii) 전체 전문가 작업 부하와 중요도는 작은 보정(calibration) 세트를 사용하여 추정할 수 있다. 이러한 통찰은 재학습이나 라우터 수정 없이 작업 부하를 재균형하는 추론 시점 메커니즘을 동기 부여한다. 우리는 동적 작업 부하 재균형을 위한 학습 없는 거의 무손실 프레임워크인 Replicate-and-Quantize(R&Q)를 제안한다. 각 층에서 heavy-hitter 전문가는 병렬 용량을 늘리기 위해 복제되고, 덜 중요한 전문가와 복제본은 원래 메모리 예산 내에 유지되도록 양자화된다. 또한 heavy-hitter 부하를 균등 할당 기준선과 비교하여 라우팅 편향을 측정하는 부하 불균형 점수(Load-Imbalance Score, LIS)를 도입한다. 대표적인 SMoE 모델과 벤치마크에 걸친 실험은 불균형이 최대 1.4배 감소하고 정확도가 +/-0.6% 이내로 유지됨을 보여주며, 더 예측 가능하고 효율적인 추론을 가능하게 한다.

arXiv:2607.04951v1cs.DC

단어가 작업 부하를 예측할 때

When Words Predict Workload

표준 분산 대규모 언어 모델(LLM) 스케줄러는 정적 토큰 수 또는 롤링 지연 평균에 의존하여, 법규 제약 텍스트에서 장애에 취약하다. EPC 제84조에 의해 규율되는 유럽 특허청(EPO) 청구항에서는 언어적 경직성으로 인해 인간 저작과 기계 저작이 통계적으로 구별 불가능하다. 처리 도중 이 모호성을 해결하면 동적 다중 모델 앙상블 확장이 강제되어, 예측 불가능한 KV-캐시 및 가중치 할당 급증을 유발하고, 소비자급 엣지 GPU VRAM을 포화시켜 심각한 OOM(메모리 부족) 충돌을 일으킨다. 하드웨어 붕괴를 방지하기 위해, 우리는 CPU 측 언어 자원 예측(LRF, Linguistic Resource Forecasting) 게이트웨이를 제안한다. 이 게이트웨이는 16차원 텍스트 구조 벡터를 추출하고 XGBoost 예측기를 적용하여 트랩 밴드 소속 여부를 예측한다. 산출된 에스컬레이션 확률($P_{\rm esc}$)은 실시간 지연 텔레메트리를 통해 계산되는 동적 폐쇄형 라우팅 임계값($\tau_{\rm route}(t)$)과 비교하여 평가된다. 요청은 엣지 GPU 메모리가 할당되기 전에 로컬 Qwen2.5-7B 엣지 워커 또는 NVIDIA H100의 원격 대조 앙상블(Qwen2.5 7B + 32B)로 안전하게 라우팅된다. 6,000건 요청의 실제 시험에서 LRF 게이트웨이는 운영 오라우팅 비율($R_{\mathrm{mis}}$)을 $0.087$--$0.095$로 감소시켰으며, 이는 토큰 수 기준선($0.849$)보다 한 자릿수 낮은 수치이다. 피크 엣지 VRAM은 WAN 지연의 $27\times$ 변동 전반에 걸쳐 $\SI{4.82}{\gibi\byte}$로 안전하게 유지되었다($\SI{8}{\gibi\byte}$ 상한 미만). 예측기는 실제 시험에서 AUROC $0.84$를 달성했으며, 동적 $\tau_{\rm route}(t)$ 컨트롤러는 동등한 정적 임계값 대비 오라우팅을 $8.2\%$ 상대적으로 감소시켰다.