PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.25745v2cs.LG

Modular Norm RandOpt: 아키텍처 인식 교란을 통한 인구 효율적 앙상블

Modular Norm RandOpt: Population-Efficient Ensembling through Architecture-Aware Perturbations

RandOpt는 가중치가 교란된 언어 모델을 샘플링하고 최상위 순위 후보들을 다수결 투표로 앙상블하지만, 전역 교란 스케일은 모듈마다 다른 기하 구조를 무시한다. 우리는 Modular Norm RandOpt를 제안한다. 이는 모듈별 natural norm과 보정된 스케일을 사용하는 아키텍처 인식 샘플링 방법으로, 선택과 투표 방식은 그대로 유지한다. Countdown에서는 RandOpt보다 $3\times$ 적은 후보로 더 나은 성능을, GSM8K에서는 최소 $12\times$ 적은 후보로 더 나은 성능을 보이며, 이에 상응하는 wall-clock 절감이 있다. 7개 과제와 Qwen 3가지 규모($0.5$B--$3$B)에 걸친 평가에서 Countdown, GSM8K, MATH-500에서 모든 규모에서 RandOpt보다 평균 정확도가 더 높다. 이득은 Countdown과 GSM8K에서 Llama 3.2 $3$B와 Gemma 3 $4$B까지 확장된다. Qwen2.5-1.5B에서는 비교 가능한 main-run 평가 예산에서 두 과제 모두 반복적 베이스라인보다 평균 정확도가 더 높은 앙상블도 달성한다. GSM8K에서 tail-density 진단은 후보 감소가 $1.2$--$1.8\times$에 불과함을 시사하는 반면, 앙상블 개선의 대부분은 더 유리한 correct-expert support와 연관된다. 이러한 결과는 교란 기하학이 사전학습 모델 주변의 인구 효율적·그래디언트 없는 탐색에서 핵심 설계 선택임을 부각한다.