PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02910v1cs.AI

빈도는 민감도가 아니다: 희소 MoE 대규모 언어 모델에서 안전성에 민감한 전문가 식별

Frequency Is Not Sensitivity Identifying Safety-Sensitive Experts in Sparse MoE LLM

라우팅되는 소수의 전문가를 억제하면 재학습 없이도 희소 전문가 혼합(MoE) 언어 모델의 안전성(safety) 동작을 약화시킬 수 있습니다. 따라서 어떤 전문가를 억제할 것인가는 보안상의 질문이 되며, 통상적인 해답은 활성화 빈도였으나 빈도는 영향력이 아닌 사용량을 측정할 뿐입니다. 본 연구에서는 대안으로 라우터-그래디언트 민감도, 즉 전문가를 선택하는 게이트 가중치에 대한 시퀀스 손실의 민감도를 테스트합니다. 5개의 MoE 아키텍처에 걸쳐 500개의 무해한 프롬프트와 500개의 악의적인 프롬프트에서 각 신호별로 전문가의 순위를 매기고, 동일한 전문가 수와 동일한 명목상의 악의적 라우팅 트래픽(1%~5%)이라는 두 가지 예산 조건 하에서 100개의 홀드아웃된 악의적 프롬프트에 대한 거부율을 측정합니다. 두 예산 조건 각각에서 라우터-그래디언트 선택은 25개 조건 중 24개 조건에서 활성화 빈도보다 거부율을 더 많이 감소시켰으며, 25개 모든 조건에서 10회 시행 무작위 평균보다 거부율을 더 크게 줄였습니다. 가장 큰 효과는 OLMoE에서 나타났는데, 거부 횟수가 100개 프롬프트 중 34개에서 9개로 감소하여(상대적 73.53%) 생성 품질 저하 없이 실질적인 순응을 보였으며, 이는 망가진 생성이 아님을 나타냅니다. 모든 층에서 전문가 수를 일치시킨 후에도 그래디언트 선택은 25개 조건 중 23개 조건에서 활성화 빈도보다 더 큰 거부율 감소를 보였으며, 2개 조건에서는 동률을 기록했습니다. 탐색적 교차 모델 분석에서는 무해 대비 악의적 집중도 격차가 클수록 더 큰 피크 그래디언트 효과와 연관됨을 보여줍니다(rho = 0.90; 정확한 양측 p = 0.083, n = 5). 종합적으로 이러한 결과는 테스트된 예산 조건 하에서 그래디언트 선택 방식을 지지합니다.

arXiv:2607.01444v1cs.LG

On the Utility and Factual Reliability of Pruned Mixture-of-Experts Models in the Biomedical Domain

전문가 혼합(MoE) 모델에서 구조적 전문가 가지치기(expert pruning)가 유용성(utility)뿐 아니라 사실적 신뢰성(factual reliability)에 미치는 영향을 생의학 도메인 중심으로 체계적으로 분석하였다. 4개 MoE 모델과 6가지 가지치기 방법을 평가한 결과, 적절한 수준의 가지치기는 도메인 내 성능을 유지하면서 신뢰성 저하 없이 동작하지만, 극단적 가지치기 비율에서는 환각(hallucination) 위험이 증가하고 도메인 이동 시 유용성과 신뢰성 모두 급격히 저하되어, 고위험 도메인 배포 시 유용성 평가만으로는 불충분함을 보였다.