MOMAT: 양자화된 LLM의 저전력 탈옥 방어를 위한 다중 지도 혼합 기법
MOMAT: Mixture of Multiple Atlases for Low-Power Jailbreak Defense of Quantized LLMs
한국어 초록
양자화된 대규모 언어 모델(qLLM)은 낮은 지연 시간과 에너지 효율성 덕분에 엣지 디바이스에 점점 더 널리 배포되고 있습니다. 그러나 모델 양자화(quantization)는 정렬(alignment) 안전장치를 약화시켜 qLLM을 탈옥(jailbreak) 공격에 매우 취약하게 만듭니다. 이러한 문제를 해결하기 위해, 구조화된 지식 검색과 저전력 방어 가속을 결합한 하드웨어 강화 안전성(safety) 프레임워크인 MOMAT(Mixture of Multiple Atlases)을 제안합니다. 각 지도(atlas)는 유해하거나 무해한 샘플 세트 및 정책 템플릿의 의미론적 클러스터를 나타내며, 대규모의 이종 안전성 데이터베이스에서 차원의 저주와 그로 인한 의미론적 희소성(sparsity) 문제를 완화하는 도메인 국소화된 검색-증강 생성(RAG) 가드를 가능하게 합니다. MOMAT은 각 프롬프트(prompt)에 대해 모든 아틀라스로부터 상위 $k$개 유사도 특징을 검색하고 경량 전문가 혼합(MoE) 탐지기를 사용하여 이를 평가하며, CiM(Compute-in-Memory) 가속 유사도 엔진이 빠르고 전력 소모가 적은 아틀라스 국소 검색을 수행합니다. MOMAT의 CiM 기반 검색은 100개 쿼리 배치(batch) 처리를 15,052.44 ms에서 3,207.21 ns로 가속화($4.69 \times 10^6\times$ 속도 향상)하고, 에너지를 $8.1 \times 10^7$ $\mu$J에서 3.32 $\mu$J로 줄여 DRAM 기반(Raspberry Pi) 베이스라인 대비 약 $2.5 \times 10^5\times$의 에너지 절감을 달성합니다. 표준 벤치마크에 걸친 레드팀 테스팅(red-teaming) 평가 결과, MOMAT은 정상적인 입력에 대한 과잉 차단(benign overkill)을 방지하고 상당한 효율성 향상을 제공하면서도 최첨단 기법들의 방어 성능과 대등함을 보여주며, CiM 기반 모듈식 방어가 엣지에 배포된 qLLM을 더 안전하고 에너지 효율적으로 만들 수 있음을 입증합니다. 향후 연구를 촉진하기 위해 223.2k개 샘플로 구성된 전체 데이터셋(dataset)을 공개할 예정입니다.
원문 초록
Quantized large language models are increasingly deployed on edge devices for their low latency and energy efficiency. However, model quantization weakens alignment safeguards, leaving qLLMs (quantized large language models) highly vulnerable to jailbreak attacks. To address this challenge, we present MOMAT (Mixture of Multiple Atlases), a hardware-enhanced safety framework that combines structured knowledge retrieval with low-power defense acceleration. Each atlas represents a semantic cluster of harmful or benign sample sets and policy templates, enabling domain-localized Retrieval-Augmented Generation guarding that mitigates the curse of dimensionality and the resulting semantic sparsity problem in large, heterogeneous safety databases. MOMAT retrieves top-$k$ similarity features from all atlases for each prompt and evaluates them using a lightweight MoE (Mixture of Experts) detector, while a CiM (Compute-in-Memory)-accelerated similarity engine performs fast, low-power atlas-local retrieval. MOMAT's CiM-based retrieval accelerates a 100-query batch from 15,052.44 ms to 3,207.21 ns (a $4.69 \times 10^6\times$ speedup) and reduces energy from $8.1 \times 10^7$ $μ$J to 3.32 $μ$J, yielding an approximately $2.5 \times 10^5\times$ energy reduction over DRAM-based (Raspberry Pi) baselines. Red-team evaluations across standard benchmarks show that MOMAT matches the defense performance of state-of-the-art methods while avoiding benign overkill and providing substantial efficiency gains, demonstrating that CiM-based modular defenses can make edge-deployed qLLMs both safer and more energy-efficient. We will release the full 223.2k-sample dataset to foster future research.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
GenomeOcean Anywhere: 게놈 MoE 모델을 위한 비공개 WebGPU 추론
GenomeOcean Anywhere: Private WebGPU Inference for Genome MoEs
게놈 파운데이션 모델(foundation model)은 시퀀스(sequence)가 생성되는 곳에서 가장 유용하지만, 가장 큰 모델들은 데이터센터급 가속기와 민감한 DNA 정보를 전송할 장소를 필요로 한다. 본 연구는 150억 개 매개변수(parameter) 규모의 게놈 전문가 혼합(MoE) 모델이 전문가(expert)들을 여러 신뢰할 수 없는(untrusted) 기기들에 분산시킨 채, 예측 결과를 바꾸지 않고도, 그리고 어떤 단일 기기에도 시퀀스를 노출하지 않으면서 자원봉사자들의 웹 브라우저에서 대신 실행될 수 있는지를 묻는다. 우리는 신뢰할 수 있는 코디네이터(coordinator)가 어텐션(attention)과 라우팅(routing)을 수행하고, 브라우저 워커(worker)들이 손수 작성한 WebGPU 커널을 통해 모든 전문가의 순전파 신경망(feed-forward network)을 실행하는 시스템을 구축했으며, 실수값 라그랑주 코딩 계산(real-valued Lagrange coded computing)으로 전문가 입력을 보호한다: 각 워커는 가우시안 패딩(Gaussian-padded) 처리된 공유값(share)만을 받아 전문가의 선형 변환(linear map)을 계산하고, 코디네이터는 세 워커 중 임의의 두 워커로부터 결과를 복호화(decode)한다. GenomeOcean-MoE(전문가 8개, top-2 라우팅, 24개 레이어)에서, 브라우저 경로는 모든 양자화(quantization) 수준에서 네이티브(native) llama.cpp와 일치하며, 분산 경로는 BF16 수치 노이즈 바닥(numerical noise floor) 수준을 유지하고(토큰당 KL 0.0036 나트(nats)), 별도로 피팅하지 않은(unfitted) 지연시간 모델은 에뮬레이션된 광역망(wide-area link) 환경에서 디코드(decode) 시간을 0.74%(중앙값) 오차 내로 예측한다. 우리는 먼저 평문(plaintext) 상태의 전문가 입력이 프라이버시를 보장하지 못함을 보인다: 프로브(probe)는 모든 깊이(depth)에서 단일 벡터로부터 토큰을 복원하며, 한 워커는 순서 없는(unordered) 300개의 토큰으로부터 92%의 정확도로 원본 게놈을 식별할 수 있다. 코딩된(coded) 전문가를 사용하면, 공유값으로 학습된 적응형 공격자(adaptive attacker)의 성능은 최다 빈도 토큰 기준선(most-frequent-token baseline) 수준으로 떨어지고, 각 토큰에 대해 한 워커가 얻는 정보는 순전파(forward pass)당 1비트 미만으로 제한되며, 정확도(fidelity) 손실은 BF16 노이즈 바닥 이하로 유지된다. Chrome에서 코딩된 디코딩은 라우팅 정보가 얼마나 은닉되는지에 따라 토큰당 220~376ms로 실행되며, 워커 하나가 실패해도 복제본(replica) 없이 계속 동작한다.
조 단위 규모 전문가 혼합 모델을 위한 하드웨어 네이티브 통합 희소-양자화
Hardware-Native Joint Sparse-Quantization for Trillion-Scale Mixture-of-Experts
전문가 혼합(MoE) 아키텍처를 통해 프론티어 언어 모델을 수조 개 파라미터 규모로 확장할 수 있게 되었지만, 방대한 메모리 사용량과 메모리 대역폭의 한계로 인해 실제 배포에는 제약이 따릅니다. 최신 가속기는 저정밀도 반구조화 희소성을 통해 가중치 저장 공간을 줄이고 처리량을 높여주는 희소 텐서 코어(SpTC)를 제공하지만, 상당한 모델 품질 저하와 그룹화된 희소 GEMM 프리미티브의 부재로 인해 MoE에 이를 활용하는 것은 여전히 어렵습니다. 본 논문에서는 전문가 가중치를 하드웨어 네이티브 저정밀도 희소 표현으로 압축하고 SpTC에서의 실행을 가속하는 엔드투엔드 하드웨어-소프트웨어 통합 설계 프레임워크를 제안합니다. 알고리즘 측면에서, 본 프레임워크는 연속적 재매개변수화를 통해 이산적인 반구조화 서포트 선택을 완화함으로써 라우터 가중치 재구성 목표 하에서 양자화된 가중치와의 미분 가능한 통합 최적화 및 확장 가능한 전문가 병렬 압축을 가능하게 합니다. 시스템 측면에서는 SpTC 상의 저정밀도 희소 MoE 추론에 맞춘 커스텀 그룹화 희소 GEMM 커널을 개발합니다. 300억 개에서 1조 개 파라미터에 이르는 MoE 모델 전반에 걸쳐, 제안하는 프레임워크는 기존 최고 수준(SOTA)의 통합 희소-양자화 정확도를 최대 4.35%p 향상시키면서 원래 모델 성능의 96.09%를 보존합니다. NVIDIA B200 GPU에서 개발한 커널은 벤더 기준선 대비 최대 1.65배 뛰어난 성능을 보이며 서빙 처리량을 1.18배 증가시키고 엔드투엔드 지연 시간을 최대 4.03배 단축합니다. 이러한 결과는 하드웨어-소프트웨어 통합 설계가 확장 가능하고 효율적인 MoE 배포를 향한 실용적인 경로임을 입증합니다.
검색 및 하드웨어 제약 하에서 튀르키예어 도메인 문서를 위한 오픈 가중치 LLM 평가
Evaluating Open-Weight LLMs for Turkish Domain Documents Under Retrieval and Hardware Constraints
튀르키예어를 지원하는 대부분의 대규모 언어 모델(LLM)은 길고 구조적으로 복잡한 도메인 문서보다는 범용 벤치마크를 사용하여 평가된다. 본 논문은 자원이 제한된 로컬 배포 환경에서 튀르키예어 문서 질의응답을 위한 5개의 오픈 가중치(open-weight) 7B-8B 모델을 평가한다. 기본 벤치마크는 109페이지 분량의 산업 R&D 보고서에서 도출된 체계적으로 검증된 100개의 질문을 포함하며, 112페이지 분량의 두 번째 공공 부문 보고서와 독립적으로 구축된 100개 질문 세트를 사용하여 평가 프로토콜을 재현한다. 모든 모델은 통제된 프롬프트, 디코딩 및 4비트 양자화(quantization)를 사용하여 6GB VRAM을 갖춘 NVIDIA RTX 3050 노트북 GPU에서 로컬로 평가된다. 주요 방법론적 기여는 추가적인 모델 호출 없이 검색 실패와 다운스트림 모델 추론 실패를 분리하는 근거 주석 기반 평가 프로토콜이다. 기본 벤치마크에서 엔드투엔드 정확도는 49%에서 75%에 이른다. 7개의 어휘적(lexical), 밀집(dense) 및 하이브리드 검색 구성을 95% Wilson 신뢰구간과 정확 쌍체 McNemar 검정을 사용하여 추가로 비교하였으나, 두 문서 모두에서 문자 단위 TF-IDF 기준선(baseline)을 유의미하게 능가하는 구성은 없었다. 근거 재현율(recall)은 두 보고서에 걸쳐 상이하게 포화되어, 검색 및 유효 컨텍스트 용량이 일부 문서에는 구속적 제약(binding constraint)이 될 수 있지만 다른 문서에는 그렇지 않을 수 있음을 보여준다. 이러한 결과는 튀르키예어 도메인 문서를 위해 오픈 가중치 LLM을 배포할 때 모델 선택, 검색 동작, 하드웨어 한계를 개별적으로 평가해야 함을 입증한다.
RAMP: 엣지 CPU 비전 모델을 위한 강건한 적응형 혼합 정밀도 양자화
RAMP: Robust Adaptive Mixed-Precision Quantization for Edge CPU Vision Models
엣지 CPU에 심층 학습 모델을 배포할 때는 계산 및 메모리 제약이 병목이 된다. 혼합 정밀도 양자화는 정확도를 유지하면서 추론 지연을 줄일 수 있다고 기대된다. 그러나 양자화는 층 유형마다 서로 다르게 영향을 미치므로, 정확도 손실이 최소화되고 지연 감소가 최대화되는 위치를 찾는 것이 중요하며, 그 효과는 전체 배포에 걸쳐 누적되어 상당한 이득 또는 허용 불가능한 과제 성능 저하로 이어진다. 이러한 식별은 민감도 지표, 즉 모든 후보 정책의 과제 정확도를 평가하지 않고 층별 열화를 추정하는 대리 지표에 의존한다. 그럼에도 널리 쓰이는 지표는 최신 아키텍처에서 체계적으로 실패한다. 우리는 서로 뚜렷이 다른 네 개의 신경망에 걸친 층별 INT8 양자화에 대한 13개 민감도 지표의 체계적 실증 연구를 제시하고, 그로부터 얻은 정책을 두 ARM64 플랫폼에서 검증한다. 그래디언트 기반 민감도 방법은 8개 모델-하드웨어 구성 중 4개에서 실패하고, 가중치 기반 통계는 2개에서 실패한다. 반면 Jensen-Shannon Divergence는 치명적 실패가 전혀 없으며, 안전하게 양자화할 수 없는 층을 안정적으로 분리한다. 민감도 지표만으로는 정책이 정의되지 않으며, 그 단계에 흔히 쓰이는 고정 임계값은 최신 아키텍처의 고도로 치우친 분포에서 취약하다. 우리는 K-Means 클러스터링으로 이를 해결하여 거의 무손실 정확도와 전체 정밀도 모델 대비 평균 $1.81\times$ 속도 향상을 달성한다. 마지막으로, 민감도와 관계없이 속도 향상이 미미한 층을 양자화에서 제외하는 것이 역효과를 낼 수 있음을 밝힌다. 이는 계산 그래프 단편화를 유발하고 연산자 융합(operator fusion)을 비활성화하기 때문이다. 우리 결과는 GPU 접근이나 그래디언트 계산 없이 이질적 엣지 CPU에 양자화된 비전 모델을 배포하는 실무자와 연구자에게 구체적인 할당 정책을 제공한다.
KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법
KDFP: A first-principles approach to knowledge distillation in large language models
지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.
LLM에서의 전문가 격리 및 비활성화를 통한 백도어 억제
Backdoor Containment via Expert Quarantine and Shutdown in LLMs
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
16 pages, 13 figures