arXiv:2606.19528v1 cs.LG

엣지 디바이스에서 LLM의 LoRA 미세조정을 위한 피크 메모리 감소 기법

Techniques for Peak Memory Reduction for LoRA Fine-tuning of LLMs on Edge Devices

Hassan Dbouk, Matthias Reisser, Prathamesh Mandke, Likhita Arun Navali, Christos Louizos

제출 2026-06-17

한국어 초록

최종 사용자의 데이터를 사용하여 대규모 언어 모델(LLM)을 저순위 적응(LoRA)으로 미세조정하면 데이터를 비공개로 유지하면서 개인화된 경험을 제공할 수 있지만, 소비자용 하드웨어에서는 심각한 메모리 제약에 직면합니다. 미세조정 중 피크 메모리는 종종 장치 한계를 초과하는데, 이는 특히 수십억 개의 파라미터를 가진 모델과 긴 문맥의 학습 데이터에서 두드러집니다. 본 논문은 모델 품질을 저하시키지 않으면서 메모리 풋프린트를 줄이기 위한 상호 보완적인 기법들을 소개합니다: (1) 온더플라이 역양자화(on-the-fly dequantization)를 통한 기본 모델 양자화, (2) 선택적 활성화 캐싱과 디스크 오프로딩을 결합한 메모리 효율적인 체크포인팅, (3) 의미적으로 관련 있는 토큰 부분집합을 사용한 소프트맥스 근사, 그리고 (4) 로짓 마스킹입니다. Llama-3.2 3B와 Qwen-2.5 3B에 대한 실험 결과, 피크 메모리가 최대 26배 및 28배 감소하여 자원이 제한된 장치에서도 미세조정이 가능함을 입증했습니다.

원문 초록

Fine-tuning of Large Language Models (LLMs) using Low-Rank Adaptation (LoRA) on an end-user's data offers personalized experiences while keeping data private, but faces severe memory constraints on consumer hardware. Peak memory during fine-tuning often exceeds device limits, especially for models with billions of parameters and long-context training data. This paper introduces a suite of complementary techniques to reduce memory footprint without sacrificing model quality: (1) base model quantization with on-the-fly dequantization, (2) memory-efficient checkpointing combining selective activation caching and disk offloading, (3) softmax approximation using semantically relevant token subsets, and (4) logits masking. Experiments on Llama-3.2 3B and Qwen-2.5 3B demonstrate up to $26\times$ and $28\times$ reduction in peak memory, enabling fine-tuning on resource-constrained devices.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.19528v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27262v2cs.CL공통 태그 lora, fine-tuning

하나의 적응 모델로 모든 것을 할 수 있을까? 고객 지원 LLM을 위한 미세조정 전략 선택

Can One Adapted Model Do It All? Fine-Tuning Strategy Selection for Customer Support LLMs

실제 운영 환경의 고객 지원 시스템은 의도 분류(intent classification), 질의응답, 요약, 도구 사용(tool-use) 결정 등 여러 기능을 지원하도록 LLM에 요구하는 경우가 많다. 핵심적인 배포 관련 질문은 이러한 기능을 각각 별도의 태스크 특화 모델로 처리해야 하는지, 아니면 멀티태스크 학습, 순차적 업데이트, 또는 모델 병합(model merging)을 통해 학습한 단일 모델로 처리해야 하는지이다. 우리는 이 질문을 다섯 개 모델 계열(Qwen3, Qwen3.5, Gemma-3, Llama-3.1, Mistral)에 걸친 0.6B~32B 파라미터 규모의 13개 모델을 사용하여, 공개 데이터셋 4개와 비공개 데이터셋 4개를 포함한 8개의 고객 지원 데이터셋(학습 샘플 약 74.5k개, 평가 샘플 약 8.7k개)에서 연구한다. 고정된 학습 프로토콜 하에서 200개 이상의 체크포인트를 학습한다. 실험 결과, 멀티태스크 전체 미세조정(full fine-tuning)이 우리가 테스트한 모든 모델 크기에서 가장 강력한 운영상의 기본 선택임을 확인했다. 특화 모델은 목표 태스크에서는 강력하지만 다른 태스크에서는 성능이 급격히 저하되는 경우가 많아, 신뢰할 수 있는 라우팅이 중요하다. 순차적 LoRA(Low-Rank Adaptation)는 순차적 전체 미세조정보다 이전에 학습한 기능을 더 잘 보존하며, 특화 모델을 기반 모델과 병합하면 더 큰 모델에서 동일 태스크 손실은 제한적인 수준으로 유지하면서 다른 태스크에 대한 강건성이 향상된다. 마지막으로 실제 환경에서 미세조정 전략을 선택하기 위한 실용적인 가이드라인을 제시한다.

arXiv:2610.13447v2cs.SD공통 태그 Quantization, Edge-computing

O\'ido: 신경망 가속기 없는 5달러 마이크로컨트롤러에서의 실시간 오픈 어휘 음성 인식

O\'ido: Real-Time Open-Vocabulary Speech Recognition on a $5 Microcontroller without a Neural Accelerator

저가 마이크로컨트롤러에서의 음성 인식은 실제로는 키워드 검출이나 고정된 명령어 목록에 한정된다. 본 연구는 신경망 가속기 없이 ESP32-S3(240 MHz Xtensa LX7, 8 MB PSRAM, 16 MB 플래시)만으로 단일 코어에서 실시간보다 빠르게 오픈 어휘 영어 음성 인식을 수행하는 추론 엔진과 모델군인 O\'ido를 제시한다. 이 연구의 버전 1은 13 M 파라미터 Conformer-CTC를 오디오 길이의 1.97배 시간에 실행했다. 보드에서 측정한 결과 병목은 산술 연산이 아니라 메모리 트래픽과 프레임당 비용이었다. 외부 메모리 읽기 속도는 PSRAM이 89 MB/s, 플래시가 32 MB/s였으며, 스트리밍 인식기는 청크마다 모든 가중치를 다시 읽는다. 버전 2는 이러한 메모리 시스템에 맞춰 설계한 모델(80 ms 프레임 스태킹, 64채널 프런트엔드, 12개 또는 16개 블록, 대부분 PSRAM에 들어가는 int4 가중치, 버전 1 모델에서 미세 조정)과, 가중치 스트림을 연산과 중첩시키고(비동기 데이터 캐시 프리로드) 작업 버퍼를 SRAM에 두며 디코더를 경량화하는 엔진 개선을 결합한다. 실제 보드에서 스트리밍 실시간 계수(real-time factor)는 1.77에서 0.54(변형 B)와 0.72(변형 A)로 낮아졌고, 오디오를 실시간 속도로 입력했을 때 최종 텍스트는 발화 종료 후 259 ms(B) 또는 431 ms(A)에 나타나며, 호스트 빌드와 펌웨어는 동일한 전사 결과를 생성한다. 변형 A는 0.64초 청크와 온칩 언어 모델을 사용한 스트리밍 모드에서 LibriSpeech test-clean/test-other 단어 오류율 7.1%/16.4%를 달성한다(전체 문맥 사용 시 4.6%/10.7%). 코드, 모델, 원시 보드 측정값을 공개한다.

arXiv:2609.19683v2cs.AR공통 태그 Quantization, Edge-computing

MiX: 엔드투엔드 저비트 비전-언어 모델 가속을 위한 마이크로 역스케일링

MiX: Micro-Inverted-Scaling for End-to-End Low-Bit Vision-Language Model Acceleration

엣지 기기에서 비전-언어 모델(VLM)의 배포는 메모리 대역폭으로 인한 심각한 병목 현상을 겪고 있어, 공격적인 8비트 미만 양자화(quantization)가 필수적입니다. 엣지 가속기는 면적과 전력에 엄격한 제약이 있으므로 엔드투엔드 양자화 모델을 필요로 합니다. 그러나 멀티모달 토큰 간의 극단적인 동적 범위 격차로 인해 표준 블록 포맷은 단 하나의 거대한 이상치(outlier)가 공유 지수를 독점하여 주변 요소를 언더플로우시키고 어텐션(attention) 맵을 파괴하는 '마이크로스케일링 붕괴(microscaling collapse)'를 겪게 됩니다. 이러한 병목 현상을 해결하기 위해, 우리는 마이크로스케일링 패러다임을 수학적으로 역전시킨 새로운 포맷인 마이크로 역스케일링(MiX, Micro-Inverted-Scaling)을 제안합니다. MiX는 하나의 공유 지수 아래에 여러 가수를 그룹화하는 대신, 단일 공유 가수 아래에 요소별 개별 지수를 그룹화합니다. 비대칭적인 VLM 이상치 토폴로지를 처리하기 위해 적응형 듀얼 포맷(MiX-MX) 추론(inference) 프레임워크를 도입합니다. 공유된 MiX 가수를 대수적으로 인수분해함으로써, 이 프레임워크는 커스텀 가속기에 매핑되어 곱셈기를 효율적인 시프터로 대체합니다. 여러 VLM에서 엔드투엔드로 평가한 결과, 4.5비트 MiX 구성은 멀티모달 벤치마크에서 NVFP4와 동등하거나 우수한 정확도를 보였습니다. 동시에 MiX 가속기는 NVFP4 기준선(baseline) 대비 25% 향상된 면적 효율성을 제공하고, 최첨단 가속기인 Focus와 비교하여 여러 모델에 걸쳐 2.3~4.5배의 속도 향상과 1.4~2.9배의 에너지 절감을 달성하여 역스케일링 데이터패스가 효율적인 VLM 배포에 물리적으로 우수함을 입증했습니다.

arXiv:2609.35882v2cs.CR공통 태그 Quantization, Edge-computing

GenomeOcean Anywhere: 게놈 MoE 모델을 위한 비공개 WebGPU 추론

GenomeOcean Anywhere: Private WebGPU Inference for Genome MoEs

게놈 파운데이션 모델(foundation model)은 시퀀스(sequence)가 생성되는 곳에서 가장 유용하지만, 가장 큰 모델들은 데이터센터급 가속기와 민감한 DNA 정보를 전송할 장소를 필요로 한다. 본 연구는 150억 개 매개변수(parameter) 규모의 게놈 전문가 혼합(MoE) 모델이 전문가(expert)들을 여러 신뢰할 수 없는(untrusted) 기기들에 분산시킨 채, 예측 결과를 바꾸지 않고도, 그리고 어떤 단일 기기에도 시퀀스를 노출하지 않으면서 자원봉사자들의 웹 브라우저에서 대신 실행될 수 있는지를 묻는다. 우리는 신뢰할 수 있는 코디네이터(coordinator)가 어텐션(attention)과 라우팅(routing)을 수행하고, 브라우저 워커(worker)들이 손수 작성한 WebGPU 커널을 통해 모든 전문가의 순전파 신경망(feed-forward network)을 실행하는 시스템을 구축했으며, 실수값 라그랑주 코딩 계산(real-valued Lagrange coded computing)으로 전문가 입력을 보호한다: 각 워커는 가우시안 패딩(Gaussian-padded) 처리된 공유값(share)만을 받아 전문가의 선형 변환(linear map)을 계산하고, 코디네이터는 세 워커 중 임의의 두 워커로부터 결과를 복호화(decode)한다. GenomeOcean-MoE(전문가 8개, top-2 라우팅, 24개 레이어)에서, 브라우저 경로는 모든 양자화(quantization) 수준에서 네이티브(native) llama.cpp와 일치하며, 분산 경로는 BF16 수치 노이즈 바닥(numerical noise floor) 수준을 유지하고(토큰당 KL 0.0036 나트(nats)), 별도로 피팅하지 않은(unfitted) 지연시간 모델은 에뮬레이션된 광역망(wide-area link) 환경에서 디코드(decode) 시간을 0.74%(중앙값) 오차 내로 예측한다. 우리는 먼저 평문(plaintext) 상태의 전문가 입력이 프라이버시를 보장하지 못함을 보인다: 프로브(probe)는 모든 깊이(depth)에서 단일 벡터로부터 토큰을 복원하며, 한 워커는 순서 없는(unordered) 300개의 토큰으로부터 92%의 정확도로 원본 게놈을 식별할 수 있다. 코딩된(coded) 전문가를 사용하면, 공유값으로 학습된 적응형 공격자(adaptive attacker)의 성능은 최다 빈도 토큰 기준선(most-frequent-token baseline) 수준으로 떨어지고, 각 토큰에 대해 한 워커가 얻는 정보는 순전파(forward pass)당 1비트 미만으로 제한되며, 정확도(fidelity) 손실은 BF16 노이즈 바닥 이하로 유지된다. Chrome에서 코딩된 디코딩은 라우팅 정보가 얼마나 은닉되는지에 따라 토큰당 220~376ms로 실행되며, 워커 하나가 실패해도 복제본(replica) 없이 계속 동작한다.

arXiv:2610.01058v1cs.CR공통 태그 Quantization, Edge-computing

MOMAT: 양자화된 LLM의 저전력 탈옥 방어를 위한 다중 지도 혼합 기법

MOMAT: Mixture of Multiple Atlases for Low-Power Jailbreak Defense of Quantized LLMs

양자화된 대규모 언어 모델(qLLM)은 낮은 지연 시간과 에너지 효율성 덕분에 엣지 디바이스에 점점 더 널리 배포되고 있습니다. 그러나 모델 양자화(quantization)는 정렬(alignment) 안전장치를 약화시켜 qLLM을 탈옥(jailbreak) 공격에 매우 취약하게 만듭니다. 이러한 문제를 해결하기 위해, 구조화된 지식 검색과 저전력 방어 가속을 결합한 하드웨어 강화 안전성(safety) 프레임워크인 MOMAT(Mixture of Multiple Atlases)을 제안합니다. 각 지도(atlas)는 유해하거나 무해한 샘플 세트 및 정책 템플릿의 의미론적 클러스터를 나타내며, 대규모의 이종 안전성 데이터베이스에서 차원의 저주와 그로 인한 의미론적 희소성(sparsity) 문제를 완화하는 도메인 국소화된 검색-증강 생성(RAG) 가드를 가능하게 합니다. MOMAT은 각 프롬프트(prompt)에 대해 모든 아틀라스로부터 상위 $k$개 유사도 특징을 검색하고 경량 전문가 혼합(MoE) 탐지기를 사용하여 이를 평가하며, CiM(Compute-in-Memory) 가속 유사도 엔진이 빠르고 전력 소모가 적은 아틀라스 국소 검색을 수행합니다. MOMAT의 CiM 기반 검색은 100개 쿼리 배치(batch) 처리를 15,052.44 ms에서 3,207.21 ns로 가속화($4.69 \times 10^6\times$ 속도 향상)하고, 에너지를 $8.1 \times 10^7$ $\mu$J에서 3.32 $\mu$J로 줄여 DRAM 기반(Raspberry Pi) 베이스라인 대비 약 $2.5 \times 10^5\times$의 에너지 절감을 달성합니다. 표준 벤치마크에 걸친 레드팀 테스팅(red-teaming) 평가 결과, MOMAT은 정상적인 입력에 대한 과잉 차단(benign overkill)을 방지하고 상당한 효율성 향상을 제공하면서도 최첨단 기법들의 방어 성능과 대등함을 보여주며, CiM 기반 모듈식 방어가 엣지에 배포된 qLLM을 더 안전하고 에너지 효율적으로 만들 수 있음을 입증합니다. 향후 연구를 촉진하기 위해 223.2k개 샘플로 구성된 전체 데이터셋(dataset)을 공개할 예정입니다.

arXiv:2609.28007v1cs.CL공통 태그 Quantization, Edge-computing

검색 및 하드웨어 제약 하에서 튀르키예어 도메인 문서를 위한 오픈 가중치 LLM 평가

Evaluating Open-Weight LLMs for Turkish Domain Documents Under Retrieval and Hardware Constraints

튀르키예어를 지원하는 대부분의 대규모 언어 모델(LLM)은 길고 구조적으로 복잡한 도메인 문서보다는 범용 벤치마크를 사용하여 평가된다. 본 논문은 자원이 제한된 로컬 배포 환경에서 튀르키예어 문서 질의응답을 위한 5개의 오픈 가중치(open-weight) 7B-8B 모델을 평가한다. 기본 벤치마크는 109페이지 분량의 산업 R&D 보고서에서 도출된 체계적으로 검증된 100개의 질문을 포함하며, 112페이지 분량의 두 번째 공공 부문 보고서와 독립적으로 구축된 100개 질문 세트를 사용하여 평가 프로토콜을 재현한다. 모든 모델은 통제된 프롬프트, 디코딩 및 4비트 양자화(quantization)를 사용하여 6GB VRAM을 갖춘 NVIDIA RTX 3050 노트북 GPU에서 로컬로 평가된다. 주요 방법론적 기여는 추가적인 모델 호출 없이 검색 실패와 다운스트림 모델 추론 실패를 분리하는 근거 주석 기반 평가 프로토콜이다. 기본 벤치마크에서 엔드투엔드 정확도는 49%에서 75%에 이른다. 7개의 어휘적(lexical), 밀집(dense) 및 하이브리드 검색 구성을 95% Wilson 신뢰구간과 정확 쌍체 McNemar 검정을 사용하여 추가로 비교하였으나, 두 문서 모두에서 문자 단위 TF-IDF 기준선(baseline)을 유의미하게 능가하는 구성은 없었다. 근거 재현율(recall)은 두 보고서에 걸쳐 상이하게 포화되어, 검색 및 유효 컨텍스트 용량이 일부 문서에는 구속적 제약(binding constraint)이 될 수 있지만 다른 문서에는 그렇지 않을 수 있음을 보여준다. 이러한 결과는 튀르키예어 도메인 문서를 위해 오픈 가중치 LLM을 배포할 때 모델 선택, 검색 동작, 하드웨어 한계를 개별적으로 평가해야 함을 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.