arXiv:2606.19364v1 cs.LG

사회-의미적 격차 해소: 클라우드 대규모 언어 모델(LLM) 추론에서 엣지 기반 프롬프트 압축을 위한 SPSD

Closing the Social-Semantic Gap: SPSD for Edge-Based Prompt Compression in Cloud LLM Inference

Abhinit Sen, Ajeet Kumar, Manaranjan Pradhan

제출 2026-06-10

한국어 초록

대규모 언어 모델(LLM) 추론의 프리필(prefill) 단계는 클라우드 규모의 에너지 비용 증가에 기여하는 요인이 되고 있습니다. 많은 소비자 지원 및 대화형 프롬프트에는 사회적 비계(social scaffolding)가 포함되어 있습니다. 여기에는 인간 의사소통에서는 중요하지만 기계 추론에는 낮은 한계 정보만을 전달하는 정중함 표시, 사과의 서문, 반복, 유대감 형성 언어 등이 포함됩니다. 우리는 이러한 불일치를 사회-의미적 격차(Social-Semantic Gap)라고 부릅니다. 우리는 SPSD(Sentiment Preserving Semantic Distillation)를 제안합니다. 이는 클라우드에 배포된 LLM으로 전송하기 전에 4비트 양자화된 소형 언어 모델(SLM)을 사용하여 사용자 프롬프트를 압축하는 엣지 기반 파이프라인입니다. Gemma-2-2B-Instruct (Q4_K_M)를 SLM으로, Llama-3.1-8B-Instruct를 클라우드 평가 모델로 사용하여 248개 프롬프트 말뭉치(corpus)에 대해 평가한 결과, 증류된 호출(distilled call)당 평균 99.9개의 입력 토큰이 절감되었으며, 146개의 증류된 호출 모두에서 양의 절감 효과가 나타났습니다. 121쌍에 대한 블라인드 LLM 심사(LLM-as-judge) 점수로 평가된 응답 품질은 15점 루브릭(rubric)에서 사전 지정된 1점 마진(margin) 이내로 원본 경로(raw path)보다 열등하지 않은(non-inferior) 것으로 나타났습니다. 심사 결과 43% 무승부, 28% 증류 승, 29% 원본 승으로 집계되었습니다. 코사인 유사도는 혼재된 결과를 보였습니다: 평균 0.682, 중앙값 0.712이며, 쌍의 54.1%가 0.70 기준 임계값(reference threshold) 이상이었습니다. 안전에 민감한 도메인(safety-critical domains)은 규칙 기반 게이트(rule-based gates)를 통해 보수적으로 통과(passthrough)되도록 라우팅됩니다. 명시된 가정 하에 호출당 순 에너지 절감량은 70-270 uWh로 추정됩니다. SPSD는 온디바이스 프롬프트 증류(on-device prompt distillation)가 실용적인 비열등성 마진 내에서 응답 품질을 유지하면서 클라우드 LLM 입력 토큰 비용을 줄일 수 있음을 보여줍니다.

원문 초록

The prefill stage of Large Language Model (LLM) inference is a growing contributor to cloud-scale energy cost. Many consumer-support and conversational prompts contain social scaffolding: politeness markers, apologetic preamble, repetition, and rapport-building language that is important for human communication but carries low marginal information for machine reasoning. We call this discrepancy the Social-Semantic Gap. We present SPSD (Sentiment Preserving Semantic Distillation), an edge-based pipeline that compresses user prompts using a 4-bit quantised Small Language Model before transmission to a cloud-deployed LLM. Evaluation on a 248-prompt corpus using Gemma-2-2B-Instruct (Q4_K_M) as the SLM and Llama-3.1-8B-Instruct as the cloud evaluation model yields a mean input token saving of 99.9 tokens per distilled call, with all 146 distilled calls yielding positive savings. Response quality, assessed by blind LLM-as-judge scoring across 121 pairs, is non-inferior to the raw path within a pre-specified 1-point margin on a 15-point rubric; the judge awarded 43 percent ties, 28 percent distilled wins, and 29 percent raw wins. Cosine similarity is mixed: mean 0.682, median 0.712, with 54.1 percent of pairs above the 0.70 reference threshold. Safety-critical domains are conservatively routed to passthrough via rule-based gates. Per-call net energy saving is estimated at 70-270 uWh under stated assumptions. SPSD shows that on-device prompt distillation can reduce cloud LLM input-token cost while preserving response quality within a practical non-inferiority margin.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.19364v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10854v2cs.LG공통 태그 Edge-computing, Knowledge Distillation

KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법

KDFP: A first-principles approach to knowledge distillation in large language models

지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.

arXiv:2610.02269v1eess.IV공통 태그 Edge-computing, Knowledge Distillation

의료 영상을 위한 변분 위험 최소화 기반 신뢰도 게이팅 클라우드-엣지 캐스케이드 분류

Confidence-Gated Cloud-Edge Cascade Triage via Variational Risk Minimization for Medical Imaging

응급 흉부 X선(CXR) 중증도 분류(triage)에는 구조적인 모달리티 격차가 존재합니다. 즉 판독문은 분류 결정 이후에 도착하지만, 멀티모달 파운데이션 모델은 영상-텍스트 입력을 모두 필요로 합니다. 본 논문에서는 대규모 비전-언어 모델(LVLM)이 생성한 판독문 변형들을 잠재적 임상 해석의 몬테카를로(Monte Carlo) 샘플로 취급하는 지식 증류(distillation) 프레임워크인 변분 위험 최소화(Variational Risk Minimization, VRM)를 제안합니다. 단일 교사 모델의 타깃으로부터 증류하는 대신, VRM은 변분적으로 한계화된(variationally marginalized) 교사 분포로부터 학습하여 모달리티 누락 제약 조건 하에서도 불확실성을 인식하는 감독(uncertainty-aware supervision)을 가능하게 합니다. 동일한 인코더 패밀리 조건에서, VRM은 직접적인 미세조정 베이스라인보다 우수한 성능을 보이며 환각(hallucination) 감독으로부터 강력한 복원력을 보여 캘리브레이션을 개선합니다. 한계화된 감독은 판독문 선택의 불안정성을 완화합니다. 소형 엣지-학생 모델 구현에서, 신뢰도 게이팅 캐스케이드는 20.3%의 클라우드 이관율과 평균 103ms의 지연 시간으로 AUC 0.941을 달성하여, 클라우드-엣지 임상 워크플로우를 위한 명시적인 신뢰성-지연 시간 운용점을 제공합니다.

arXiv:2609.23974v1cs.AI공통 태그 Edge-computing, Knowledge Distillation

LEAP-NBV: 파운데이션 모델 기반 차기 최적 시점 계획을 위한 경량 엣지 능동 지각

LEAP-NBV: Lightweight Edge Active-Perception for Foundation-Model Next-Best-View Planning

파운데이션 모델(foundation model)은 자율 시스템에 더 뛰어난 지능을 부여하여 시각적 지각을 통한 환경(environment)에 대한 보다 포괄적인 이해를 가능하게 하고 있다. 대표적인 예로 인체 메시 복원(HMR, Human Mesh Recovery)이 있으며, 이는 전술적 임무에 유용하게 활용될 수 있는 타깃의 3D 포즈 및 형태 추정치를 제공한다. 그러나 이러한 모델(model)의 크기와 전력 소모량으로 인해 엣지 플랫폼에서 구동하기 어렵고 실시간 성능이 제한되어 전술적 엣지 배포(edge deployment)의 요구사항을 충족하기 어렵다. 특히 통신이 제한된 환경에서 모바일 로봇이 계산을 외부로 오프로드하지 못하고 온보드 상에서 차기 최적 시점(NBV, Next-Best-View)을 계획해야 하는 능동 지각(active perception)의 경우 더욱 그렇다. 본 논문에서는 엣지 디바이스 온보드에서 파운데이션 모델 기반 차기 최적 시점 계획을 실행하는 경량 능동 지각 프레임워크인 LEAP-NBV를 제안한다. 이를 위해 오프라인 메시 목표 함수를 사용하여 대규모 HMR 교사 모델 제품군을 각각 컴팩트한 32M 학생 모델로 지식 증류(distillation)한 후, 비전 인코더를 FP16으로 양자화(quantization)하고 온디바이스 정확도와 지연 시간을 특성화한다. 차폐 인식 능동 지각 루프 내에서 동일한 홀드아웃 벤치마크(benchmark)를 통해 모든 구성을 평가(evaluation)하고, 전체 엔드투엔드 파이프라인을 NVIDIA Jetson Xavier NX에 배포하여 실제 측정된 온디바이스 지연 시간과 에너지를 보고한다. 지식 증류를 통해 테스트 세트에서 증류되지 않은 학생 모델 대비 프로크루스테스 정렬 평균 정점당 위치 오차(PA-MPVPE)를 6-7 mm 개선한다. 엣지에 최적화된 압축 모델을 선택함으로써 약간의 정확도 손실만으로 HMR 엔진의 속도를 약 12 ms로 끌어올리고, 전체 폐루프를 3.6 FPS 및 프레임당 2.6 J로 구동하여 다운스트림 태스크 품질을 거의 유지하면서도 압축되지 않은 모델 대비 2.0배의 속도 향상과 3.0배 낮은 에너지를 달성한다.

arXiv:2607.22714v1cs.CV공통 태그 Edge-computing, Knowledge Distillation

임베디드 자동차 시스템을 위한 최적화 RetinaNet 아키텍처 기반 실시간 의미 분할

Real-Time Semantic Segmentation with Optimized RetinaNet Architectures for Embedded Automotive Systems

실시간 인식(perception)은 고급 운전자 보조 시스템(ADAS)과 자율주행 차량의 기본 요건이지만, 임베디드 자동차 플랫폼은 연산, 메모리, 전력에 심각한 제약을 부과한다. 본 논문은 RetinaNet 검출 프레임워크에서 파생된 최적화된 의미 분할 아키텍처를 제안하며, 이는 밀집 픽셀 단위 예측에 맞게 조정되었고 자원 제약이 있는 임베디드 하드웨어 배포에 맞춰 설계되었다. 제안 아키텍처인 Opt-RetinaSeg는 표준 ResNet-50 백본을 하이브리드 경량 특징 추출기로 교체하고, 특징 피라미드 네트워크(FPN)를 재구성하여 중복 다중 스케일 연산을 줄이며, 도로 장면에서 흔한 심각한 전경-배경 불균형을 해결하기 위해 focal 손실에서 영감을 받은 클래스 균형화로 유도되는 컴팩트 분할 헤드를 도입한다. 또한 구조화된 채널 가지치기, 사후 학습 INT8 양자화, 고용량 교사 네트워크로부터의 지식 증류로 구성된 3단계 최적화 파이프라인을 적용한다. Cityscapes 및 BDD100K 데이터셋에서 평가하고 NVIDIA Jetson Xavier NX와 Qualcomm QCS610 자동차 SoC에 배포한 결과, 제안 모델은 70.4 FPS에서 73.9% mIoU를 달성하여 ResNet-50 기준선 대비 추론 속도 7.4배 향상 및 모델 크기 4배 감소를 이루었으며, 정확도 저하는 3% 미만이다. 이러한 결과는 RetinaNet에서 파생된 아키텍처가 체계적으로 최적화될 경우 임베디드 자동차 인식 파이프라인에서 실시간 의미 분할의 실용적 후보가 될 수 있음을 보여준다.

arXiv:2607.23373v1cs.CV공통 태그 Edge-computing, Knowledge Distillation

UltraViT: 대규모 비전-언어 모델을 위한 지연 시간 최적화 온디바이스 비전 인코더

UltraViT: Latency-Optimized On-device Vision Encoder for Large Vision-Language Models

대규모 비전-언어 모델(LVLM)은 막대한 계산 부담으로 인한 병목이 지속되어, 자원이 제한된 엣지 디바이스에의 배포를 막고 있다. LVLM 압축을 위한 기존 노력은 주로 비전 토큰 축소나 더 작은 언어 모델에 집중하는 반면, 비전 인코더는 대체로 간과되어 일반적으로 단일체(monolithic)이고 계산 비용이 큰 특징 추출기로 배포된다. 더욱이 LVLM을 위해 온디바이스 지연 시간에 직접 최적화된 비전 인코더를 설계한 선행 연구는 없다. 본 논문에서는 LVLM을 위한 비전 인코더인 UltraViT를 제시하며, 이는 온디바이스 성능을 위해 명시적으로 설계되고 최적화되었다. 구체적으로, 실제 온디바이스 지연 시간을 고려하여 매크로 블록 수준에서 이질적인 공간 믹서(spatial mixer)를 전략적으로 통합하고 적응하는 피라미드형 아키텍처를 체계적으로 설계한다. 또한 UltraViT의 사전학습을 위해, 밀집 지식 증류(dense distillation)를 통해 풍부한 공간 특징을 함양한 뒤 용량이 혼합된(capacity-mixed) 고정 LLM으로부터 직접적인 생성적 감독을 받는 새로운 2단계 생성적 사전학습 전략을 제안한다. 표준 대조 학습 및 SSL(자기지도 학습)과 비교하여, 우리의 사전학습이 LVLM 학습의 후속 생성적 멀티모달 정렬에 필요한 UltraViT의 고수준 의미적 그라운딩(semantic grounding) 달성에 훨씬 더 효과적임을 보인다. 광범위한 실험을 통해, 온디바이스 지연 시간을 반영한 우리의 설계와 맞춤형 학습 전략의 결합이 효율적인 LVLM 인코딩에서 새로운 최고 수준(state-of-the-art)을 수립하며, 온디바이스에서 거의 1.7배의 속도로 동작하면서 기존 인코더 중심 베이스라인을 크게 능가함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.