PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.19364v1cs.LG

사회-의미적 격차 해소: 클라우드 대규모 언어 모델(LLM) 추론에서 엣지 기반 프롬프트 압축을 위한 SPSD

Closing the Social-Semantic Gap: SPSD for Edge-Based Prompt Compression in Cloud LLM Inference

대규모 언어 모델(LLM) 추론의 프리필(prefill) 단계는 클라우드 규모의 에너지 비용 증가에 기여하는 요인이 되고 있습니다. 많은 소비자 지원 및 대화형 프롬프트에는 사회적 비계(social scaffolding)가 포함되어 있습니다. 여기에는 인간 의사소통에서는 중요하지만 기계 추론에는 낮은 한계 정보만을 전달하는 정중함 표시, 사과의 서문, 반복, 유대감 형성 언어 등이 포함됩니다. 우리는 이러한 불일치를 사회-의미적 격차(Social-Semantic Gap)라고 부릅니다. 우리는 SPSD(Sentiment Preserving Semantic Distillation)를 제안합니다. 이는 클라우드에 배포된 LLM으로 전송하기 전에 4비트 양자화된 소형 언어 모델(SLM)을 사용하여 사용자 프롬프트를 압축하는 엣지 기반 파이프라인입니다. Gemma-2-2B-Instruct (Q4_K_M)를 SLM으로, Llama-3.1-8B-Instruct를 클라우드 평가 모델로 사용하여 248개 프롬프트 말뭉치(corpus)에 대해 평가한 결과, 증류된 호출(distilled call)당 평균 99.9개의 입력 토큰이 절감되었으며, 146개의 증류된 호출 모두에서 양의 절감 효과가 나타났습니다. 121쌍에 대한 블라인드 LLM 심사(LLM-as-judge) 점수로 평가된 응답 품질은 15점 루브릭(rubric)에서 사전 지정된 1점 마진(margin) 이내로 원본 경로(raw path)보다 열등하지 않은(non-inferior) 것으로 나타났습니다. 심사 결과 43% 무승부, 28% 증류 승, 29% 원본 승으로 집계되었습니다. 코사인 유사도는 혼재된 결과를 보였습니다: 평균 0.682, 중앙값 0.712이며, 쌍의 54.1%가 0.70 기준 임계값(reference threshold) 이상이었습니다. 안전에 민감한 도메인(safety-critical domains)은 규칙 기반 게이트(rule-based gates)를 통해 보수적으로 통과(passthrough)되도록 라우팅됩니다. 명시된 가정 하에 호출당 순 에너지 절감량은 70-270 uWh로 추정됩니다. SPSD는 온디바이스 프롬프트 증류(on-device prompt distillation)가 실용적인 비열등성 마진 내에서 응답 품질을 유지하면서 클라우드 LLM 입력 토큰 비용을 줄일 수 있음을 보여줍니다.