PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.19368v1cs.AI

Spectral-LSH: Krylov 투영 국소민감 해싱을 통한 준이차 프롬프트 압축

Spectral-LSH: Sub-Quadratic Prompt Compression via Krylov-Projected Locality-Sensitive Hashing

긴 프롬프트 추론은 prefill 어텐션이 시퀀스 길이에 대해 이차적으로 스케일링되기 때문에 여전히 비용이 큽니다. 우리는 Spectral-LSH를 제안합니다. 이는 프롬프트가 언어 모델에 들어가기 전에 동작하는 무학습 프롬프트 압축 방법입니다. Spectral-LSH는 Krylov 부분공간(subspace) 방법과 랜덤 특징(random features)을 함께 사용하여 암시적 어텐션-커널 연산자의 주요 성분을 근사하며, 명시적인 $O(N^2)$ 어텐션-커널 구체화(materialization)를 피합니다. 그다음 결과적인 어텐션 고유공간(eigenspace)에서 SimHash를 적용하여 유사한 토큰을 그룹화하고, 인과적(causal) 위치 할당으로 이를 거시 토큰(macro-tokens)으로 집약합니다. 우리는 C4에서 Mistral-7B-Instruct-v0.3, Qwen2.5-7B-Instruct, Qwen2.5-14B-Instruct를 평가합니다. 실험 결과 압축률(compression ratio)의 위상 전이(phase transition)가 나타납니다. $ρ= 4 \times$ 미만에서는 지역적 토큰 중복도가 충분히 낮아 경량 청킹(chunking)이 일반적으로 최상의 지연-품질(latency-quality) 트레이드오프를 제공합니다. $ρ= 8 \times$ 이상에서는 스펙트럴(spectral) 경로가 청킹이 잃는 품질을 보존합니다. $ρ= 16 \times$에서 Qwen2.5-7B(adaptive)는 PPL 비율을 353.409에서 196.963으로 낮추고, Qwen2.5-14B(adaptive)는 9.533에서 3.427로 낮춥니다. JSON 유사, 코드 유사, 표 유사 입력을 포함하는 소규모 장문맥 구조화 스트레스 테스트에서, 지역 LSH 또한 $8 \times$에서 청킹 대비 모든 지표를 개선합니다. 적응형(adaptive) 백엔드는 낮은 압축에서는 청킹 경로를, 높은 압축에서는 스펙트럴 클러스터링을 사용하여 두 영역을 모두 포착하지만, 총 지연 시간(total latency)에서는 청킹이 여전히 가장 빠른 백엔드입니다.

arXiv:2605.17932v2cs.CL

확산 대규모 언어 모델에서의 프롬프트 압축: LLaDA에서 LLMLingua-2 평가

Prompt Compression in Diffusion Large Language Models: Evaluating LLMLingua-2 on LLaDA

프롬프트 압축은 대규모 언어 모델(LLM)의 추론 비용과 컨텍스트 길이를 줄이지만, 기존 평가는 주로 자기회귀(autoregressive) 아키텍처에 집중되어 있다. 본 연구는 LLMLingua-2가 확산 대규모 언어 모델(DLLM), 특히 LLaDA-8B-Instruct에 효과적으로 전이되는지를 검토한다. 수학적 추론, 프롬프트 재구성, 요약을 포함하는 GSM8K, DUC2004, ShareGPT를 각 데이터셋당 250개의 프롬프트로 약 50% 압축 비율에서 평가한다. 원본, 압축, 재구성된 프롬프트의 출력은 정확 일치 정확도(exact-match accuracy), BLEU, ROUGE, BERTScore를 사용하여 비교된다. 결과에 따르면 높은 의미적 보존이 반드시 확산 모델에서 안정적인 하위 태스크 동작을 보장하지는 않는다. 요약은 상대적으로 견고하게 유지되는 반면, 수학적 추론은 높은 의미적 유사도에도 불구하고 크게 저하된다. 재구성 결과는 또한 의미적으로 유사한 프롬프트가 안정적인 디노이징(denoising)에 필요한 추론 핵심 정보를 누락할 수 있음을 보여준다. 전반적으로 압축 실패는 의미적 편향(semantic drift)보다 정보 누락에 의해 주로 발생하며, 이는 자기회귀 프롬프트 압축 방법이 DLLM에 균일하게 전이되지 않을 수 있음을 시사한다. 이러한 발견은 확산 인식(diffusion-aware) 압축 전략의 필요성을 동기 부여한다.

arXiv:2607.08399v1cs.CL

활성화 집계를 통한 프롬프트 압축

Prompt Compression via Activation Aggregation

인스트럭션 프롬프트에 담긴 태스크 관련 정보를 단일 활성화(activation) 벡터로 압축한 뒤 LLM 초기 레이어에 재주입하는 프롬프트 압축 프레임워크를 제안하며, 중간 레이어에서 추출한 활성화의 가중합을 학습하는 경량 Weighting MLP(W-MLP)가 전체 프롬프트 처리 대비 정확도 저하 2% 미만으로 태스크 관련 정보를 보존함을 Llama3.1-8B 등 다양한 모델에서 실험적으로 입증했다.

arXiv:2607.01241v1cs.CL

Mapping Text to Multiplex Graph: Prompt Compression as Lévy Walk-Guided Graph Pruning

텍스트를 플랫한 토큰 시퀀스로 처리하는 기존 프롬프트 압축 방식의 한계를 극복하기 위해, RAGP는 세밀한 어텐션 기반 의존성과 거친 의미론적 관계를 동시에 모델링하는 멀티플렉스 그래프(multiplex graph) 위에서 중복 인식 그래프 가지치기(Redundancy-Aware Graph Pruning)를 수행한다. 밀집된 지역 서브그래프와 희소한 전역 연결이 혼재하는 이종 구조를 효율적으로 탐색하기 위해 Lévy walk를 도입하였으며, LongBench 벤치마크에서 4배 압축 비율로 평균 49.3점을 달성해 3배 압축의 LongLLMLingua(48.8점)를 능가하는 성능을 보였다.

arXiv:2606.19364v1cs.LG

사회-의미적 격차 해소: 클라우드 대규모 언어 모델(LLM) 추론에서 엣지 기반 프롬프트 압축을 위한 SPSD

Closing the Social-Semantic Gap: SPSD for Edge-Based Prompt Compression in Cloud LLM Inference

대규모 언어 모델(LLM) 추론의 프리필(prefill) 단계는 클라우드 규모의 에너지 비용 증가에 기여하는 요인이 되고 있습니다. 많은 소비자 지원 및 대화형 프롬프트에는 사회적 비계(social scaffolding)가 포함되어 있습니다. 여기에는 인간 의사소통에서는 중요하지만 기계 추론에는 낮은 한계 정보만을 전달하는 정중함 표시, 사과의 서문, 반복, 유대감 형성 언어 등이 포함됩니다. 우리는 이러한 불일치를 사회-의미적 격차(Social-Semantic Gap)라고 부릅니다. 우리는 SPSD(Sentiment Preserving Semantic Distillation)를 제안합니다. 이는 클라우드에 배포된 LLM으로 전송하기 전에 4비트 양자화된 소형 언어 모델(SLM)을 사용하여 사용자 프롬프트를 압축하는 엣지 기반 파이프라인입니다. Gemma-2-2B-Instruct (Q4_K_M)를 SLM으로, Llama-3.1-8B-Instruct를 클라우드 평가 모델로 사용하여 248개 프롬프트 말뭉치(corpus)에 대해 평가한 결과, 증류된 호출(distilled call)당 평균 99.9개의 입력 토큰이 절감되었으며, 146개의 증류된 호출 모두에서 양의 절감 효과가 나타났습니다. 121쌍에 대한 블라인드 LLM 심사(LLM-as-judge) 점수로 평가된 응답 품질은 15점 루브릭(rubric)에서 사전 지정된 1점 마진(margin) 이내로 원본 경로(raw path)보다 열등하지 않은(non-inferior) 것으로 나타났습니다. 심사 결과 43% 무승부, 28% 증류 승, 29% 원본 승으로 집계되었습니다. 코사인 유사도는 혼재된 결과를 보였습니다: 평균 0.682, 중앙값 0.712이며, 쌍의 54.1%가 0.70 기준 임계값(reference threshold) 이상이었습니다. 안전에 민감한 도메인(safety-critical domains)은 규칙 기반 게이트(rule-based gates)를 통해 보수적으로 통과(passthrough)되도록 라우팅됩니다. 명시된 가정 하에 호출당 순 에너지 절감량은 70-270 uWh로 추정됩니다. SPSD는 온디바이스 프롬프트 증류(on-device prompt distillation)가 실용적인 비열등성 마진 내에서 응답 품질을 유지하면서 클라우드 LLM 입력 토큰 비용을 줄일 수 있음을 보여줍니다.