PyTorchKR Papers

최신 논문

총 9편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2608.23986v4math.OC

The Shadow Price of Intelligence: Quality Degradation and Retry Feedback in LLM Inference

Large language model providers are compute constrained, and a common response to congestion is to degrade service: route queries to smaller models, cut reasoning budgets, or shorten context windows. A user who receives an unsatisfactory answer either retries, adding load while the system is busy, or abandons, possibly as churn. We model inference serving as a control problem in which service quality is the provider's decision. A two-regime fluid approximation with retries folded into the service rate gives closed-form trajectories and crossing times, so the dynamic program over quality tiers needs no simulation. We characterize a region in which a weaker tier uses less energy per task but more capacity per task, and show that in the fluid model reactive throttling to such a tier can keep the queue from draining. With heterogeneous customers the problem is a transportation problem with retry-inflated capacity coefficients; optimal routing follows a $c\mu$-type index, and the dual of the capacity constraint gives the marginal cost of one more query by class and time. We illustrate the method on five instances calibrated to public benchmark data.

arXiv:2610.10929v1cs.CR

스피드범프: 투기적 디코딩에 대한 거절 공격

Speedbumps: Rejection Attacks on Speculative Decoding

투기적 디코딩(Speculative decoding)은 단일 타깃 모델 순전파에서 여러 초안 토큰을 검증함으로써 대규모 언어 모델(LLM) 추론 속도를 높이고 비용을 줄이는 널리 사용되는 기법이다. 이로부터 얻는 이점은 초안 모델(drafter)이 타깃 모델의 분포를 얼마나 잘 근사하는지에 달려 있다. 본 연구에서는 초안 모델과 타깃 모델 간의 불일치를 더 자주 유발하여 초안 주기당 수락되는 초안 토큰 수를 줄이는 새로운 공격군인 투기적 거절 공격(Speculative Rejection Attacks, SRA)을 연구한다. 이는 생성된 토큰당 필요한 타깃 모델의 순전파 횟수를 늘려 피해자의 추론 속도를 늦추고 비용을 증가시킨다. 우리는 공격자가 제어하는 콘텐츠에 적대적 접미사를 추가하여 피해자 프롬프트에 대한 투기적 디코딩 성능을 저하시키는 두 가지 공격을 소개한다. 두 공격 모두 수락되는 투기적 접두 문맥의 기대 길이를 최적화하며, 초안 제안에 대한 타깃 모델의 확률로부터 깊이별 수락률을 추정하거나(Speedbump-P), 초안과 타깃 분포 간의 중첩 정도로부터 추정한다(Speedbump-D). 일부 경우에서 이러한 공격은 투기적 디코딩 속도를 자기회귀 디코딩보다 느려지는 수준까지 저하시킨다. 성능 저하 시 출력 품질이 감소하는데, 정규화(regularisation)를 적용하면 출력 품질은 복원되지만 성능 저하 효과 대부분을 포기하게 되어 은밀성과 효과성 사이의 트레이드오프가 발생한다. 또한 적대적 접미사는 샘플링 환경에서도 유효성을 유지하며, 초안 모델 간(Speedbump-P) 또는 초안 모델을 공유하는 타깃 모델 간(Speedbump-D)에 전이된다. 이러한 발견은 투기적 디코딩의 초안-타깃 상호작용이 적대적 입력을 통해 추론 비용을 부풀릴 수 있는 실질적인 공격 표면임을 보여준다.

arXiv:2604.21231v3cs.NI

SparKV: 효율적인 온디바이스 LLM 추론을 위한 오버헤드 인지형 KV 캐시 로딩

SparKV: Overhead-Aware KV Cache Loading for Efficient On-Device LLM Inference

온디바이스 대규모 언어 모델(LLM)의 효율적인 추론은 제한된 하드웨어 자원과 전체 입력 문맥을 처리하여 키-값(KV) 캐시를 구성하는 프리필(prefill) 단계의 높은 비용으로 인해 여전히 어렵습니다. 본 논문에서는 클라우드 기반 KV 스트리밍과 온디바이스 연산을 결합한 적응형 KV 로딩 프레임워크인 SparKV를 제안합니다. SparKV는 개별 KV 청크의 비용을 모델링하여 각 청크를 스트리밍할지 아니면 로컬에서 연산할지 결정하며, 두 실행 경로를 중첩(overlap)하여 지연 시간을 줄입니다. 무선 연결성 및 엣지 자원 가용성의 변동에 대처하기 위해, SparKV는 런타임에 오프라인에서 생성된 스케줄을 추가로 개선하여 통신 및 연산 비용의 균형을 재조정합니다. 다양한 데이터셋, LLM 및 엣지 디바이스 전반에 걸친 실험 결과, SparKV는 응답 품질에 미치는 영향을 무시할 수 있는 수준으로 유지하면서 최초 토큰 생성 시간(Time-to-First-Token)을 1.3배~5.1배 단축하고, 요청당 에너지 소비를 1.5배~3.3배 절감하여 실제 온디바이스 배포를 위한 견고성과 실용성을 입증했습니다.

arXiv:2610.01763v1cs.AI

TopK-Guided: 효율적인 LLM 추론을 위한 적응형 예산 인식 활성화 희소성

TopK-Guided: Adaptive, Budget-Aware Activation Sparsity for Efficient LLM Inference

활성화 희소성(activation sparsity)은 중요하지 않은 활성화를 0으로 설정하여 해당 연산을 건너뛸 수 있도록 함으로써 대규모 언어 모델(LLM) 추론을 가속화합니다. 그러나 기존의 학습 불필요(training-free) 방식들은 서로 다른 트레이드오프를 가집니다. TEAL과 같은 임계값 기반 방식은 토큰별로 희소성 수준을 적응시키지만 실제 실현되는 희소성을 엄밀하게 제어하지 못하는 반면, WINA와 같은 TopK 기반 방식은 고정된 희소성 수준을 강제하지만 모든 토큰에 대해 동일한 희소성 예산을 사용합니다. 또한 두 방식 모두 트랜스포머 블록 간의 민감도 차이가 큼에도 불구하고 모든 블록에 걸쳐 동일한 예산을 적용합니다. 본 논문에서는 경계가 지정된 토큰 수준의 희소성 적응과 민감도 인식 블록 수준 예산 할당을 결합하여 두 가지 한계를 모두 해결하는 학습 불필요 방식인 TopK-Guided를 소개합니다. Llama-2 및 Llama-3 모델 전반에서 TopK-Guided는 WINA와 실질적으로 동일한 희소성 의존적 투영 연산량을 유지하면서도 TEAL 및 WINA 대비 펄플렉서티(perplexity)와 다운스트림 정확도를 일관되게 향상시키며, 특히 높은 희소성에서 가장 큰 성능 향상을 보입니다. 제거 연구(ablation study)를 통해 두 구성 요소가 상호 보완적인 개선을 제공함을 보여줍니다.

arXiv:2607.11211v1cs.LG

FastTPS: AI 가속기를 위한 LLM 토큰 단계 최적화 방법

FastTPS: An Optimized Method for LLM Token Phase for AI accelerators

대규모 언어 모델(LLM)의 인기가 높아지면서 효율적인 추론에 대한 지속적인 수요가 증가하고 있다. 그러나 디코더 전용 LLM 추론의 토큰 단계에서 토큰이 순차적으로 처리되기 때문에, 내재적인 낮은 병렬성으로 인해 처리량이 감소하고 인공지능(AI) 가속기의 연산 유닛 활용도가 저하된다. 특히 상당한 메모리 오버헤드를 수반하는 긴 시퀀스 입력을 처리할 때 이러한 문제가 두드러진다. 최근 다수의 방법이 잠재적 해결책으로 제안되었으나, 수치적 편차가 발생한다는 문제가 있다. 본 논문은 일반 AI 가속기에서 LLM 추론의 토큰 단계를 가속화하기 위한 고성능이면서 정밀도 손실이 적은 방법인 FastTPS를 제안한다. FastTPS는 세 가지 핵심 구성 요소를 포함한다: (1) 메모리 접근 오버헤드를 줄이고 어텐션의 완전 융합을 가능하게 하는 AI 가속기 기반 리로딩 없는 KV Cache 연결, (2) 타일링 최적화된 FLAT 기반의 고효율·고정밀도 'RoPE' 어텐션, (3) 세밀한 파이프라인 스케줄링을 적용한 고도 융합 MLP. 실험 결과, FastTPS는 토큰 단계의 메모리 병목 현상을 크게 완화하며, AMD Ryzen AI 300 시리즈 NPU에서 BF16 정밀도로 Phi3-mini-4k-instruct 추론 시 미융합 대비 6배의 속도 향상을 달성하면서 피크 메모리 대역폭 활용률 93%를 유지함을 확인하였다.

arXiv:2607.10582v1cs.LG

MemDecay: 효율적인 LLM 에이전트 추론을 위한 영역 인식 KV 캐시 제거

MemDecay: Region-Aware KV Cache Eviction for Efficient LLM Agent Inference

대규모 언어 모델(LLM) 에이전트는 시스템 지시문, 계획, 사용자 턴, 검색된 문서, 도구 출력, 중간 추론 등 이질적인 컨텍스트를 축적하며, 이에 따른 키-값(KV) 캐시는 주요 메모리 병목 지점이 될 수 있다. 기존의 제거 정책들은 일반적으로 모든 토큰에 동일한 어텐션 기반 또는 최신성 기반 규칙을 적용함으로써, 에이전트 오케스트레이터가 이미 보유한 의미적 구조를 무시한다. 우리는 학습이 필요 없는 영역 인식 KV 캐시 제거 정책인 MemDecay를 제안한다. MemDecay는 토큰에 영역별 기본 우선순위와 감쇠율을 할당하고, 토큰이 어텐션을 받을 때 보존 점수를 갱신하며, 고정 캐시 예산 내에서 가장 낮은 점수의 페이지를 제거하는 동시에 중요한 영역은 고정(pinning)할 수 있도록 한다. 또한 측정된 어텐션 수명으로부터 감쇠율을 보정하는 절차를 제공한다. 우리는 Qwen2.5-1.5B 및 3B 모델을 사용하여 약 450 및 1,700 토큰 컨텍스트에서 MemDecay를 평가한다. 모든 설정에서 어텐션 수명은 영역에 따라 한 자릿수 규모의 차이를 보인다: 시스템 토큰의 반감기는 148~189 디코딩 스텝인 반면, 스크래치패드 토큰은 14~16 스텝에 불과하다. 고정을 적용하면 모든 설정에서 시스템 영역의 사실을 전체 캐시 수준의 정확도로 보존하는 반면, 어떤 기준선도 24개 중 13개를 초과하여 보존하지 못한다. 영역 인식 보존은 컨텍스트가 증가해도 효과를 유지하는 반면, 최신성 기반 보존은 붕괴된다. 단, 누적 어텐션 보존은 고정되지 않은 콘텐츠에서 더 나은 성능을 보이며, 어블레이션 실험은 어텐션 점수 정규화가 현재 공식의 주요 한계임을 밝힌다. 이러한 결과는 의미적 프롬프트 구조가 KV 캐시 관리를 위한 강력한 신호임을 입증하는 동시에, 어텐션 기반 중요도와 어떻게 결합되어야 하는지를 명확히 한다.

arXiv:2607.05708v1cs.AI

Akashic: MemAttention을 활용한 저오버헤드 LLM 추론 서비스

Akashic: A Low-Overhead LLM Inference Service with MemAttention

LLM 기반 에이전트의 멀티턴 상호작용에서 누적되는 긴 컨텍스트 문제를 해결하기 위해, 컨텍스트를 고정 크기 청크로 구조화하고 청크 간 의미 관계를 모델링하는 MemAttention을 핵심으로 한 저오버헤드 메모리 시스템 Akashic을 제안한다. 하드웨어-소프트웨어 공동 설계 메모리 배치를 통해 검색 단편화와 I/O 오버헤드를 줄였으며, 4가지 벤치마크 실험에서 기존 메모리 베이스라인 대비 태스크 정확도 최대 10.2포인트, 처리량 최대 1.21배, 지속 가능한 요청 처리율 최대 1.88배 향상을 달성했다.

arXiv:2502.16886v4cs.CL

ReFreeKV: 임계값 없는 KV 캐시 압축을 향하여

ReFreeKV: Towards Threshold-Free KV Cache Compression

대규모 언어 모델(LLM) 추론 중 메모리 사용량을 줄이기 위해 KV 캐시 가지치기를 위한 여러 방법이 제안되었다. 이러한 기법들은 많은 데이터셋에서 무손실 메모리 감소를 달성할 수 있지만, 종종 간과되는 조건에 의존한다. 최적 성능을 달성하려면 KV 캐시 예산에 대한 입력/도메인별 임계값을 사전에 정해야 한다. 그러나 이러한 입력 민감 설계는 실제 시나리오에서 상당히 제한적일 수 있다. 오픈 도메인 입력은 다양한 도메인, 길이, 난이도 수준에 걸쳐 있어 임계값 선택을 위한 명확한 경계가 없기 때문이다. 그 결과, 이러한 입력 민감 임계값에 대한 의존은 임의의 입력에서 큰 성능 저하를 초래할 수 있는 근본적인 한계가 될 수 있다. 본 연구에서는 견고한 KV 압축을 위해 임계값 제약을 제거하는 새로운 목표를 제안하며, 전체 캐시 성능을 유지하면서 예산 할당을 적응적으로 조정하는 "임계값 없는(threshold-free)" 방법을 옹호한다. 그다음 이 목표의 첫 번째 구현인 새로운 방법 ReFreeKV를 제안한다. 다양한 컨텍스트 길이, 작업 유형, 모델 크기를 갖춘 13개 데이터셋에 걸친 광범위한 실험이 그 효과와 효율성을 입증한다. 코드는 https://github.com/Patrick-Ni/ReFreeKV 에서 공개되어 있다.

arXiv:2603.26557v3cs.CL

MemBoost: 비용 인식 LLM 추론을 위한 메모리 부스트 프레임워크

MemBoost: A Memory-Boosted Framework for Cost-Aware LLM Inference

MemBoost는 반복·유사 쿼리가 많은 대화형 LLM 서빙에서 경량 모델이 이전 답변과 검색된 정보를 재사용하고, 어렵거나 불확실한 요청만 강력한 대형 모델로 전달하는 메모리 부스트 프레임워크로, 표준 RAG와 달리 답변 재사용·지속적 메모리 축적·비용 인식 라우팅을 지원한다. MMLU-Pro에서 Zipf 분포로 시뮬레이션한 워크로드 실험에서 비용이 큰 대형 모델 호출과 전체 추론 비용을 크게 줄이면서도 강력한 모델 기준선과 대등한 답변 품질을 유지했다.