PyTorchKR Papers

최신 논문

총 13편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.03430v1cs.AI

새치기하기: LLM 스케줄링에서 길이 예측 악용하기

Jumping the Line: Exploiting Length Predictions in LLM Scheduling

효율적인 요청 스케줄링은 대규모 언어 모델(LLM) 서빙에서 완료 시간을 단축하는 데 점점 더 중요해지고 있습니다. 최단 작업 우선(Shortest Job First)과 같은 크기 기반 정책은 더 짧은 요청을 우선시하지만, 생성 전에는 출력 길이를 알 수 없으므로 실제 스케줄러는 예측된 길이에 의존합니다. 본 논문에서는 스케줄링 신호를 조작하여 더 높은 우선순위를 획득하고 완료 시간을 줄이는 예측 기반 LLM 스케줄러 공격인 JIL을 소개합니다. TRAIL을 사례 연구로 활용하여, JIL은 경량 출력 길이 프로브(probe)가 요청 길이를 과소평가하도록 만드는 적대적 접미사(adversarial suffix)를 최적화합니다. 다양한 요청 프로필과 배포 구성에 걸쳐 2개의 데이터셋과 4개의 LLM에서 JIL을 평가합니다. JIL은 예측된 출력 길이를 최대 83.4% 줄이며, 엔드투엔드(end-to-end) 서빙 실험에서 적대적 요청은 평균 최대 1.53배 더 빠르게 완료됩니다. 예측된 길이의 감소는 실제 출력 길이의 변화보다 훨씬 커서, 스케줄러의 추정치와 요청의 실제 크기 간의 불일치를 드러냅니다. 응답 효용(utility)은 모델과 태스크에 따라 다양하게 나타나며, 스케줄링 이점과 응답 품질 간의 트레이드오프를 보여줍니다. 또한 스케줄러 측 방어 기법을 평가하여 길이 예측을 대략적인 구간으로 그룹화하면 JIL의 스케줄링 이점이 줄어들고 정상 요청의 지연이 완화됨을 확인합니다.

arXiv:2609.17475v2cs.AI

JustFit: 로컬 LLM 서빙을 위한 적시 상태 관리

JustFit: Just-in-Time State Management for Local LLM Serving

로컬 에이전트는 모델 실행과 작업 이력을 위해 메모리가 필요하다. 우리는 겹치는 할당을 조율하는 MLX 런타임 JustFit을 제시한다. KVExec는 제한된 워크스페이스에서 4비트 KV를 실행하고 체크포인트하며, PhaseSwap은 단계 의존적 구성 요소를 로드하고, StateTrans는 실행 모드 간 이력을 보존한다. 24 GiB M4 Pro MacBook에서 Qwen3.8-27B MXFP4로 JustFit은 두 요청에 걸쳐 327,680개의 유지 위치에 도달하며, 이는 평가된 기준선의 단일 요청 기록 30,720 위치의 10.67배이다. 한 요청은 중앙값 5.986 tokens/s로 전체 262,144 위치의 네이티브 윈도우를 완료한다. 각 shape는 세 개의 새 프로세스에서 요청당 16,384 출력을 완료한다. B1은 cold build 1회와 접두 문맥 확장 2회를 사용하고, B2는 순서대로 된 접두 문맥 확장 3회를 사용한다(Section 4). 이미지 인코딩은 활성 196,608 입력 텍스트 요청을 유지한 채 진행할 수 있다. 통제된 반복 32K+6K 워크로드는 15,626 MiB에서 중앙값 18.284 tokens/s에 도달한다. 별도의 AIME 2026 평가에서는 29/30점을 기록한다. 실행과 상태 수명을 조율하면 개인 하드웨어에서 더 긴 이력을 다루는 것이 가능해진다.

arXiv:2607.22648v1cs.AI

PTStore (Prefix Tensor Store): 고처리량 추론 서빙을 위한 분산 접두 캐싱 및 복제

PTStore (Prefix Tensor Store): Distributed Prefix Caching and Replication for High Throughput Inference Serving

콘텐츠 전송 네트워크(CDN)의 클라이언트 캐싱 설계에서 영감을 받아, PTStore는 재사용 가능한 KV 캐시 접두 문맥을 형성하는 인기 텐서를 분산하고 복제한다. 이 접두 문맥은 최신(state-of-the-art) 접근법들이 추론 가속에 사용하는 핵심 기법이다. 이를 통해 KV 캐시 접근 지연을 줄이고, 인기 텐서를 보유한 서버에 비례하지 않게 많은 요청이 집중되어 발생하는 부하 불균형을 완화한다. 또한 탈중앙화 덕분에 PTStore는 대규모 언어 모델(LLM) 추론을 위한 KV 캐시 크기를 수배 이상 확장할 수 있다. 그 결과 PTStore는 서로 다른 노드와 GPU에 걸쳐 메모리를 집계하지 않아 KV 캐시를 재생성해야 하는 현재 베이스라인 대비, 긴 구절 Q&A 데이터셋에서 추론을 5~6배 더 효율적으로 수행할 수 있다.

arXiv:2512.04013v3cs.CL

AugServe: 증강 대규모 언어 모델 추론 서빙을 위한 적응형 요청 스케줄링

AugServe: Adaptive Request Scheduling for Augmented Large Language Model Inference Serving

외부 도구를 활용한 증강 대규모 언어 모델(LLM)이 웹 애플리케이션에서 점점 더 많이 사용됨에 따라, 증강 LLM 추론 서빙의 효율성 향상과 서비스 수준 목표(SLO) 최적화가 사용자 경험 개선에 있어 중요한 과제가 되고 있다. 이를 달성하기 위해 추론 시스템은 지연 시간 제약 내에서 요청 처리량을 극대화해야 하며, 이를 유효 처리량(effective throughput) 향상이라 한다. 그러나 기존 시스템은 두 가지 주요 문제에 직면해 있다: (i) 선입선출(FCFS) 스케줄링에 대한 의존으로 인한 심각한 선두 차단(head-of-line blocking) 현상으로, 다수의 요청에서 SLO를 초과하는 큐잉 지연이 발생하고, (ii) 변동하는 부하 및 하드웨어 조건에 적응하지 못하는 정적 배치 토큰 한도가 문제가 된다. 이 두 요인은 유효 처리량과 서비스 품질을 저하시킨다. 본 논문에서는 증강 LLM 추론 서비스의 큐잉 지연을 줄이고 유효 처리량을 향상시키기 위해 설계된 효율적인 추론 프레임워크인 AugServe를 제안한다. AugServe의 핵심 아이디어는 2단계 적응형 요청 스케줄링 전략이다. 구체적으로, AugServe는 증강 LLM 요청의 추론 특성을 결합하여 스케줄링 결정의 순서를 최적화하고(1단계), 이 결정을 런타임 정보로 지속적으로 개선하여(2단계) 요청 특성과 시스템 성능 모두에 적응한다. 또한 AugServe는 하드웨어 상태와 실시간 부하를 기반으로 토큰 배치 메커니즘을 동적으로 조정하여 처리량 성능을 추가적으로 향상시킨다. 실험 결과, AugServe는 vLLM 및 InferCept 대비 각각 4.7배, 3.3배 높은 유효 처리량을 달성하였으며, 첫 토큰 생성 시간(TTFT)을 각각 최대 96.3%, 95.0% 단축하였다.

arXiv:2607.08930v1cs.LG

BlockServe: 고처리량 확산 LLM 서빙을 위한 블록 단위 연속 배치

BlockServe: Block-Grained Continuous Batching for High-Throughput Diffusion LLM Serving

확산 대규모 언어 모델(dLLM)의 효율적인 서빙은 수렴 이질성(convergence heterogeneity)으로 인해 저해된다: 여러 요청을 배치 처리할 때 서로 다른 시퀀스가 상이한 속도로 수렴하여, 빠른 요청이 느린 지연 요청(straggler) 뒤에서 대기하게 되고 연산 버블(compute bubble)과 꼬리 지연(tail latency)이 발생한다. 우리는 BlockServe를 제시한다. 이는 블록 경계에서 완료된 요청을 즉시 축출하는 블록 단위 스케줄링과, 수집-분산 인덱싱(gather-scatter indexing)을 통해 이종 배치에 듀얼 캐시 및 병렬 디코딩을 확장하는 혼합 상태 실행(mixed-state execution)을 통합한 연속 배치 프레임워크이다. 나아가, 연산 인식 입력 제어기(compute-aware admission controller)가 토큰 예산 기반 보충(token-budgeted refill)을 통해 실효 배치 용량을 확대한다. Dream 및 LLaDA에 대해 5개 벤치마크에서 BlockServe는 유사한 생성 품질을 유지하면서 Fast-dLLM 대비 1.9–10.6배의 처리량을 달성하며, 블록 단위 스케줄링을 고처리량 오프라인 dLLM 추론의 토대로 확립한다.

arXiv:2607.05147v1cs.AI

DSpark: 반자기회귀 생성을 활용한 신뢰도 기반 스케줄링 추측적 디코딩

DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation

추측적 디코딩(Speculative decoding)은 초안 생성과 목표 검증을 분리함으로써 대규모 언어 모델(LLM) 추론을 가속화한다. 최근의 병렬 초안 생성기는 단일 순전파(forward pass)로 긴 토큰 시퀀스를 효율적으로 제안하지만, 토큰 간 의존성 부재로 인해 수락률이 급격히 감소하는 문제를 겪는다. 또한, 이러한 확장된 블록을 무차별적으로 검증하면 거부 위험이 높은 토큰에 중요한 배치 용량이 낭비되어 고동시성 서빙 시스템의 처리량이 심각하게 저하된다. 우리는 고처리량 병렬 생성과 적응적·부하 인식 검증을 통합하는 추측적 디코딩 프레임워크인 DSpark를 소개한다. 초안 품질을 유지하기 위해 DSpark는 반자기회귀(semi-autoregressive) 아키텍처를 활용하여 병렬 백본과 경량 순차 모듈을 결합함으로써 블록 내 의존성 모델링을 도입하고 후위 감소(suffix decay)를 완화한다. 시스템 효율성을 최적화하기 위해 DSpark는 신뢰도 기반 스케줄링 검증(confidence-scheduled verification)을 채용하여, 추정된 접두 문맥 생존 확률과 엔진별 처리량 프로파일에 기반해 각 요청의 검증 길이를 동적으로 조정한다. 다양한 도메인에 걸친 오프라인 벤치마크에서 DSpark는 최신 자기회귀 및 병렬 초안 생성기 대비 수락 길이를 대폭 향상시킨다. 실시간 사용자 트래픽 하에 DeepSeek-V4 서빙 시스템에 배포했을 때, DSpark는 검증 낭비를 성공적으로 완화한다. 확립된 생산 기준선(MTP-1)과 비교하여, DSpark는 동일 처리량 수준에서 사용자별 생성 속도를 60~85% 가속화한다. 더 중요하게는, 엄격한 상호작용 제약 조건 하에서 심각한 처리량 저하를 방지함으로써 이전에는 달성 불가능했던 성능 수준을 가능하게 하여, 서빙 시스템의 파레토 프런티어를 이동시킨다.

arXiv:2607.02630v1cs.DC

수십 줄로 구현하는 범용 서버의 세밀한 연산 오프로드

Fine-Grained Computation Offload for Off-the-Shelf Servers in Tens of Lines

하드웨어 가속기는 이제 온라인 서빙의 크리티컬 패스에 자리한다. GPU, FPGA, 그리고 점점 증가하는 원격 서비스—하드웨어 보안 모듈, 포스트-퀀텀 KEM, 추론 서버 등이 그 예다. 세밀한 오프로드(수 마이크로초에서 수 밀리초)에서 발생하는 스톨에 대한 고전적인 두 가지 대응책은 모두 실패한다: 컨텍스트 스위치는 오프로드만큼의 비용이 들고, 바쁜 대기(busy-wait)는 코어를 낭비한다. 오프로드를 다른 요청과 중첩(overlap)하는 것이 해결책이며, 기존 시스템들은 동시성을 추가하는 방식으로 이를 달성했다—비동기 프레임워크 재작성, 새로운 런타임 또는 데이터플레인 OS 도입, 혹은 수작업으로 조율된 포인트 통합이 그 방법이다. 우리는 동시성이 이미 존재한다는 사실을 관찰한다: 동시 요청을 처리한다는 것은 요청을 중단(suspend)하고 재개(resume)하는 것이므로, 모든 서버는 중첩에 필요한 메커니즘을 이미 내장하고 있다. 따라서 중첩은 재작성 문제가 아니라 라우팅 문제다: 오프로드를 실행기(executor)에 제출하고, 서버 자체의 지연 응답(deferred-response) 프리미티브로 요청을 중단한 뒤, 완료 시 재개하면 된다. 모든 프로덕션 동시성 모델을 아우르는 10개의 범용 서버에 걸쳐, 이 방법은 22~138줄 추가, 최대 1줄 수정만으로 실제 하드웨어에서 1.2~5.4배의 성능을 회복한다; 서버의 동시성 모델과 오프로드의 가중치가 두 수치를 사전에 예측하며, 성능 이득은 장치 처리량과 서버 자체의 중첩 용량에 의해 제한된다. 극단적인 경우, LD_PRELOAD 파이버 런타임이 수정되지 않은 스레드-연결당(thread-per-connection) 바이너리에 재라우팅을 주입하여 특성화된 범위 내에서 17.3배의 성능을 달성한다. 재라우팅은 실행-완료(run-to-completion) 원자성을 중단시키는데, 측정된 분류 체계(taxonomy)가 위험 요소를 잠금 없는 공유 집계(unlocked shared aggregates)로 국한시키며, 투명한 페이지 보호 감지기가 해당 부분을 정확히 보호한다—이는 표준 Redis에서 검증되었다.

arXiv:2607.02518v1cs.DC

OpenClaw를 위한 GLM-5 서빙 매개변수 튜닝: 장문 컨텍스트 에이전트 워크로드를 위한 단일 배포 MaaS 추론 최적화

GLM-5 Serving Parameter Tuning for OpenClaw: Single-Deployment MaaS Inference Optimization for Long-Context Agent Workloads

OpenClaw 요청은 시스템 프롬프트, 대화 기록, 컨텍스트 윈도우에 재입력되는 도구 출력을 포함하는 길고 도구가 보강된 프리픽스(prefix)로 구성됩니다. 요청당 약 28,000~30,000개의 입력 토큰과 500개의 출력 토큰을 갖는 이 워크로드에서, 서빙 품질은 단순한 짧은 프롬프트 처리량만이 아니라 처리량(throughput), TTFT(첫 번째 토큰 생성 시간), 꼬리 지연(tail latency)에 의해 결정됩니다. 본 보고서는 MaaS 멀티 모델 추론 최적화 아키텍처 내에서 GLM-5 서빙 매개변수 튜닝을 연구합니다. 연구 범위는 추론 최적화 층의 단일 노드 최적화 블록으로, 하나의 GLM-5 서빙 배포에 대해 청크 프리필(chunked prefill), 텐서 병렬화(TP), 파이프라인 병렬화(PP), 요청 동시성이 튜닝됩니다. 본 보고서에서 '단일 노드 최적화'는 아키텍처 블록을 지칭하며, 실험은 2노드 16-GPU 클러스터에서 수행됩니다. 테스트된 구성 공간 내에서 최적 구성은 chunked-prefill-size=3072, tp=4, pp-size=4, max-running-requests=24입니다. 보수적인 2048/4/4/16 기준선과 비교하여, 요청 처리량은 0.43에서 0.48 req/s로, 총 토큰 처리량은 9,029.64에서 9,993.23 tok/s로 증가하며, 평균 TTFT는 8.98초에서 6.69초로, 지연 P90은 40.23초에서 32.64초로 감소합니다. 동일한 하드웨어 환경에서, 이는 요청당 서빙 비용 약 10.4% 절감 및 토큰당 비용 9.6% 절감에 해당합니다. 결과는 최적값이 워크로드에 따라 다름을 보여줍니다. 청크 크기가 클수록, 큐잉(queueing)이 깊을수록 성능이 단조롭게 향상되지는 않습니다. 따라서 3072 / tp4 / pp4 / max24를 기본 OpenClaw 배포 프로파일로 권장합니다.

arXiv:2607.01237v1cs.CL

Kara: Efficient Reasoning LLM Serving via Sliding-Window KV Cache Compression

추론 대규모 언어 모델(LLM)의 긴 사고의 연쇄(Chain-of-Thought) 생성으로 인한 KV 캐시 메모리 과부하 문제를 해결하기 위해, 슬라이딩 윈도우 기반 양방향 어텐션으로 중요 KV 쌍을 선별하고 Token2Chunk 모듈로 유연한 크기의 청크를 보존하는 Kara 방법론을 제안한다. 또한 vLLM 기반 추론(inference) 프레임워크인 KvLLM을 개발하여 주기적 압축 정책으로 처리량과 동시성을 효과적으로 개선함을 광범위한 실험을 통해 검증했다.

arXiv:2606.29565v1cs.LG

투기적 사전 포지셔닝: 크리티컬 패스 외부에서 상태 유지 세션을 다음 결정 지점까지 디코딩

Speculative Pre-Positioning: Decoding Stateful Sessions to the Next Decision Point Off the Critical Path

무상태 추론 서버의 요청 사이 유휴 시간을 활용해 드래프트 모델 없이 대상 모델의 순전파로 세션을 다음 결정 지점까지 미리 디코딩하는 투기적 사전 포지셔닝(Speculative Pre-Positioning)을 제안하며, 신뢰도 게이트가 발화할 경우 디코딩 없이 캐시된 분포에서 단일 토큰을 반환해 첫 토큰 지연을 39ms에서 약 1.0ms로 약 40배 단축한다.

arXiv:2606.29094v1cs.LG

DiLaServe: 확산 언어 모델을 위한 높은 SLO 달성 서빙

DiLaServe: High SLO Attainment Serving for Diffusion Language Models

확산 언어 모델(DLM)을 서빙할 때 신뢰도 기반 디노이징의 속도-품질 트레이드오프, 변동 부하에 따른 병렬화 수준 결정, 근사 KV 캐싱의 비균일 비용 문제를 해결하기 위해 클러스터 수준 서빙 시스템 DiLaServe를 제안한다. DiLaServe는 SLO 인식 신뢰도 임계값 조정과 적응형 부하 제어, 품질 인식 최적화 기반 동적 클러스터 재구성을 통해 기존 대비 SLO 달성률을 최대 56.6 퍼센트포인트 향상시키고 정확도 하락 1% 미만으로 종단 간 지연 시간을 최대 46% 단축한다.

arXiv:2606.20577v1cs.NI

인간 비개입 LLM 서빙: 처리량에 대한 인간 세금 정량화

Human-Less LLM Serving: Quantifying the Human Tax on Throughput

모든 주요 LLM 서빙 시스템은 TTFT와 TPOT SLO를 충족하도록 설계되어 있다. 이러한 지표는 인간 사용자가 인지하는 지연 시간을 반영하며, 이를 충족하기 위해 구축된 메커니즘은 이제 표준 인프라가 되었다. 우리는 장기 AI 작업이 TTFT나 TPOT을 관찰하는 인간 없이 긴밀한 루프에서 프로그래밍 방식으로 LLM을 호출한다는 점을 관찰한다. 우리는 다음을 묻는다: 이러한 워크로드가 전혀 필요로 하지 않는 TTFT 및 TPOT SLA를 충족하기 위해 서빙 시스템은 처리량을 얼마나 희생하는가? 우리는 청크 크기, SLO 설정, 컨텍스트 길이, 동시성 수준에 걸친 체계적인 측정 연구를 수행한다. 우리는 처리량에 대한 인간 세금이 컨텍스트 길이에 따라 실질적으로 증가하며 60-93% 범위에 이른다는 것을 발견한다. 64K 토큰 컨텍스트에서 TTFT SLO를 프로덕션 수준의 일반적인 설정으로 강화하면, 인간 비개입 기준선 대비 처리량의 상당 부분을 잃게 된다. 인간 세금은 동시성이 높을수록 더 크며, SGLang과 Sarathi-Serve 전반에서 질적으로 유사하다. 우리는 제약 없는 최적을 인간 비개입 서빙(human-less serving)이라 명명하고, 실제 워크로드에서 실용적임을 보여주는 프로토타입을 제공한다. 우리의 발견은 서빙 시스템이 모든 트래픽에 인간 세금을 묵묵히 균일하게 적용하기보다, 워크로드 클래스 인식 SLA 구성을 노출해야 한다고 주장한다.

arXiv:2606.07362v1cs.LG

장벽 깨기: vLLM의 콜드 스타트 지연 시간 분석

Breaking the Ice: Analyzing Cold Start Latency in vLLM

확장 가능한 추론 서비스가 대중화됨에 따라, 추론 엔진의 콜드 스타트 지연 시간이 중요해지고 있습니다. 오늘날 vLLM은 많은 추론 워크로드에서 사실상 표준이 되는 추론 엔진으로 발전했습니다. 인기가 높음에도 불구하고, 그 복잡성과 빠른 발전으로 인해 시작 지연 시간에 대한 체계적인 연구는 없었습니다. V1 API와 torch.compile 도입과 같은 주요 아키텍처 혁신과 함께, 본 논문은 vLLM 시작 지연 시간에 대한 최초의 상세한 성능 특성 분석을 제시합니다. 우리는 시작 과정을 6가지 기본 단계로 분해하고, 이것이 주로 CPU 바운드임을 입증합니다. 각 단계는 모델 수준 및 시스템 수준 파라미터에 대해 일관되고 해석 가능한 스케일링 추세를 보여주어, 지연 시간 원인의 정밀한 규명을 가능하게 합니다. 이러한 통찰력을 바탕으로, 우리는 주어진 하드웨어 구성에 대해 vLLM 시작 지연 시간을 정확하게 예측하는 경량 분석 모델을 개발하여, 대규모 추론 환경에서의 리소스 계획에 실질적인 지침을 제공합니다. 모든 벤치마킹 데이터셋, 분석 도구 및 예측 스크립트는 https://github.com/upb-cn/vllm-startup-profiler에서 오픈 소스로 공개됩니다.