arXiv:2610.03430v1 cs.AI

새치기하기: LLM 스케줄링에서 길이 예측 악용하기

Jumping the Line: Exploiting Length Predictions in LLM Scheduling

Yuyang Dai, Rana Shahout, Mahmood Sharif

제출 2026-10-02

저자 비고

arXiv Comments

24 pages, 6 figures

한국어 초록

효율적인 요청 스케줄링은 대규모 언어 모델(LLM) 서빙에서 완료 시간을 단축하는 데 점점 더 중요해지고 있습니다. 최단 작업 우선(Shortest Job First)과 같은 크기 기반 정책은 더 짧은 요청을 우선시하지만, 생성 전에는 출력 길이를 알 수 없으므로 실제 스케줄러는 예측된 길이에 의존합니다. 본 논문에서는 스케줄링 신호를 조작하여 더 높은 우선순위를 획득하고 완료 시간을 줄이는 예측 기반 LLM 스케줄러 공격인 JIL을 소개합니다. TRAIL을 사례 연구로 활용하여, JIL은 경량 출력 길이 프로브(probe)가 요청 길이를 과소평가하도록 만드는 적대적 접미사(adversarial suffix)를 최적화합니다. 다양한 요청 프로필과 배포 구성에 걸쳐 2개의 데이터셋과 4개의 LLM에서 JIL을 평가합니다. JIL은 예측된 출력 길이를 최대 83.4% 줄이며, 엔드투엔드(end-to-end) 서빙 실험에서 적대적 요청은 평균 최대 1.53배 더 빠르게 완료됩니다. 예측된 길이의 감소는 실제 출력 길이의 변화보다 훨씬 커서, 스케줄러의 추정치와 요청의 실제 크기 간의 불일치를 드러냅니다. 응답 효용(utility)은 모델과 태스크에 따라 다양하게 나타나며, 스케줄링 이점과 응답 품질 간의 트레이드오프를 보여줍니다. 또한 스케줄러 측 방어 기법을 평가하여 길이 예측을 대략적인 구간으로 그룹화하면 JIL의 스케줄링 이점이 줄어들고 정상 요청의 지연이 완화됨을 확인합니다.

원문 초록

Efficient request scheduling is increasingly important for reducing completion time in large language model (LLM) serving. Size-based policies such as Shortest Job First prioritize shorter requests, but output lengths are unknown before generation, so practical schedulers rely on predicted lengths. We introduce JIL, an attack on prediction-based LLM schedulers that manipulates the scheduling signal to obtain higher priority and reduce completion time. Using TRAIL as a case study, JIL optimizes an adversarial suffix that causes a lightweight output-length probe to underestimate a request's length. We evaluate JIL on two datasets and four LLMs across varied request profiles and deployment configurations. JIL reduces predicted output lengths by up to 83.4 percent, and adversarial requests complete up to 1.53 times faster on average in end-to-end serving experiments. The reduction in predicted length is substantially larger than the change in actual output length, revealing a mismatch between the scheduler's estimate and the request's realized size. Response utility varies across models and tasks, exposing a trade-off between scheduling advantage and response quality. We also evaluate scheduler-side defenses and find that grouping length predictions into coarse intervals reduces JIL's scheduling advantage and mitigates delays to benign requests.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.03430v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27857v1cs.CR공통 태그 Scheduling, Adversarial Attack

ChronosAttack: LLM 에이전트를 대상으로 한 적대적 도구 스케줄링 공격

ChronosAttack: Adversarial Tool Scheduling Attacks on LLM Agents

대규모 언어 모델(LLM) 에이전트는 외부 도구 응답이 도착하는 대로 처리하는 경우가 많아, 응답 타이밍이 의사결정 과정의 일부가 됩니다. 본 연구에서는 정품 도구 응답을 수정, 추가, 제거하거나 앞당기지 않고 도착 시점만 변경하는 지연 전용 스케줄링 공격인 ChronosAttack을 소개합니다. 유계 지연(bounded delay)만으로도 동일한 증거의 제시 순서가 뒤바뀌어 최종 결정이 달라질 수 있습니다. 본 논문은 GPT-5.6 Sol, Gemini 3.6 Flash, DeepSeek V4 Flash, Claude Sonnet 4.6을 대상으로 ChronosAttack을 평가합니다. 취약한 환경에서 GPT-5.6 Sol과 Claude는 뚜렷한 목표 편향을 보였고, Gemini는 반대 방향으로 큰 편향을 나타냈으며, DeepSeek은 테스트된 스케줄 하에서 상대적으로 더 안정적이었습니다. 또한 순차적 에이전트 상태가 항상 필수적인 것은 아니며, 단 한 번의 스케줄링 역전만으로도 결정에 중대한 변화가 발생할 수 있음을 확인했습니다. 동기화 및 순서 일관성 방어 기법은 관찰 순서에 대한 공격자의 제어력을 줄여줍니다. 이러한 결과는 비동기 LLM 에이전트에서 도구 응답 타이밍 자체가 공격 표면이 될 수 있음을 보여줍니다.

arXiv:2607.08930v1cs.LG공통 태그 Scheduling, inference serving

BlockServe: 고처리량 확산 LLM 서빙을 위한 블록 단위 연속 배치

BlockServe: Block-Grained Continuous Batching for High-Throughput Diffusion LLM Serving

확산 대규모 언어 모델(dLLM)의 효율적인 서빙은 수렴 이질성(convergence heterogeneity)으로 인해 저해된다: 여러 요청을 배치 처리할 때 서로 다른 시퀀스가 상이한 속도로 수렴하여, 빠른 요청이 느린 지연 요청(straggler) 뒤에서 대기하게 되고 연산 버블(compute bubble)과 꼬리 지연(tail latency)이 발생한다. 우리는 BlockServe를 제시한다. 이는 블록 경계에서 완료된 요청을 즉시 축출하는 블록 단위 스케줄링과, 수집-분산 인덱싱(gather-scatter indexing)을 통해 이종 배치에 듀얼 캐시 및 병렬 디코딩을 확장하는 혼합 상태 실행(mixed-state execution)을 통합한 연속 배치 프레임워크이다. 나아가, 연산 인식 입력 제어기(compute-aware admission controller)가 토큰 예산 기반 보충(token-budgeted refill)을 통해 실효 배치 용량을 확대한다. Dream 및 LLaDA에 대해 5개 벤치마크에서 BlockServe는 유사한 생성 품질을 유지하면서 Fast-dLLM 대비 1.9–10.6배의 처리량을 달성하며, 블록 단위 스케줄링을 고처리량 오프라인 dLLM 추론의 토대로 확립한다.

arXiv:2610.10666v2cs.LG공통 태그 Adversarial Attack

적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명

Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks

심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.