PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.03430v1cs.AI

새치기하기: LLM 스케줄링에서 길이 예측 악용하기

Jumping the Line: Exploiting Length Predictions in LLM Scheduling

효율적인 요청 스케줄링은 대규모 언어 모델(LLM) 서빙에서 완료 시간을 단축하는 데 점점 더 중요해지고 있습니다. 최단 작업 우선(Shortest Job First)과 같은 크기 기반 정책은 더 짧은 요청을 우선시하지만, 생성 전에는 출력 길이를 알 수 없으므로 실제 스케줄러는 예측된 길이에 의존합니다. 본 논문에서는 스케줄링 신호를 조작하여 더 높은 우선순위를 획득하고 완료 시간을 줄이는 예측 기반 LLM 스케줄러 공격인 JIL을 소개합니다. TRAIL을 사례 연구로 활용하여, JIL은 경량 출력 길이 프로브(probe)가 요청 길이를 과소평가하도록 만드는 적대적 접미사(adversarial suffix)를 최적화합니다. 다양한 요청 프로필과 배포 구성에 걸쳐 2개의 데이터셋과 4개의 LLM에서 JIL을 평가합니다. JIL은 예측된 출력 길이를 최대 83.4% 줄이며, 엔드투엔드(end-to-end) 서빙 실험에서 적대적 요청은 평균 최대 1.53배 더 빠르게 완료됩니다. 예측된 길이의 감소는 실제 출력 길이의 변화보다 훨씬 커서, 스케줄러의 추정치와 요청의 실제 크기 간의 불일치를 드러냅니다. 응답 효용(utility)은 모델과 태스크에 따라 다양하게 나타나며, 스케줄링 이점과 응답 품질 간의 트레이드오프를 보여줍니다. 또한 스케줄러 측 방어 기법을 평가하여 길이 예측을 대략적인 구간으로 그룹화하면 JIL의 스케줄링 이점이 줄어들고 정상 요청의 지연이 완화됨을 확인합니다.

arXiv:2607.05316v1cs.CL

얼마나 남았나? 대규모 언어 모델은 남은 출력 길이를 선형적으로 인코딩한다

How Much is Left? LLMs Linearly Encode Their Remaining Output Length

대규모 언어 모델(LLM)은 한 번에 하나의 토큰을 생성하지만, 그 응답은 놀랍도록 일관된 길이 구조를 보인다: 단계별 풀이는 예측 가능한 토큰 수로 수렴하고, 검색 결과는 몇 문장 후 멈추며, 철회(retraction)는 측정 가능한 양만큼 응답을 늘린다. 우리는 모델이 남은 응답량에 대한 내부 추정치를 보유하는지 묻는다. 7개의 완성(completion) 스타일 데이터셋에 걸쳐 3개의 오픈 가중치 7–8B 모델의 고정된 은닉 상태에 최소 용량 선형 프로브(linear probe)를 학습시킨 결과, 세 가지 수렴하는 증거를 발견했다. 첫째, 전체 응답 길이는 어떤 출력도 생성되기 전에 프롬프트의 마지막 은닉 상태만으로 선형적으로 디코딩 가능하다. 둘째, 자연어 데이터셋으로 학습된 프로브 방향은 학습 중 본 적 없는 통제된 합성 완성을 포함하여 폭넓게 전이(transfer)되며 통계적 기준선을 능가한다; 반대 방향은 일반적으로 실패하며, 이 비대칭성 자체가 정보를 제공한다. 셋째, 선별된 고손실 완성에서 프로브의 위치별 추정치는 모델이 부분 풀이를 철회하고 재시작하는 순간 상향 이동하는데, 이는 위치 정보만을 이용하는 예측기로는 재현할 수 없는 방향성 행동이다(집계 수준이 아닌 정성적 관찰). 우리는 이를 트랜스포머에 대한 정확한 카운팅 불가능성 결과와 구별되는 남은 생성 길이의 근사 추정으로 정의하며, LLM이 출력 길이에 대한 계획 유사 내부 표현을 유지한다는 증거로 해석한다(디코딩 가능하지만 반드시 인과적으로 사용되는 것은 아님).