PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.28263v1cs.LG

재해결 없이 온라인 선형 계획을 위한 자원 적응형 확률적 경사하강법

Resource-Adaptive Stochastic Gradient Descent for Online Linear Programming without Re-solving

대규모 언어 모델(LLM) 추론과 검색 서비스의 확대는 온라인 선형 계획 문제의 규모를 키우며, 계산적으로 효율적인 알고리즘을 요구한다. 본 연구는 확률적 온라인 선형 계획을 위한 자원 적응형 확률적 경사하강법(RASGD)을 제안한다. 이 알고리즘은 요청 하나와 현재 재고(inventory)만으로 자원 가격을 갱신하며, 자원 m개에 대해 도착(arrival)마다 O(m) 연산과 메모리만 필요하고 LP나 표본 평균 최적화(sample-average optimization)는 사용하지 않는다. 핵심은 재해결(re-solving)에서 쓰이는 현재 자원 가격 책정 로직을 1차 SGD 갱신으로 표현하는 것이다. 각 도착마다 이중 목적(dual objective)의 잔여 재고 허용량(allowance)을 갱신하고, 스텝 크기(stepsize)는 초기에는 학습을 위해 작아지다가 이후에는 재고 조정 속도에 맞추어 커진다. 표준 비퇴화(non-degeneracy) 조건 하에서 알고리즘은 모든 표본 경로(sample path)에서 실행 가능(feasible)하며, 실현된 분수적 후견 최적(realized fractional hindsight optimum) 대비 O(\log T) 기대 후회(expected regret)를 달성한다. 이는 분포를 알고 계산 제약이 없는 정책에 대한 하한과 일치한다. 분석은 변화하는 자원 수준에서 최적 가격을 추적하지 않고, 고정 참조 가격 주변의 곡률(curvature)을 재고 안정성(inventory stability)으로 전환한다. 수치 실험에서 RASGD는 도착마다 LP 재해결과 견줄 만한 후회를 달성하고, 시험한 1차 기준선(first-order baselines)보다 나으면서 1차 방법의 계산 효율은 유지한다. 이 결과는 RASGD가 대규모 OLP에서 높은 할당 품질을 계산 효율적으로 달성하는 접근임을 보여준다.

arXiv:2607.03948v1cs.AI

LLM 서빙에서의 다목적 라우팅을 위한 온라인 선형 프로그래밍

Online Linear Programming for Multi-Objective Routing in LLM Serving

우리는 대규모 언어 모델(LLM) 서빙에서의 온라인 라우팅 문제를 연구한다. 이 문제에서 요청들은 순차적으로 도착하며, 엄격한 배치 크기 및 KV-캐시 제약 하에 병렬 디코드 워커들에게 배분되어야 한다. 명시적인 서비스 수준 목표(SLO)와 연계되지 않고 지연 시간-처리량 트레이드오프에 대한 제한적인 제어만을 제공하는 기존의 라우팅 휴리스틱과 달리, 우리는 라우팅을 해석 가능한 의사결정 보상을 갖는 온라인 선형 프로그래밍으로 공식화하는 다목적 최적화 프레임워크를 제안한다. 우리는 온라인 선형 프로그래밍에 기반한 효율적인 입찰가 제어(bid-price control) 정책을 적용하여, 요청의 SLO 가중 이익이 쉐도우 가격(shadow price)을 초과할 때 해당 요청을 승인한다. 밀리초 수준의 의사결정 요구사항을 충족하기 위해, 예측 가능한 런타임으로 온라인에서 변화하는 이중 쉐도우 가격을 추적하는 웜스타트 방식의 투영된 1차 업데이트를 개발한다. 우리의 라우터를 Vidur 시뮬레이터에 통합하고, 종단 간 지연 시간, 첫 토큰 생성 시간(time-to-first-token), 처리량, 테일 성능 등 다양한 SLO 체계에서 표준 베이스라인 대비 상당한 성능 향상을 입증한다. 우리 결과의 큰 그림: 과학에 기반한 접근법이 휴리스틱에 기반한 접근법들을 능가한다.