PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.02630v1cs.DC

수십 줄로 구현하는 범용 서버의 세밀한 연산 오프로드

Fine-Grained Computation Offload for Off-the-Shelf Servers in Tens of Lines

하드웨어 가속기는 이제 온라인 서빙의 크리티컬 패스에 자리한다. GPU, FPGA, 그리고 점점 증가하는 원격 서비스—하드웨어 보안 모듈, 포스트-퀀텀 KEM, 추론 서버 등이 그 예다. 세밀한 오프로드(수 마이크로초에서 수 밀리초)에서 발생하는 스톨에 대한 고전적인 두 가지 대응책은 모두 실패한다: 컨텍스트 스위치는 오프로드만큼의 비용이 들고, 바쁜 대기(busy-wait)는 코어를 낭비한다. 오프로드를 다른 요청과 중첩(overlap)하는 것이 해결책이며, 기존 시스템들은 동시성을 추가하는 방식으로 이를 달성했다—비동기 프레임워크 재작성, 새로운 런타임 또는 데이터플레인 OS 도입, 혹은 수작업으로 조율된 포인트 통합이 그 방법이다. 우리는 동시성이 이미 존재한다는 사실을 관찰한다: 동시 요청을 처리한다는 것은 요청을 중단(suspend)하고 재개(resume)하는 것이므로, 모든 서버는 중첩에 필요한 메커니즘을 이미 내장하고 있다. 따라서 중첩은 재작성 문제가 아니라 라우팅 문제다: 오프로드를 실행기(executor)에 제출하고, 서버 자체의 지연 응답(deferred-response) 프리미티브로 요청을 중단한 뒤, 완료 시 재개하면 된다. 모든 프로덕션 동시성 모델을 아우르는 10개의 범용 서버에 걸쳐, 이 방법은 22~138줄 추가, 최대 1줄 수정만으로 실제 하드웨어에서 1.2~5.4배의 성능을 회복한다; 서버의 동시성 모델과 오프로드의 가중치가 두 수치를 사전에 예측하며, 성능 이득은 장치 처리량과 서버 자체의 중첩 용량에 의해 제한된다. 극단적인 경우, LD_PRELOAD 파이버 런타임이 수정되지 않은 스레드-연결당(thread-per-connection) 바이너리에 재라우팅을 주입하여 특성화된 범위 내에서 17.3배의 성능을 달성한다. 재라우팅은 실행-완료(run-to-completion) 원자성을 중단시키는데, 측정된 분류 체계(taxonomy)가 위험 요소를 잠금 없는 공유 집계(unlocked shared aggregates)로 국한시키며, 투명한 페이지 보호 감지기가 해당 부분을 정확히 보호한다—이는 표준 Redis에서 검증되었다.