수십 줄로 구현하는 범용 서버의 세밀한 연산 오프로드
Fine-Grained Computation Offload for Off-the-Shelf Servers in Tens of Lines
한국어 초록
하드웨어 가속기는 이제 온라인 서빙의 크리티컬 패스에 자리한다. GPU, FPGA, 그리고 점점 증가하는 원격 서비스—하드웨어 보안 모듈, 포스트-퀀텀 KEM, 추론 서버 등이 그 예다. 세밀한 오프로드(수 마이크로초에서 수 밀리초)에서 발생하는 스톨에 대한 고전적인 두 가지 대응책은 모두 실패한다: 컨텍스트 스위치는 오프로드만큼의 비용이 들고, 바쁜 대기(busy-wait)는 코어를 낭비한다. 오프로드를 다른 요청과 중첩(overlap)하는 것이 해결책이며, 기존 시스템들은 동시성을 추가하는 방식으로 이를 달성했다—비동기 프레임워크 재작성, 새로운 런타임 또는 데이터플레인 OS 도입, 혹은 수작업으로 조율된 포인트 통합이 그 방법이다. 우리는 동시성이 이미 존재한다는 사실을 관찰한다: 동시 요청을 처리한다는 것은 요청을 중단(suspend)하고 재개(resume)하는 것이므로, 모든 서버는 중첩에 필요한 메커니즘을 이미 내장하고 있다. 따라서 중첩은 재작성 문제가 아니라 라우팅 문제다: 오프로드를 실행기(executor)에 제출하고, 서버 자체의 지연 응답(deferred-response) 프리미티브로 요청을 중단한 뒤, 완료 시 재개하면 된다. 모든 프로덕션 동시성 모델을 아우르는 10개의 범용 서버에 걸쳐, 이 방법은 22~138줄 추가, 최대 1줄 수정만으로 실제 하드웨어에서 1.2~5.4배의 성능을 회복한다; 서버의 동시성 모델과 오프로드의 가중치가 두 수치를 사전에 예측하며, 성능 이득은 장치 처리량과 서버 자체의 중첩 용량에 의해 제한된다. 극단적인 경우, LD_PRELOAD 파이버 런타임이 수정되지 않은 스레드-연결당(thread-per-connection) 바이너리에 재라우팅을 주입하여 특성화된 범위 내에서 17.3배의 성능을 달성한다. 재라우팅은 실행-완료(run-to-completion) 원자성을 중단시키는데, 측정된 분류 체계(taxonomy)가 위험 요소를 잠금 없는 공유 집계(unlocked shared aggregates)로 국한시키며, 투명한 페이지 보호 감지기가 해당 부분을 정확히 보호한다—이는 표준 Redis에서 검증되었다.
원문 초록
Hardware accelerators now sit on the critical path of online serving. GPUs, FPGAs, and increasingly remote services such as hardware security modules, post-quantum KEMs, and inference servers. For fine-grained offloads (microseconds to a few milliseconds) the classic responses to the resulting stall both fail: a context switch costs as much as the offload, and a busy-wait burns the core. Overlapping the offload with other requests is the fix, and prior systems obtain it by adding concurrency: an async-framework rewrite, a new runtime or dataplane OS, or a hand-tuned point integration. We observe that the concurrency already exists: serving concurrent requests is suspending and resuming them, so every server ships the machinery overlap needs. Overlap is then a routing problem, not a rewrite problem: submit the offload to an executor, suspend the request with the server's own deferred-response primitive, resume it on completion. Across ten off-the-shelf servers spanning every production concurrency model, this recipe takes 22-138 lines added, at most one modified, and recovers 1.2-5.4x on real hardware; the server's concurrency model and the offload's weight predict both numbers in advance, and the win is bounded by device throughput and the server's own overlap capacity. At the limit, an LD_PRELOAD fiber runtime injects the reroute into an unmodified thread-per-connection binary (17.3x) within a characterized envelope. Rerouting suspends run-to-completion atomicity; a measured taxonomy confines the hazard to unlocked shared aggregates, and a transparent page-protection detector guards exactly those, validated on stock Redis.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.02630v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
EBRL: 다중 세분도 자원 관리를 통한 비동기 체현형 RL
EBRL: Asynchronous Embodied RL by Multi-Grained Resource Management
체현형 강화학습(RL)은 환경 시뮬레이션, 행동 생성, 모델 업데이트로 이루어진 파이프라인을 통해 모델 역량을 향상시킨다. 이러한 단계들은 서로 다른 CPU·GPU 수요를 보여 효율적인 자원 활용을 어렵게 한다. 최근 시스템은 효율을 위해 롤아웃(시뮬레이션 및 생성)과 학습을 겹치지만, 롤아웃에서 GPU를 독점 할당하고 동기화 배리어를 두는 방식은 여전히 하드웨어 자원 낭비가 크다. 본 논문에서는 두 가지 핵심 기법을 갖춘 비동기 체현형 RL 학습 시스템 EBRL을 제안한다. 비동기 파이프라인 스케줄러는 롤아웃과 학습을 겹치고, 환경 그룹 간에 시뮬레이션과 생성을 파이프라인으로 연결하며, 각 환경을 독립적으로 실행해 동기화로 인한 정체를 없앤다. 세분화된 자원 관리자는 CPU 코어와 GPU 스트리밍 멀티프로세서(SM)를 풀로 묶고, 단계별 프로파일과 런타임 피드백으로 단계 간 변하는 수요에 맞춰 자원 할당량과 배치 크기를 조정한다. EBRL을 RLinf 위에 구현하고, 이질적 GPU 테스트베드에서 체현형 정책 네 종과 시뮬레이션 벤치마크 네 종으로 평가했다. 실험 결과 EBRL은 SOTA 체현형 RL 시스템 대비 end-to-end 롤아웃 처리량 1.30–3.47배, 학습 수렴 속도 2.5배를 달성했다.
Conduit: 분산 강화학습을 위한 경험 데이터 플레인
Conduit: An Experience Data Plane for Distributed Reinforcement Learning
분산 강화학습(RL)은 경험 버퍼(Experience Buffer)를 중심으로 액터(actor)와 러너(learner)를 병렬화하여 학습(training)을 확장합니다. 그러나 강화학습 워크로드가 증가함에 따라 버퍼는 단순한 리플레이 큐를 넘어섭니다. 즉, 러너 업데이트를 시작하기 전에 경험을 이동, 변환, 샘플링 및 배치(batch) 처리하기 위해 매 반복(iteration)마다 거쳐야 하는 대용량 및 지연시간에 민감한 경험 경로의 스토리지 기저 역할을 하게 됩니다. 기존 강화학습 시스템은 이러한 경로를 프레임워크 제어 흐름 내부에 내장하거나 요청 기반 버퍼 서비스 형태로 노출하므로, 경험 배치가 고정되고 경험 경로 작업을 런타임 수준의 최적화 대상으로 독립적으로 스케줄링하기 어렵습니다. 본 논문에서는 강화학습 경험 관리를 명시적인 시스템 최적화 문제로 드러내는 프레임워크 비종속적 런타임인 Conduit을 제안합니다. Conduit의 핵심은 경험 수집, 경험 배치, 경험 전달을 명시적인 제어 지점으로 노출함으로써 강화학습 경험 처리 의미론을 프레임워크별 실행 로직과 분리하는 런타임 추상화인 경험 데이터 플레인(EDP)입니다. EDP를 기반으로 구축된 Conduit은 이기종 인터커넥트 및 디바이스 메모리 제약 하에서 CPU/GPU 메모리 계층 및 노드 전반에 경험 상태를 분산시키는 용량 제약 및 대역폭 인지 배치와, 강화학습 의미론을 유지하면서 노출되는 경험 경로 지연시간을 줄이기 위해 경험 경로 처리가 실행되는 시점을 제어하는 지연시간 인지 스케줄링을 도입합니다. RLlib의 프레임워크 실행 로직을 변경하지 않고 통합된 Conduit은 노출된 경험 경로 지연시간을 최대 97%, 엔드투엔드 반복 지연시간을 최대 38% 줄이고, 1,024개의 GPU까지 확장되며, 수렴(convergence)을 보존합니다.
정교한 축출 정책이 실패할 때: LLM 접두 문맥 재사용을 위한 캐시 교체 정책의 재고
When Fancy Eviction Fails: Rethinking Cache Replacement For LLM Prefix Reuse
시간적 그래프 신경망을 위한 의존성 인식 다중 GPU 학습 프레임워크
A Dependency-Aware Multi-GPU Training Framework for Temporal Graph Neural Networks
시간적 그래프 신경망(TGNN)은 많은 동적 그래프 학습 작업에서 우수한 성능을 달성한다. 이러한 모델은 노드 상태 벡터(즉, 메모리)를 사용하여 그래프 변화(즉, 이벤트)를 포착하고 기록한 뒤, 이 메모리를 활용하여 예측을 돕는다. 그러나 이러한 메모리 중심 설계는 다중 GPU 학습을 어렵게 만드는데, 이는 이후 이벤트에 대한 예측이 종종 이전 이벤트의 메모리 업데이트에 의존하기 때문이다. 모델 품질을 유지하기 위해 기존의 다중 GPU TGNN 학습 기법들은 모든 이벤트 의존성을 엄격하게 보존하는데, 이는 병렬성을 제한하고 비용이 큰 GPU 간 메모리 동기화를 야기한다. 본 연구에서는 이러한 의존성 중 다수를 학습 품질을 저해하지 않으면서도 더 유연하게 처리할 수 있다는 점을 관찰하였다. 구체적으로, (a) TGNN 학습의 의존성은 시간 및 그래프 토폴로지 측면에서 높은 지역성(locality)을 가지며, (b) 큰 배치 내에서 놓치는 단거리 의존성은 대개 저비용으로 복구할 수 있고, (c) 많은 메모리 업데이트는 즉시 필요하지 않다. 이러한 관찰을 바탕으로, 우리는 세 가지 기법을 통해 다중 GPU TGNN 학습을 가속화하는 DepBloom을 제안한다: (1) 불필요한 GPU 간 동기화를 줄이고 병렬성을 향상시키는 시간적으로 제한된 공간 분할(temporally bounded spatial partitioning); (2) 확대된 배치 내에서 놓친 단거리 시간적 의존성을 복구하는 배치 내 메모리 보정(intra-batch memory refinement); (3) 다중 GPU 파이프라인 실행 중 긴급한 메모리 업데이트를 우선 처리하고 비핵심 작업을 지연시키는 critical-path 최적화(critical-path optimization). 대표적인 모델들과 다양한 데이터셋에 대한 실험 결과, DepBloom은 최신 기법(state-of-the-art methods) 대비 평균 2.84배, 최대 5.16배의 속도 향상을 달성하면서도 동등하거나 더 나은 모델 정확도를 유지함을 보여준다.
반복 데이터 사전학습 스케일링: 배치 크기, 정규화 및 GPU-시간 트레이드오프
Scaling Repeated-Data Pretraining: Batch Size, Regularization, and GPU-Time Tradeoffs
본 연구에서는 연산량은 풍부하지만 고유한 학습(training) 데이터가 유한하여 동일한 데이터에 대한 반복 학습이 필요한 환경에서의 사전학습(pre-training)을 다룹니다. 먼저 무한 연산량 사전학습(Kim et al. 2026)을 재검토하여, 그 프론티어가 기존에 고정되었거나 개별적으로만 연구되었던 선택 사항들에 결정적으로 의존함을 보입니다. 특히 에포크(epoch) 수와 함께 배치(batch) 크기를 최적화하면 검증 손실(validation loss)과 배치 크기 사이에 U자형 관계가 나타나 일반적인 사전학습보다 더 작은 배치를 선호하게 됨을 밝히며, 이는 소배치 그래디언트(gradient) 노이즈가 암묵적 정규화(implicit regularization)를 제공하기 때문인 것으로 보입니다. 나아가 기존에 단일 패스 가정 하에서 최적화되었던 학습 레시피를 조정할 수 있음을 확인했습니다. 예를 들어 에포크마다 문서를 새로운 시퀀스로 재패킹하는 것, 가중치 공유(weight tying), 그리고 양의 임베딩 가중치 감쇠(positive embedding weight decay) 등이 있습니다. 이후 무한 연산량 가정을 완화합니다. 특히 일반적인 경우보다 작은 배치 크기는 지나치게 긴 순차적 학습 시간을 요구할 수 있으므로, GPU와 시간을 별개의 자원으로 다루어야 할 필요성이 발생합니다. 마감 기한이 촉박할수록 더 큰 배치가 유리하며, 지연 시간 중심의 병렬 처리를 통해 추가 GPU를 투입하여 학습 시간을 단축할 수 있습니다. 그럼에도 불구하고 고정된 시간 예산 내에서도 더 적은 수의 GPU와 작은 배치를 사용하는 것이 더 많은 GPU와 큰 배치를 사용하는 것보다 더 낮은 검증 손실을 달성할 수 있으며, 이는 마감 기한 내에서 GPU 활용도를 극대화하기 위해 데이터 병렬 처리를 늘리는 일반적인 관행에 도전합니다. 종합적으로 본 연구 결과는 반복 데이터 학습에서 충분히 탐구되지 않았던 요인들을 식별하고, 단일 패스 사전학습 대비 학습 레시피와 자원 할당이 어떻게 변화해야 하는지에 대한 구체적인 지침을 제공합니다.
BLOKS: 스케치된 블록 전처리를 통한 커널 솔버의 스케일링
BLOKS: Scaling Kernel Solvers with Sketched Block Preconditioning
커널 리지 회귀(Kernel Ridge Regression, KRR)는 비매개변수적 학습(nonparametric learning)을 위한 이론적으로 타당한 알고리즘이며, 심층 학습(deep learning)의 특성을 연구하는 데에도 자주 사용된다. 그러나 정확한(exact) KRR 수식은 대규모 데이터셋(dataset)에 적용할 수 없을 정도의 시간 및 메모리 비용을 발생시키며, 이는 근사 솔버(approximate solver) 개발의 동기가 되었다. 이러한 알고리즘들은 (i) 직접적인 해법의 계산 부담을 피하기 위한 반복적 방법(iterative method), (ii) 문제 크기를 줄이기 위한 스케칭(sketching) 또는 배치화(batching), (iii) 수렴(convergence)을 가속화하기 위한 전처리(preconditioning)에 의존한다. 빠른 수렴을 위해 필수적이지만, 전처리는 메모리 비용을 발생시키며, 이는 모델(model)의 자유 매개변수 수를 줄임으로써 관리할 수 있으나 그 대가로 표현력, 나아가 정확도가 저하될 수 있다. 이러한 문제를 해결하기 위해, 우리는 블록 자코비(Jacobi) 근사와 스케칭을 결합한 새로운 프리컨디셔너(preconditioner)를 중심으로 구축된, Nyström 방식으로 스케치된 KRR을 위한 컨주게이트 그래디언트(Conjugate Gradient) 기반 솔버인 BLOKS를 제안한다. BLOKS의 프리컨디셔너는 데이터셋 크기와 매개변수 수 모두와 무관한 메모리 비용을 가지므로, 대규모 모델로의 스케일링(scaling)이 가능하다. 우리는 메모리 효율적이고 GPU로 가속화된 구현을 제공하며, BLOKS가 우수한 시간/메모리 복잡도를 유지하면서도 뛰어난 정확도를 달성함을 보인다. 실제로, 커널 솔버를 벤치마킹(benchmark)하는 데 사용되는 표준 대규모 데이터셋에서 BLOKS는 최신(state-of-the-art) 기법들과 비교할 만하거나 그보다 더 나은 성능을 달성한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.