PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27040v1cs.DC

EMA: GPU 간 탄력적이고 성능 투명한 메모리

EMA: Elastic and Performance Transparent Memory Across GPUs

다중 GPU 서버는 고대역폭 상호 연결을 통해 집계된 용량을 제공하며, 현대 데이터 센터의 표준 구성 요소가 되었다. 동시에 LLM 추론과 같은 워크로드는 매우 동적인 메모리 수요를 보이며, 이로 인해 한 GPU는 로컬 메모리를 고갈하는 반면 다른 GPU는 여전히 저활용 상태로 남을 수 있다. 이러한 불일치는 GPU 간 탄력적 리소스 공유 모델의 필요성을 이끈다. 우리는 EMA를 제안한다. EMA는 서버 내 GPU가 서로로부터 메모리를 빌리고 회수할 수 있게 하여 탄력적인 용량 풀을 형성하는 메모리 공유 시스템이다. EMA는 차용자와 대여자 모두에 대해 성능 투명성을 보장한다. 차용자의 경우, 프리페치(prefetching)가 원격 접근 비용을 숨겨 애플리케이션이 원격 메모리와 로컬 메모리를 성능상 구별할 수 없게 한다. 대여자의 경우, 빌려준 리소스는 요청 시 회수 가능하며, 성능이 정적 분할(static partitioning)보다 낮아지지 않음을 보장한다. 우리 설계는 메모리에 초점을 맞추지만, 동일한 원칙은 다른 GPU 리소스로 자연스럽게 확장된다. 평가 결과 EMA는 개별 사용자 처리량(throughput)을 최대 52% 개선하고, 2배 용량으로 프로비저닝된 시스템 처리량의 96%를 달성하며, 정적 로컬 기준선과 유사한 지연(latency)을 유지한다.