PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2508.19073v4cs.DC

AEGIS: 멀티 테넌트 딥러닝 학습을 위한 런타임 유도 기반 GPU 코로케이션

AEGIS: Runtime-Guided GPU Collocation for Multi-Tenant Deep Learning Training

심층 학습(deep learning) 학습(training)은 흔히 공유된 멀티 테넌트 GPU 서버에서 실행되며, 여기서 독점적 할당은 격리성을 제공하지만 자원 활용도를 낮추고 대기열 대기 시간을 늘릴 수 있습니다. 코로케이션(collocation, 함께 배치)은 효율성을 높일 수 있지만, 간섭을 고려하지 않은 배치는 심각한 속도 저하를 유발할 수 있으며, 부정확한 메모리 정보는 OOM(out-of-memory) 오류로 이어질 수 있습니다. 본 논문에서는 공유 멀티 GPU 서버에서 심층 학습 학습 워크로드의 제어된 코로케이션을 지원하는 서버 규모의 런타임 스케줄링 시스템인 AEGIS를 제시합니다. AEGIS는 메모리 실현 가능성, 배치 후 관측, 런타임 압력 필터링, 배치 및 OOM 인식 복구를 단일 스케줄링 루프에 통합합니다. 배치 후 AEGIS는 추가 코로케이션을 허용하기 전에 워크로드 활동을 관측한 다음, 오버헤드가 적은 원격 측정을 사용하여 GPU가 추가 작업을 안전하게 수용할 수 있는지 판단합니다. OOM 오류 발생 시 점진적으로 더 안전한 메모리 조건에서 재시도를 트리거하며, 궁극적으로는 독점 실행으로 폴백합니다. 이러한 온라인 방식은 비용이 많이 드는 오프라인 쌍별 호환성 프로파일링(profiling)을 피할 수 있게 합니다. 비전, 트랜스포머(Transformer), 추천 및 LLM 스타일 워크로드를 세 가지 실제 운영 파생 트레이스에 걸쳐 사용하여 AEGIS를 평가합니다. AEGIS는 기하평균 메이크스팬(makespan)을 Lucid 대비 16%, Horus 대비 21%, 독점 할당 대비 27% 줄입니다. 민감도 연구에 따르면 활동 기반 관측 및 런타임 압력 필터링이 보수적인 격리와 간섭 무시 코로케이션 간의 균형을 맞추어, 공유로 인한 작업별 속도 저하를 제한하면서도 메이크스팬을 개선함을 보여줍니다.