PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.07862v1cs.DC

CTA-Pipelining: 다중 GPU 시스템을 위한 지연 시간 중심의 공간적 스케일링 방법

CTA-Pipelining: A Latency-Oriented Spatial Scaling Method for Multi-GPU Systems

CTA-pipelining은 공유 메모리 다중 GPU 시스템에서 대규모 언어 모델(LLM) 추론의 단일 배치 지연 시간을 줄이기 위해, Cooperative Thread Array(CTA) 단위로 의존 관계에 있는 커널들을 GPU 간에 동시 실행하는 새로운 공간적 스케일링 패러다임이다. 8-GPU H200·B200 시스템에서 MLP 연산에 해당하는 다층 GEMM을 대상으로 실험한 결과, 마이크로 배칭 대비 최대 31.8%, 텐서 병렬화(TP) 대비 최대 29.6%의 지연 시간 절감을 달성했으며, TP와 직교적으로 결합해 지연 시간 한계를 더욱 낮출 수 있음을 보였다.

arXiv:2607.02518v1cs.DC

OpenClaw를 위한 GLM-5 서빙 매개변수 튜닝: 장문 컨텍스트 에이전트 워크로드를 위한 단일 배포 MaaS 추론 최적화

GLM-5 Serving Parameter Tuning for OpenClaw: Single-Deployment MaaS Inference Optimization for Long-Context Agent Workloads

OpenClaw 요청은 시스템 프롬프트, 대화 기록, 컨텍스트 윈도우에 재입력되는 도구 출력을 포함하는 길고 도구가 보강된 프리픽스(prefix)로 구성됩니다. 요청당 약 28,000~30,000개의 입력 토큰과 500개의 출력 토큰을 갖는 이 워크로드에서, 서빙 품질은 단순한 짧은 프롬프트 처리량만이 아니라 처리량(throughput), TTFT(첫 번째 토큰 생성 시간), 꼬리 지연(tail latency)에 의해 결정됩니다. 본 보고서는 MaaS 멀티 모델 추론 최적화 아키텍처 내에서 GLM-5 서빙 매개변수 튜닝을 연구합니다. 연구 범위는 추론 최적화 층의 단일 노드 최적화 블록으로, 하나의 GLM-5 서빙 배포에 대해 청크 프리필(chunked prefill), 텐서 병렬화(TP), 파이프라인 병렬화(PP), 요청 동시성이 튜닝됩니다. 본 보고서에서 '단일 노드 최적화'는 아키텍처 블록을 지칭하며, 실험은 2노드 16-GPU 클러스터에서 수행됩니다. 테스트된 구성 공간 내에서 최적 구성은 chunked-prefill-size=3072, tp=4, pp-size=4, max-running-requests=24입니다. 보수적인 2048/4/4/16 기준선과 비교하여, 요청 처리량은 0.43에서 0.48 req/s로, 총 토큰 처리량은 9,029.64에서 9,993.23 tok/s로 증가하며, 평균 TTFT는 8.98초에서 6.69초로, 지연 P90은 40.23초에서 32.64초로 감소합니다. 동일한 하드웨어 환경에서, 이는 요청당 서빙 비용 약 10.4% 절감 및 토큰당 비용 9.6% 절감에 해당합니다. 결과는 최적값이 워크로드에 따라 다름을 보여줍니다. 청크 크기가 클수록, 큐잉(queueing)이 깊을수록 성능이 단조롭게 향상되지는 않습니다. 따라서 3072 / tp4 / pp4 / max24를 기본 OpenClaw 배포 프로파일로 권장합니다.