PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.17104v1cs.AR

신규 AI 가속기에서의 LLM 추론에 대한 프리필/디코드 인지 평가

Prefill/Decode-Aware Evaluation of LLM Inference on Emerging AI Accelerators

대규모 언어 모델(LLM)이 지연 시간 및 비용에 민감한 환경에 점점 더 많이 배포됨에 따라, 추론 효율성은 핵심 시스템 과제가 되었습니다. GPU가 현재 배포를 주도하고 있지만, LLM 추론에 대한 이점을 주장하는 AI 가속기가 증가하고 있으나, 실제로 어떤 조건에서 이러한 가속기가 GPU를 능가하는지는 여전히 불분명합니다. 최근 추론 시스템은 실행을 프리필(Prefill) 및 디코드(Decode) 단계로 분해하는데, 이는 각각 고유한 계산 특성과 지연 시간 지표를 나타내며, 일반적으로 첫 번째 토큰까지의 시간(TTFT)과 출력 토큰당 시간(TPOT)으로 측정됩니다. 본 논문에서는 공통 모델인 Llama2-7B를 사용하여 GPU와 신규 AI 가속기 전반의 LLM 추론 성능에 대한 단계 인지(phase-aware) 평가를 제시합니다. 프리필 및 디코드 성능을 별도로 측정함으로써, 가속기의 이점이 단계와 지표에 따라 다르다는 것을 밝혀냈습니다. 결과에 따르면 GPU는 계산 집약적인 프리필 단계에서 일관되게 우수한 성능을 보이는 반면, GroqRack은 디코드 단계에서 현저히 낮은 TPOT을 달성합니다(현재 배치는 지원되지 않음). 그러나 배치 크기가 증가함에 따라 GPU는 디코드 처리량(throughput)에서 다시 우위를 점합니다. 이러한 발견은 각 플랫폼이 단계에 따른 고유한 강점을 보여줌을 시사합니다. 또한, 서로 다른 가속기 플랫폼 간의 이기종 프리필/디코드 분리(disaggregation)를 추가로 분석하여, 성능 이득과 그러한 이득이 실현되는 워크로드 및 네트워크 조건을 식별합니다.

arXiv:2606.13501v1cs.DC

GF-DiT: 디퓨전 트랜스포머 서빙을 위한 병렬성 스케줄링

GF-DiT: Scheduling Parallelism for Diffusion Transformer Serving

디퓨전 트랜스포머(DiT) 서빙의 정적 병렬성 한계를 극복하기 위해, GF-DiT는 워크로드와 시스템 상황에 따라 병렬성을 동적으로 조정하는 탄력적인 런타임을 제안한다. 이 방식은 그룹 프리 컬렉티브를 통해 통신 오버헤드를 획기적으로 줄여 처리량을 최대 6.01배 향상시키고 평균 지연 시간을 최대 95% 단축했다.

arXiv:2606.11357v1cs.DC

TileFuse: AMD NPU에서 효율적인 양자화 LLM 추론을 위한 융합 혼합 정밀도 커널 라이브러리

TileFuse: A Fused Mixed-Precision Kernel Library for Efficient Quantized LLM Inference on AMD NPUs

AMD XDNA2 NPU에서 AWQ 스타일의 양자화(quantization) LLM 추론(inference)을 위한 혼합 정밀도(mixed-precision) 커널 라이브러리 TileFuse를 소개한다. 언패킹, 역양자화, GEMM 실행을 융합한 설계를 통해 전체 정밀도 대비 최대 281%의 성능 향상과 64.6% 이상의 에너지 절감을 달성했다.