PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.17104v1cs.AR

신규 AI 가속기에서의 LLM 추론에 대한 프리필/디코드 인지 평가

Prefill/Decode-Aware Evaluation of LLM Inference on Emerging AI Accelerators

대규모 언어 모델(LLM)이 지연 시간 및 비용에 민감한 환경에 점점 더 많이 배포됨에 따라, 추론 효율성은 핵심 시스템 과제가 되었습니다. GPU가 현재 배포를 주도하고 있지만, LLM 추론에 대한 이점을 주장하는 AI 가속기가 증가하고 있으나, 실제로 어떤 조건에서 이러한 가속기가 GPU를 능가하는지는 여전히 불분명합니다. 최근 추론 시스템은 실행을 프리필(Prefill) 및 디코드(Decode) 단계로 분해하는데, 이는 각각 고유한 계산 특성과 지연 시간 지표를 나타내며, 일반적으로 첫 번째 토큰까지의 시간(TTFT)과 출력 토큰당 시간(TPOT)으로 측정됩니다. 본 논문에서는 공통 모델인 Llama2-7B를 사용하여 GPU와 신규 AI 가속기 전반의 LLM 추론 성능에 대한 단계 인지(phase-aware) 평가를 제시합니다. 프리필 및 디코드 성능을 별도로 측정함으로써, 가속기의 이점이 단계와 지표에 따라 다르다는 것을 밝혀냈습니다. 결과에 따르면 GPU는 계산 집약적인 프리필 단계에서 일관되게 우수한 성능을 보이는 반면, GroqRack은 디코드 단계에서 현저히 낮은 TPOT을 달성합니다(현재 배치는 지원되지 않음). 그러나 배치 크기가 증가함에 따라 GPU는 디코드 처리량(throughput)에서 다시 우위를 점합니다. 이러한 발견은 각 플랫폼이 단계에 따른 고유한 강점을 보여줌을 시사합니다. 또한, 서로 다른 가속기 플랫폼 간의 이기종 프리필/디코드 분리(disaggregation)를 추가로 분석하여, 성능 이득과 그러한 이득이 실현되는 워크로드 및 네트워크 조건을 식별합니다.

arXiv:2606.13361v1cs.AI

KV 캐시를 구매할 수 있을까요?

Can I Buy Your KV Cache?

AI 에이전트들이 동일한 문서를 처리할 때 반복되는 프리필(prefill) 연산을 줄이기 위해, 발행자가 미리 계산한 KV 캐시를 에이전트가 구매하여 로드하는 방식을 제안합니다. Qwen3-4B 모델에서 이 방식은 정확도 손실 없이 기존 프리필 대비 9-50배의 비용 절감 효과를 보여줍니다.