arXiv:2602.21548 cs.DC

DualPath: Breaking the Storage Bandwidth Bottleneck in Agentic LLM Inference

제출 2026-02-25

한국어 초록

다중 턴의 에이전틱 대규모 언어 모델(LLM) 추론의 성능은 점점 더 계산보다는 KV-캐시 저장소 I/O에 의해 지배받고 있다. 일반적으로 분산된 아키텍처에서 외부 저장소에서 방대한 KV-캐시를 로드하는 것은 근본적인 불균형을 초래한다: 프리필 엔진의 저장소 NIC는 대역폭에 포화 상태가 되지만, 디코딩 엔진의 저장소 NIC는 유휴 상태로 남아 있다. 이러한 비대칭성은 전체 시스템 처리량을 심각하게 제한한다. 우리는 이 병목 현상을 깨는 이중 경로 KV-캐시 로딩을 도입한 추론 시스템인 DualPath를 제시한다. 전통적인 저장소-프리필 경로를 넘어, DualPath는 KV-캐시가 디코딩 엔진에 로드된 다음 컴퓨트 네트워크를 통해 RDMA를 사용하여 프리필 엔진으로 효율적으로 전송되는 새로운 저장소-디코드 경로를 가능하게 한다. DualPath는 네트워크 혼잡을 본질적으로 피하고 지연에 민감한 모델 실행 통신과의 간섭을 피하는 최적화된 데이터 경로와, 프리필 및 디코드 엔진 간의 부하를 동적으로 균형 있게 조절하는 글로벌 스케줄러를 결합한다. 생산 에이전틱 워크로드를 가진 세 가지 모델에 대한 평가 결과, DualPath는 우리의 내부 추론 시스템에서 오프라인 추론 처리량을 최대 1.87배 향상시키는 것을 보여준다. 또한 SLO를 위반하지 않으면서 온라인 서비스 처리량을 평균 1.96배 향상시킬 수 있다.

요약

다중 턴의 에이전틱 대규모 언어 모델(LLM) 추론 성능은 점점 더 계산보다는 KV-캐시 저장소 I/O에 의해 지배받고 있다. 현재의 비분산 아키텍처에서는 외부 저장소에서 방대한 KV-캐시를 로드하는 과정에서 저장소 NIC가 대역폭에 포화되는 반면, 디코딩 엔진의 NIC는 유휴 상태로 남아 있어 시스템 전반의 처리량에 심각한 제약을 초래한다. 이 문제를 해결하기 위해 제안된 DualPath는 이중 경로 KV-캐시 로딩을 도입하여 병목 현상을 극복한다. 기존의 저장소-프리필 경로에 더해, DualPath는 디코딩 엔진에 KV-캐시를 로드한 후, 컴퓨트 네트워크를 통해 프리필 엔진으로 효율적으로 전송하는 새로운 저장소-디코드 경로를 가능하게 한다. DualPath는 네트워크 혼잡을 피하고 지연이 중요한 모델 실행 통신과의 간섭을 방지하는 최적화된 데이터 경로와 함께, 프리필 및 디코드 엔진 간의 부하를 동적으로 균형 있게 조정하는 글로벌 스케줄러를 결합한다. 세 가지 모델을 사용한 평가 결과, DualPath는 자체 추론 시스템에서 오프라인 추론 처리량을 최대 1.87배 향상시키고, SLO를 위반하지 않으면서 온라인 서비스 처리량을 평균 1.96배 개선할 수 있음을 보여준다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.