AWS Trainium과 Inferentia 같은 신규 AI 가속기용 Neuron Kernel Interface(NKI) 커널 자동 생성을 위해, 도메인 특화 지도 미세조정(SFT)과 컴파일-검증-수정 에이전트 루프를 결합한 최초의 시스템 NKI-Agent를 제안한다. 실제 Trn1 하드웨어에서 Claude Opus 4.8 기반 NKI-Agent는 NKIGen-Bench에서 77.3%의 통과율을 달성한 반면, 에이전트 도구 없는 단일 시도 모드에서는 6%에 그쳐 도구 활용의 중요성을 입증했으며, SFT로 학습된 Qwen3-Coder-30B-A3B는 1/100 비용으로 Claude Sonnet 4(15.0%)를 상회하는 25.0%를 기록했다.
대규모 언어 모델(LLM)이 지연 시간 및 비용에 민감한 환경에 점점 더 많이 배포됨에 따라, 추론 효율성은 핵심 시스템 과제가 되었습니다. GPU가 현재 배포를 주도하고 있지만, LLM 추론에 대한 이점을 주장하는 AI 가속기가 증가하고 있으나, 실제로 어떤 조건에서 이러한 가속기가 GPU를 능가하는지는 여전히 불분명합니다. 최근 추론 시스템은 실행을 프리필(Prefill) 및 디코드(Decode) 단계로 분해하는데, 이는 각각 고유한 계산 특성과 지연 시간 지표를 나타내며, 일반적으로 첫 번째 토큰까지의 시간(TTFT)과 출력 토큰당 시간(TPOT)으로 측정됩니다. 본 논문에서는 공통 모델인 Llama2-7B를 사용하여 GPU와 신규 AI 가속기 전반의 LLM 추론 성능에 대한 단계 인지(phase-aware) 평가를 제시합니다. 프리필 및 디코드 성능을 별도로 측정함으로써, 가속기의 이점이 단계와 지표에 따라 다르다는 것을 밝혀냈습니다. 결과에 따르면 GPU는 계산 집약적인 프리필 단계에서 일관되게 우수한 성능을 보이는 반면, GroqRack은 디코드 단계에서 현저히 낮은 TPOT을 달성합니다(현재 배치는 지원되지 않음). 그러나 배치 크기가 증가함에 따라 GPU는 디코드 처리량(throughput)에서 다시 우위를 점합니다. 이러한 발견은 각 플랫폼이 단계에 따른 고유한 강점을 보여줌을 시사합니다. 또한, 서로 다른 가속기 플랫폼 간의 이기종 프리필/디코드 분리(disaggregation)를 추가로 분석하여, 성능 이득과 그러한 이득이 실현되는 워크로드 및 네트워크 조건을 식별합니다.