Mechanistic interpretability (MI) enables monitoring and steering LLMs by operating on their internal state during inference. MI applications remain difficult to develop, expensive to execute, and challenging to manage at runtime. We present OrigaMI, a system that integrates MI applications as first-class components of LLM serving, enabling simplified development, efficient execution, and flexible deployment. Guided by a comprehensive analysis of modern MI applications, OrigaMI streamlines the MI applications development via a simple Python-based Domain Specific Language (DSL) for accessing intra- and inter-layer runtime model state at well-defined trigger points during inference. OrigaMI enables efficient access to ephemeral attention scores via a novel FlashInspect kernel that retains the performance benefits of FlashAttention. OrigaMI's compiler integrates multiple MI applications into the performance-optimized inference execution flow while ensuring conflict-free coexistence. OrigaMI's runtime supports dynamic, per-request activation and deactivation of MI applications without service interruption or performance degradation when inactive, leveraging OrigaMI's dynamic memory management and CUDA graph-compatible execution. We integrate OrigaMI with vLLM and evaluate ten MI applications, including sparse autoencoders, steering, and jailbreak detection, across four state-of-the-art LLMs. OrigaMI incurs negligible execution overhead, up to two orders of magnitude lower than existing frameworks, while enabling per-request activation and deactivation up to 1,000 times faster than alternatives. These results demonstrate that OrigaMI makes MI applications practical for deployment in production LLM serving systems.
확산 모델은 현대의 이미지, 비디오, 오디오 생성의 핵심 백본이 되었지만, 이를 효율적으로 서비스하는 것은 여전히 난제로 남아 있다. 자기 회귀(autoregressive) 디코딩과 달리, 확산 추론(inference)은 많은 노이즈 제거(denoising) 단계에 걸쳐 고차원 공간 또는 시간 잠재 변수(latent)를 반복적으로 갱신한다. 이 전체 영역(all-region) 실행 패턴은 생성 지연 시간을 높이고 서빙 처리량을 제한한다. 기존의 다중 GPU 병렬화 방법은 단계당 연산을 줄일 수 있지만, 종종 상당한 활성화(activation) 교환 오버헤드를 유발하여 통신 비용이 병렬 실행의 이점을 상쇄하거나 심지어 상회하기도 한다. 본 논문은 적응형 지역 실행 및 스케줄링을 통해 추론 효율을 향상시키는 확산 서빙 시스템 FlashDiff를 제안한다. FlashDiff는 확산 정제(refinement)가 잠재 변수 영역이나 노이즈 제거 단계 전반에 걸쳐 균일하지 않다는 관찰에 기반한다. 서로 다른 영역은 종종 서로 다른 속도로 안정화되며, 인접한 단계들은 강한 시간적 상관관계를 보인다. FlashDiff는 이러한 특성을 활용하여 추가 정제가 필요한 영역만 선택적으로 실행하고, 그로 인해 발생하는 연산 여유를 동시 서빙 요청들에 재할당한다. FlashDiff는 세 가지 메커니즘으로 구성된다. 첫째, 초기 단계 어텐션(attention) 신호를 사용하여 잠재 표현을 일관된 실행 영역으로 분해함으로써 의미 구조를 보존하면서 세밀한 병렬성을 드러낸다. 둘째, 경량 런타임 컨트롤러를 사용하여 영역 활성도를 추정하고, 추가 정제가 출력 품질에 영향을 줄 가능성이 낮을 때 영향이 적은 갱신을 우회한다. 셋째, 친화도 인식(affinity-aware) 온라인 스케줄러를 적용하여 의존적인 영역을 공동 배치(co-locate)하고, GPU 간 잔여 부하를 균형 있게 분배하며, 회수된 연산 용량을 재사용하여 서빙 효율을 향상시킨다. 실제 이미지, 비디오, 오디오 워크로드에서 FlashDiff는 종단 간 서빙 지연 시간을 30-97% 줄이고 처리량을 1.2-2.2배 향상시킨다.
코딩 에이전트는 하네스가 선택한 동작을 실행하기 전에, 제공된 스키마에 따른 도구의 파싱 가능한 호출, 즉 유효한 도구 호출(tool call)을 출력해야 한다. 우리는 로컬 서빙 스택이 이 프로토콜 단계에 미치는 영향을 연구하고, 측정된 결과가 모델 동작만이 아니라 서빙 층에 따라 달라질 수 있음을 보인다. Ollama에서는 기본 tools= 요청이 모델별로 정적 템플릿 플래그에 의해 게이트된다. 일부 모델은 수락되어 호출을 텍스트로 반환하고, 일부는 네이티브 tool_calls를 반환하며, Phi-3와 Gemma-3는 추론 전에 거부된다. 우리 하네스에서는 거부와 재시도 소진이 구조화된 실패 메타데이터로 보존되지 않아, 하류 분석에서 이를 모델의 비호출로 잘못 분류하고 순진하게 0% fidelity를 보고할 수 있다. 네이티브 채널을 유지하면서 텍스트 도구 목록을 추가하면 수락된 모델에 대해 측정된 fidelity의 상당 부분을 회복하지만, 네이티브 tool-call을 지원하는 Llama-3.2에 대해서는 균일한 텍스트 프로토콜이 fidelity를 낮춘다. Ollama, llama.cpp, vLLM, SGLang에 대한 교차 스택 프로브는 동일한 요청에 대해 서로 다른 처리를 보여준다. 제약 디코딩(constrained decoding)은 파싱 실패를 제거하지만 비종료(non-termination)를 유발할 수 있으며, 턴 풀링(turn-pooled) 추정과 인스턴스별(per-instance) 추정은 최대 약 55포인트까지 차이 난다. 마지막으로 서빙 동작을 평가 프로토콜의 일부로 다루기 위한 체크리스트를 제시한다.
대규모 언어 모델(LLM) 추론은 엔진 단위 최적화 문제에서 재사용 가능한 상태, 단계 배치(phase placement), 이기종 가속기, 네트워킹, 오토스케일링, 신뢰성, 서비스 수준 목표(SLO)를 아우르는 분산 제어 문제로 진화하고 있다. 본 논문은 동료 검수 시스템 연구, 오픈소스 구현, 문서화된 프로덕션 사례 연구를 가로질러 이러한 전환을 연결한다. vLLM과 llm-d를 상보적 계층으로 다룬다. 모델 서빙 엔진은 PagedAttention, continuous batching, 커널, 양자화, 병렬 처리 등의 메커니즘으로 실행을 최적화하는 반면, 추론 제어 평면은 플릿 전체에 걸쳐 어디서, 언제, 어떤 정책 하에 실행이 이루어질지를 최적화할 수 있다. 기여는 새로운 벤치마크가 아니라 종합에 있으며, 보고된 모든 성능 및 배포 결과는 원 출처에 대한 귀속을 유지한다. 종합된 증거는 현대 추론에서 희소 자원이 순수 FLOPs만이 아니라 관리되는 상태, 배치(placement), 네트워크 이동, 신뢰성, 의사결정 품질 쪽으로 이동하고 있음을 시사한다. 우리는 엔드포인트만이 아니라 실행 가능한 실행 계획을 선택하는 Inference Execution Planner를 제안한다. 여기에는 집약(aggregated) 대 비집약(disaggregated) 토폴로지, KV 소스 및 전송 동작, 하드웨어 변형, 라우팅/입장(admission) 정책, 더 느린 스케일링 결정이 포함된다. 또한 출처별 벤치마크 지도(atlas), 병목 이동(bottleneck-migration) 분류체계, 실용적 배포 지침, SLO-goodput 기반 평가 프레임워크, 에이전트(agentic), 멀티모달, 이기종, 복원력(resilient) 추론에 대한 연구 질문을 제공한다.
대규모 언어 모델(LLM)의 확산으로 서빙 시스템은 고립된 요청 처리에서 고동시성·다중 테넌트 에이전트(agentic) 워크플로 오케스트레이션으로 전환되었다. 그러나 기존 솔루션은 일반적으로 워크플로 내부(intra-workflow) 최적화를 우선시하여, 워크플로 간(inter-workflow) 최적화의 상당한 잠재력을 대체로 간과한다. 본 논문에서는 동시 워크플로의 종단 간(end-to-end) 성능을 최적화하도록 설계된 LLM 서빙 시스템인 HeraSys를 제안한다. 세밀한 오케스트레이션을 통해 HeraSys는 구조적 노드 병합 및 재사용으로 워크플로 간 계산 중복을 제거한다. 또한 HeraSys는 쿼리 간 및 쿼리 내부 우선순위를 모두 평가하여 실행 순서를 동적으로 관리하는 부하 인식(load-aware) 공동 스케줄링 정책을 도입한다. 적응형 배칭(adaptive batching) 및 파이프라인 분해(pipeline decomposition)와 자원 기울임(resource skewing) 메커니즘을 통합함으로써, HeraSys는 낮은 평균 지연 시간을 유지하면서 tail latency를 효과적으로 완화하여 시스템 처리량을 크게 향상시킨다. 광범위한 실험 결과, HeraSys는 엄격한 지연 시간 보장 하에서 P99 지연 시간을 최대 2.17$\times$ 감소시키고 서빙 처리량을 최대 1.85$\times$ 증가시키는 것으로 나타났다.
전문가 병렬성(expert parallelism)은 전문가 혼합(MoE) 모델을 서빙하는 지배적인 패러다임으로 자리잡았다. 그 효율성은 GPU의 통신 및 연산 지연 시간에 의존하며, 이는 GPU 내 전문가 배치와 연결된다. 기존의 전문가 배치 최적화 연구들은 과거 요청의 전문가 활성화 패턴을 활용하는 데 초점을 맞추었다. 그러나 이러한 방법들은 다양하고 빠르게 변화하는 요청 패턴에 직면했을 때 한계를 드러내며, 온라인 선제적 접근 방식의 필요성을 제기한다. 이러한 접근 방식을 구현하기 위해서는 여러 과제를 해결해야 한다: 들어오는 요청의 전문가 활성화에 수반되는 불확실성, 전문가 마이그레이션 비용, 그리고 최적화의 NP-난해 복잡도가 그것이다. 이에 우리는 Director를 제시한다. Director는 예측 기반의 온라인 전문가 배치를 통해 종단간 지연 시간을 최소화하는 새로운 분산 MoE 서빙 시스템이다. Director는 들어오는 요청의 전문가 활성화 패턴을 위해 경량 캐스케이드 예측기 또는 저비트 양자화 복제본 중 하나를 활용한다. 이후 온라인 마이그레이션 모듈이 연산 집중 구간에서 마이그레이션을 실행하여 거의 제로에 가까운 다운타임으로 변경 사항을 적용하며, 중단을 최소화한다. 핵심부에는 완화(relaxation) 기반 전문가 배치 옵티마이저가 있으며, 이는 용량 제약 조건하에서 동작하고, 다항 시간 내에 실행되며, $(1+ε)$ 근사 비율을 달성한다. 마지막으로, 프로토타입을 구현하고 광범위한 실험을 통해 Mistral, DeepSeek, Qwen 등 인기 MoE 모델에서 기존 연구 대비 종단간 지연 시간을 $11\sim55\%$ 감소시킴을 입증한다.
실시간 인터랙션 모델(Moshi, MiniCPM-o, Qwen-Omni)은 서빙을 주기적 실시간 태스크로 전환한다. 각 프레임마다 세션은 스트리밍 오디오를 수신하고 반복되는 실제 시간 마감 기한 내에 응답해야 하며, KV 캐시는 단조 증가하여 대화 전체 동안 메모리에 고정된 상태를 유지한다. 이 방식에는 위험한 장애 모드가 숨어 있다. 실제 전이중(full-duplex) 스택에서 지속적인 부하는 서빙을 점진적으로 저하시키지 않는다. 누적된 세션 상태가 KV 풀을 소진하면, 프레임당 밀리초 단위 응답에서 스톨된 엔진으로 한 번에 추락한다. 이 붕괴는 준안정(metastable) 상태로, 동일한 5분 실행이 실행마다 달리 붕괴하거나 생존하며 조용히 발생한다. 지연 시간과 마감 기한 초과 지표는 전 과정에서 정상으로 나타난다. 우리는 안정성과 관측 가능성을 모두 회복시키는 단 하나의 방법을 제시한다: 각 세션의 상주 상태를 제한하면 지연 시간이 실제 상황을 반영하기 시작한다. Metronome의 인-엔진 KV 윈도우는 붕괴를 제거하고(두 배치에서 20회 중 0회 vs. 14회 붕괴), 프레임당 지연 시간을 단조 증가하는 부하 신호로 전환하며, 이를 기반으로 온라인 어드미션 컨트롤러가 스케줄 가능한 동시성을 탐색한다. 윈도우 없이는 동일한 컨트롤러가 과도 허용하여 한계에 부딪힌다. 1차 모델은 주요 모델에서 붕괴 시간을 몇 퍼센트 이내로 예측하며, 품질 프로브는 에이블레이션을 통해 제한 설계를 검증한다. 윈도우 자체는 턴 기반 디코딩에서 품질 손실이 없으며, 고정된 소수의 어텐션 싱크 토큰이 자유 실행 생성의 품질을 유지한다. 모든 측정은 하나의 GPU에서 네 가지 인터랙션 모델에 걸쳐 실제 오디오로 엔드-투-엔드 수행되었다.
머신러닝(ML) 모델 서빙은 GPU 인프라의 주요 소비원이 되었지만, 이러한 시스템의 용량 계획은 여전히 대부분 비체계적으로 이루어지고 있다. 과소 프로비저닝은 서비스 수준 목표(SLO) 위반과 프로덕션 인시던트를 초래하는 반면, 과잉 프로비저닝은 상당한 자원 낭비를 야기한다. 본 논문은 적응형 피드백 기반 탐색 전략을 통해 서빙 용량을 체계적으로 추정하는 ML 모델 서빙 시스템용 산업 부하 테스트 프레임워크 \sys를 제안한다. 이 접근법은 실시간 성능 신호를 활용하며, 감쇠(dampening), 스파이크 허용(spike tolerance), 수렴 감지(convergence detection)를 통합하여 SLO 제약 하에서 최대 지속 처리량을 효율적으로 식별한다. 추천, 랭킹, 비전, NLP의 네 가지 ML 아키텍처 클래스에 걸친 14개의 산업 사례 연구에 대한 종단 분석을 통해 \sys를 평가한다. 본 연구는 체계적인 부하 테스트가 GPU 자원 효율성과 운영 신뢰성을 크게 향상시킴을 보여준다. \sys 도입 이전에는 상당 비율의 모델 출시가 과소 프로비저닝 상태였으며 반복적인 인시던트가 발생하였는데, 이러한 문제는 배포 후 실질적으로 감소하였다. 실험 결과, ML에 특화된 설계 결정이 정확한 용량 추정에 매우 중요함을 확인하였다. 기록된 트래픽을 활용한 워크로드 보정은 추정 오차를 약 30%에서 2~6%로 줄이며, 적절한 웜업 처리는 정확도를 22.2% 향상시킨다. 추가 분석을 통해 모델 크기 및 공동 배치(co-location) 효과를 포함하여 예측 오차에 영향을 미치는 핵심 요인을 밝힌다. 본 논문은 여섯 가지 교훈을 도출하고 ML 부하 테스트를 위한 아키텍처 지침을 제시함으로써 신뢰할 수 있고 효율적인 ML 모델 서빙 시스템 구축을 위한 실용적인 인사이트를 제공한다.
현대의 전문가 혼합(MoE) 모델은 대부분의 파라미터를 전문가 층에 배치하지만, 어떤 토큰에 대해서도 그 전문가 중 일부만 사용된다. 사용되지 않는 가중치도 GPU가 접근 가능한 위치에 저장되어야 한다. 범용 GPU에서의 일반적인 해결책은 층 수준의 CPU 오프로딩으로, 메모리를 낮게 유지하지만 순전파마다 해당 층의 모든 전문가를 PCIe를 통해 스트리밍하여 MoE 희소성의 이점 대부분을 잃게 된다. 우리는 저사양 MoE 서빙을 GPU의 워킹셋 관리 문제로 재정의한다: 라우팅된 전문가 가중치와 키-값(KV) 캐시는 제한된 VRAM을 두고 경쟁하는 두 가지 메모리 수요 스트림이다. 우리는 이를 WiSP(Working-Set Paging)로 구현하였는데, 이는 수정되지 않은 서빙 엔진에 바이트 동일 출력을 유지하면서 플러그인되는 라우팅 인식 전문가 페이저이다. 워크로드가 재사용하는 전문가만을 상주시킴으로써, WiSP는 모델이 메모리에 맞지 않을 때 동일한 메모리 예산에서 정적 오프로딩 대비 최대 1.95배의 디코드 처리량을 달성한다. 또한 예측된 라우팅으로부터의 전문가 프리페칭은 단일 스트림 디코드에서 거의 도움이 되지 않음을 발견했다: 병목은 예측 정확도가 아닌 PCIe 대역폭이다. 이는 문제의 초점을 프리페칭에서 할당으로 전환시킨다: VRAM을 전문가와 KV 캐시 사이에 어떻게 분할해야 하는가? 우리는 KV 허용 하한선을 조건으로 바이트당 한계 지연 이득을 균등화하는 MV-WSA(Marginal-Value Working-Set Allocation)로 이에 답한다. MV-WSA는 오프라인 설정기 또는 서빙 중 두 풀을 동시에 조정하는 온라인 컨트롤러로 실행될 수 있다. 실제 서빙에서는 오프라인 설정기만이 프리필과 디코드 모두에서 좋은 성능을 보이는 유일한 정책이었으며, 트레이스 기반 시뮬레이션에서는 워크플로우별 오라클 대비 몇 퍼센트 이내를 유지한 반면 고정 분할은 약 20% 더 나빴다. 온라인 컨트롤러는 모델 출력을 변경하지 않고 추가로 1.20배의 성능 향상을 제공한다.
기존 서빙 프레임워크가 복합 멀티모달 아키텍처를 수용하기 어렵다는 문제를 해결하기 위해 M*라는 범용 서빙 시스템을 제안합니다. M*는 모델을 데이터플로우 그래프인 Walk Graph로 표현하여 모듈형 추상화와 최적화를 통해 텍스트-이미지 및 텍스트-음성 작업에서 기존 방법 대비 향상된 지연 시간과 처리량을 달성했습니다.