표준 분산 대규모 언어 모델(LLM) 스케줄러는 정적 토큰 수 또는 롤링 지연 평균에 의존하여, 법규 제약 텍스트에서 장애에 취약하다. EPC 제84조에 의해 규율되는 유럽 특허청(EPO) 청구항에서는 언어적 경직성으로 인해 인간 저작과 기계 저작이 통계적으로 구별 불가능하다. 처리 도중 이 모호성을 해결하면 동적 다중 모델 앙상블 확장이 강제되어, 예측 불가능한 KV-캐시 및 가중치 할당 급증을 유발하고, 소비자급 엣지 GPU VRAM을 포화시켜 심각한 OOM(메모리 부족) 충돌을 일으킨다. 하드웨어 붕괴를 방지하기 위해, 우리는 CPU 측 언어 자원 예측(LRF, Linguistic Resource Forecasting) 게이트웨이를 제안한다. 이 게이트웨이는 16차원 텍스트 구조 벡터를 추출하고 XGBoost 예측기를 적용하여 트랩 밴드 소속 여부를 예측한다. 산출된 에스컬레이션 확률($P_{\rm esc}$)은 실시간 지연 텔레메트리를 통해 계산되는 동적 폐쇄형 라우팅 임계값($\tau_{\rm route}(t)$)과 비교하여 평가된다. 요청은 엣지 GPU 메모리가 할당되기 전에 로컬 Qwen2.5-7B 엣지 워커 또는 NVIDIA H100의 원격 대조 앙상블(Qwen2.5 7B + 32B)로 안전하게 라우팅된다. 6,000건 요청의 실제 시험에서 LRF 게이트웨이는 운영 오라우팅 비율($R_{\mathrm{mis}}$)을 $0.087$--$0.095$로 감소시켰으며, 이는 토큰 수 기준선($0.849$)보다 한 자릿수 낮은 수치이다. 피크 엣지 VRAM은 WAN 지연의 $27\times$ 변동 전반에 걸쳐 $\SI{4.82}{\gibi\byte}$로 안전하게 유지되었다($\SI{8}{\gibi\byte}$ 상한 미만). 예측기는 실제 시험에서 AUROC $0.84$를 달성했으며, 동적 $\tau_{\rm route}(t)$ 컨트롤러는 동등한 정적 임계값 대비 오라우팅을 $8.2\%$ 상대적으로 감소시켰다.
언어 모델은 사전학습 컨텍스트 길이를 넘어 일반화하는 데 어려움을 겪으며, 이는 장거리 추론 및 검색을 제한합니다. 장문 컨텍스트 데이터에 대한 지속적인 사전학습이 도움이 될 수 있지만, 어텐션의 이차 스케일링으로 인해 비용이 많이 듭니다. 우리는 대부분의 토큰이 전체 시퀀스에 걸친 (전역) 어텐션을 필요로 하지 않으며 로컬 컨텍스트에 의존할 수 있음을 관찰합니다. 이를 바탕으로, 전역 어텐션을 언제 호출할지 결정함으로써 조건부(토큰 단위) 장거리 메모리 접근을 가능하게 하는 층인 L2A(Learning To Attend)를 제안합니다. 우리는 Qwen 2.5 및 Qwen 3 모델에서 L2A를 평가하여 유효 컨텍스트 길이를 32K에서 128K 토큰으로 확장합니다. L2A는 약 80%의 토큰에 대해 전역 어텐션을 건너뛰면서도 표준 장문 컨텍스트 학습의 성능과 3% 이내의 차이를 보이며, 기존 기준선들을 능가합니다. 또한 GPU에서 이 토큰 단위 조건부 어텐션을 효율적으로 구현하기 위해 커스텀 Triton 커널을 설계하여, FlashAttention 대비 학습 처리량 및 첫 번째 토큰까지의 시간에서 최대 약 2배의 개선을 달성합니다. 더 나아가, L2A는 매우 희소한 전역 어텐션 층의 사후 학습 가지치기를 가능하게 하여, 무시할 수 있는 수준의 성능 손실로 KV 캐시 메모리를 최대 50%까지 줄입니다. 코드는 Apache 2.0 라이선스 하에 https://github.com/awslabs/hybrid-model-factory/tree/main/examples/research/L2A 에서 공개되어 있습니다.
3D 가우시안 스플래팅(3DGS)은 빠르고 고충실도 렌더링으로 새로운 시점 합성(novel-view synthesis) 분야에 혁신을 가져왔습니다. 그러나 다양한 장면에서 높은 FPS와 낮은 지연 시간으로 렌더링하는 것은 여전히 어려운 과제이며, 특히 장면에 대량의 3D 가우시안 타원체가 존재할 때 더욱 그러합니다. 이 문제를 해결하기 위해, 우리는 타일(tile) 기반 소프트웨어 래스터화 위에 구현된, 어떠한 사후 학습(post-training)이나 후처리 없이 3DGS 렌더링을 가속하는 최초의 학습 불필요(training-free) 플러그앤플레이 알고리즘 방식인 TemporalGS를 소개합니다. 핵심 아이디어는, 3DGS처럼 프레임을 독립적으로 렌더링하는 대신, 새로운 기하(geometry) 및 외형(appearance) 버퍼 등으로 표현되는 시간적 사전 정보(temporal priors)를 활용하여 연속 프레임 간 가우시안 전처리, 정렬, 래스터화 연산의 중복성을 줄이는 것입니다. 구체적으로, 두 가지 가속 전략을 제안합니다: (1) 현재 프레임 렌더링에 기여도가 낮은 가우시안을 걸러내는 시간적 동적 컬링(temporal dynamic culling), (2) 시간적 사전 정보로 근사할 수 없는 소수의 타일만 렌더링하는 선택적 렌더링(selective rendering). 이 두 전략을 적응적으로 교차 적용함으로써, TemporalGS는 어떠한 학습 없이도 3DGS 렌더링 속도 향상을 위한 단순하면서도 효과적인 플러그앤플레이 솔루션을 제공합니다. 광범위한 실험을 통해 TemporalGS가 기존 최신 사후 학습 또는 후처리 기반 3DGS 렌더링 가속 방식과 비슷하거나 더 나은 성능을 달성함을 보입니다. TemporalGS는 경쟁력 있는 렌더링 품질을 유지하면서 다양한 3DGS 방법의 렌더링 속도를 최대 1.48배까지 대폭 향상시킵니다. 또한 알고리즘의 이식성을 보여주기 위해 TemporalGS를 하드웨어 래스터화 기반 3DGS로 확장합니다.
현대 영상 감시 시스템은 인간 운영자가 효과적으로 모니터링할 수 있는 수준을 훨씬 초과하는 영상 스트림을 생성하므로, 보안 이벤트의 신속한 탐지를 위해 자동화된 분석이 필수적이다. 본 논문은 공유 GPU 플랫폼에서 구역 기반 인가를 포함한 얼굴 인식, 자동 번호판 인식, 무기 탐지, 화재 및 연기 탐지, 인간 행동 인식을 동시에 수행하는 통합 멀티태스크 심층 학습 프레임워크를 제시한다. 공개 데이터셋에서 충분히 다루어지지 않는 시나리오를 해결하기 위해, 본 연구에서는 두 가지 태스크별 심층 학습 모델을 제안한다: 병합 및 재레이블링된 데이터셋에서 파인튜닝된 단일 클래스 무기 탐지기([email omitted] = 0.947 달성)와, 614개의 영상 클립으로 구성된 자체 구축 반달리즘 데이터셋에서 학습된 SlowFast-R50 행동 인식 모델(94.33% 분류 정확도 달성)이다. 연속 영상에서의 견고성을 향상시키기 위해, 모든 탐지 모듈은 다중 프레임 확인, 신뢰도 가중 투표, 연쇄 필터링에 기반한 시간적 이벤트 검증 아키텍처에 통합되어 프레임 수준의 예측을 신뢰할 수 있는 보안 이벤트로 변환한다. 각 모듈은 공개 데이터셋(LFW, D-Fire, FIRESENSE, UCF-Crime)에서 독립적으로 평가된 후, 통합 엔드투엔드 시스템 평가가 수행된다. 제안된 시간적 검증 전략은 화재 및 연기의 오경보율을 52%에서 4%로 낮추고, 영상 번호판 정확 일치 정확도를 66.7%에서 81.8%로 향상시키며, 전체 프레임워크는 일반 하드웨어에서 프레임당 지연 시간 100ms 미만으로 실시간 동작을 유지한다. 이러한 결과는 특화된 심층 학습 모델과 시간적 이벤트 검증의 결합이 신뢰할 수 있는 실시간 지능형 영상 감시를 위한 효과적이고 실용적인 솔루션임을 입증한다.
신경영상 연구는 원시 MRI 볼륨, 체적 분할(volumetric parcellation), 피질 표면 메시(cortical surface mesh), 트랙토그램(tractogram), 연결성 행렬(connectivity matrix) 등 이질적인 데이터 구조를 호환되지 않는 인터페이스와 파일 형식을 가진 도구들 간에 다루어야 하므로, 연구자들이 기술적으로 까다로운 루틴 작업을 반복적으로 재구현해야 하는 상황에 처하게 된다. 본 논문에서는 체적, 표면, 스트림라인 데이터를 상호운용 가능한 Python 객체로 표현함으로써 이러한 작업들을 단일하고 일관된 프레임워크로 통합한 오픈소스 Python 패키지 CLABTOOLKIT을 소개한다. 다섯 가지 핵심 데이터 구조(Parcellation, Surface, AnnotParcellation, Tractogram, Connectome)는 일반적인 신경해부학적 개체를 캡슐화하고, NIfTI, GIFTI, FreeSurfer 어노테이션, TCK/TRK 등 표준 신경영상 형식 간 데이터 로딩, 처리, 내보내기를 위한 일관된 메서드를 제공하며, 분할로부터의 커넥톰 생성 및 트랙토그램 스트림라인에 대한 스칼라 맵 투영도 지원한다. 보완 모듈은 BIDS 데이터셋 관리, FreeSurfer 통합, 확산 MRI 처리, 형태계측 분석(morphometric analysis), 그래프 이론 기반 네트워크 분석, PyVista를 통한 GPU 가속 다중 패널 시각화를 지원한다. 이 툴킷은 6개 계층으로 구성된 19개 모듈로 이루어지며, 234개의 메서드와 207개의 독립 함수를 가진 13개의 객체지향 클래스를 제공하고, JSON 기반 설정 시스템을 통해 코드 변경 없이 워크플로우를 커스터마이징할 수 있다. 이러한 작업들을 별도로 다루는 기존 신경영상 라이브러리와 달리, CLABTOOLKIT은 색상 및 룩업 테이블 관리, 분할 조작, 다중 표면 시각화, 섬유추적(tractography) 유틸리티를 단일 프레임워크 내에 결합한다. CLABTOOLKIT은 Python 3.9-3.12와 호환되며 Apache 2.0 라이선스 하에 배포된다. 소스 코드, 문서, 예제 워크플로우는 https://github.com/connectomicslab/clabtoolkit에서 확인할 수 있다.
3D 회전 위치 임베딩(3D RoPE)을 탑재한 DiT 기반 비디오 생성 모델에서, 어텐션 메커니즘은 시퀀스 길이에 대한 이차 복잡도로 인해 주요 연산 병목으로 남아 있다. 양자화된 FlashAttention은 하드웨어 가속화를 향한 유망한 경로를 제공하지만, 기존의 저비트 양자화 방법들은 이 설정에서 두 가지 핵심 과제를 간과한다: 1) 쿼리(Q)와 키(K)의 이상치를 완화하는 데 널리 사용되는 기법인 온라인 회전 행렬의 적용이 RoPE와 양립하기 어렵고; 2) 비음수 어텐션 행렬 $P = \exp(QK - \max(QK))$가 대칭 양자화로 하여금 4비트 동적 범위의 절반을 낭비하게 만든다. 본 연구에서 우리는 Q와 K의 이상치 분포가 3D RoPE의 차원 분할에 의해 크게 영향을 받음을 관찰하였다. 이 발견을 기반으로, 정확도에 민감한 어텐션 블록과 노이즈 제거 단계에 선택적 FP16 폴백을 사용하여 3D RoPE를 갖춘 DiT 기반 비디오 생성 모델에 맞춤화된 효율적인 혼합 정밀도 INT4 FlashAttention 프레임워크인 RotateAttention을 제안한다. RotateAttention은 두 가지 핵심 기법을 도입한다: 1) RoPE 인식 회전(RoPE-aware Rotation): RoPE에 융합 가능한 병합 가능 회전 행렬 또는 무시할 수 있는 오버헤드의 행렬을 활용하여 Q와 K에서 RoPE로 인한 이상치를 완화하고; 2) 범위 최적화 P 양자화(Range-optimized P Quantization): 최소한의 연산 오버헤드로 INT4 수치 범위를 완전히 활용하기 위해 고정 스케일과 영점을 사용한다. 실험 결과, RotateAttention은 최대 1.68×의 종단 간 속도 향상과 2.2×의 커널 수준 가속을 달성하면서 전체 정밀도 기준선과 거의 동일한 비디오 생성 품질을 유지함을 보인다.
연속 도메인에서 불확실성 하의 계획(planning)은 자율 시스템에 필수적이지만 계산 비용이 크다. 몬테카를로 트리 탐색(Monte Carlo Tree Search, MCTS)과 같은 트리 기반 탐색 방법은 여전히 널리 사용되지만, 최악의 경우 분기(branching) 구조로 인해 샘플링 예산이 룩어헤드(lookahead) 깊이에 따라 지수적으로 증가할 수 있다. 트리 관점에서, 계획기(planner)가 무한한 분기 계층 구조 내 어디를 탐색할지 결정해야 하므로 연속 상태 또는 행동 공간은 특히 어렵다. 우리는 각 후보 행동에 대해 별도의 후계 상태를 샘플링하는 대신, 샘플링된 미래를 여러 후보 결정에 걸쳐 공유하는 온라인 계획 알고리즘인 그래프 희소 샘플링(Graph Sparse Sampling, GSS)을 제안한다. 이 분기 없는(branch-free) 그래프는 휴리스틱(heuristic)을 사용하여 계산을 집중시키면서 GPU에 친화적인 대규모 배치를 노출한다. 우리는 스무딩 백업(smoothed backup)을 통한 풀랭크(full-rank) 또는 저랭크(low-rank) 생성 시뮬레이터, 그리고 이산(discrete) 또는 샘플링된 연속 행동 공간을 포괄하는 GSS의 유한 샘플 성능 보장을 증명한다. 적절한 오버랩(overlap), 정칙성(regularity), 행동 커버리지(action-coverage) 조건 하에서, 이 경계는 계획 지평에 대해 다항식 의존성을 가지며, 공유된 미래가 트리 형태의 희소 샘플링(sparse sampling)의 지수적 지평 의존성을 회피할 수 있는 조건을 공식화한다. 우리는 GSS가 장기 지평에서 트리 기반 계획기를 크게 능가하거나 거의 최적(near-optimal)에 가까운 성능을 달성하는 연속 제어(continuous-control) 시뮬레이션을 시연하여, 분기 없는 그래프 계획을 온라인 제어를 위한 보완적 설계 원칙으로 지지한다.
실시간 인터랙션 모델(Moshi, MiniCPM-o, Qwen-Omni)은 서빙을 주기적 실시간 태스크로 전환한다. 각 프레임마다 세션은 스트리밍 오디오를 수신하고 반복되는 실제 시간 마감 기한 내에 응답해야 하며, KV 캐시는 단조 증가하여 대화 전체 동안 메모리에 고정된 상태를 유지한다. 이 방식에는 위험한 장애 모드가 숨어 있다. 실제 전이중(full-duplex) 스택에서 지속적인 부하는 서빙을 점진적으로 저하시키지 않는다. 누적된 세션 상태가 KV 풀을 소진하면, 프레임당 밀리초 단위 응답에서 스톨된 엔진으로 한 번에 추락한다. 이 붕괴는 준안정(metastable) 상태로, 동일한 5분 실행이 실행마다 달리 붕괴하거나 생존하며 조용히 발생한다. 지연 시간과 마감 기한 초과 지표는 전 과정에서 정상으로 나타난다. 우리는 안정성과 관측 가능성을 모두 회복시키는 단 하나의 방법을 제시한다: 각 세션의 상주 상태를 제한하면 지연 시간이 실제 상황을 반영하기 시작한다. Metronome의 인-엔진 KV 윈도우는 붕괴를 제거하고(두 배치에서 20회 중 0회 vs. 14회 붕괴), 프레임당 지연 시간을 단조 증가하는 부하 신호로 전환하며, 이를 기반으로 온라인 어드미션 컨트롤러가 스케줄 가능한 동시성을 탐색한다. 윈도우 없이는 동일한 컨트롤러가 과도 허용하여 한계에 부딪힌다. 1차 모델은 주요 모델에서 붕괴 시간을 몇 퍼센트 이내로 예측하며, 품질 프로브는 에이블레이션을 통해 제한 설계를 검증한다. 윈도우 자체는 턴 기반 디코딩에서 품질 손실이 없으며, 고정된 소수의 어텐션 싱크 토큰이 자유 실행 생성의 품질을 유지한다. 모든 측정은 하나의 GPU에서 네 가지 인터랙션 모델에 걸쳐 실제 오디오로 엔드-투-엔드 수행되었다.
하드웨어 가속기는 이제 온라인 서빙의 크리티컬 패스에 자리한다. GPU, FPGA, 그리고 점점 증가하는 원격 서비스—하드웨어 보안 모듈, 포스트-퀀텀 KEM, 추론 서버 등이 그 예다. 세밀한 오프로드(수 마이크로초에서 수 밀리초)에서 발생하는 스톨에 대한 고전적인 두 가지 대응책은 모두 실패한다: 컨텍스트 스위치는 오프로드만큼의 비용이 들고, 바쁜 대기(busy-wait)는 코어를 낭비한다. 오프로드를 다른 요청과 중첩(overlap)하는 것이 해결책이며, 기존 시스템들은 동시성을 추가하는 방식으로 이를 달성했다—비동기 프레임워크 재작성, 새로운 런타임 또는 데이터플레인 OS 도입, 혹은 수작업으로 조율된 포인트 통합이 그 방법이다. 우리는 동시성이 이미 존재한다는 사실을 관찰한다: 동시 요청을 처리한다는 것은 요청을 중단(suspend)하고 재개(resume)하는 것이므로, 모든 서버는 중첩에 필요한 메커니즘을 이미 내장하고 있다. 따라서 중첩은 재작성 문제가 아니라 라우팅 문제다: 오프로드를 실행기(executor)에 제출하고, 서버 자체의 지연 응답(deferred-response) 프리미티브로 요청을 중단한 뒤, 완료 시 재개하면 된다. 모든 프로덕션 동시성 모델을 아우르는 10개의 범용 서버에 걸쳐, 이 방법은 22~138줄 추가, 최대 1줄 수정만으로 실제 하드웨어에서 1.2~5.4배의 성능을 회복한다; 서버의 동시성 모델과 오프로드의 가중치가 두 수치를 사전에 예측하며, 성능 이득은 장치 처리량과 서버 자체의 중첩 용량에 의해 제한된다. 극단적인 경우, LD_PRELOAD 파이버 런타임이 수정되지 않은 스레드-연결당(thread-per-connection) 바이너리에 재라우팅을 주입하여 특성화된 범위 내에서 17.3배의 성능을 달성한다. 재라우팅은 실행-완료(run-to-completion) 원자성을 중단시키는데, 측정된 분류 체계(taxonomy)가 위험 요소를 잠금 없는 공유 집계(unlocked shared aggregates)로 국한시키며, 투명한 페이지 보호 감지기가 해당 부분을 정확히 보호한다—이는 표준 Redis에서 검증되었다.
키-값(KV) 캐시는 대규모 언어 모델(LLM) 서빙에서 요청별 임시 텐서가 아닌 최우선 메모리 객체로 자리잡았다. 본 서베이는 30개 이상의 KV 관리 시스템 및 프레임워크를 지역성(locality), 수명(lifetime), 소유권(ownership), 기반 자원(substrate)의 네 가지 축으로 분류한다. 이 축들은 로컬 페이징(local-paged), 비집계 파이프라인(disaggregated-pipeline), 공유 스토어(shared-store), 메모리 풀(memory-pool), 하이브리드 계층(hybrid-tier)의 다섯 가지 아키텍처 원형을 드러낸다. 워크로드와 하드웨어가 고정된 상황에서는 소유권이 분산 시스템 간 나머지 설계 분산의 상당 부분을 차지한다. 본 서베이는 또한 현행 평가를 검토하여 KV 특화 측정 지표 중 누락된 일곱 가지를 식별하고, 이를 내결함성(fault tolerance), 격리(isolation), 계층적 제거(tiered eviction), 추측 디코딩(speculative decoding), 전문가 혼합(MoE) 서빙, 공유 캐시 의미론(shared-cache semantics)의 미해결 문제들과 연결한다.
DiLoCo 방식의 학습은 학습자 아일랜드(learner island)들이 간헐적인 외부 동기화(outer synchronization) 이전에 로컬로 학습하도록 허용함으로써 통신량을 줄이며, 학습이 지연 민감 서빙과 하드웨어를 공유하는 분산된 산업용 AI 플리트(fleet)에 매력적인 방식이다. 이러한 플리트에서의 핵심 질문은 외부 병합(outer merge)이 시스템 비용을 감수할 가치가 있는 시점이 언제인지, 그리고 어떤 윈도우를 지연할지 선택하는 것이 실제로 중요한지에 관한 것이다. 기존 스케줄링 연구들은 워크로드 인식 정책을 고정 주기 기준선과 비교하여 평가하지만, 대부분 타이밍을 예산과 분리하는 제어 조건, 즉 컨트롤러의 동기화 예산은 그대로 따르되 그 자체로는 배포 불가능한 매칭된 무작위 지연(matched random deferral)을 생략한다. 이 생략은 중요한 결과를 초래한다: 제어된 스트레스 테스트와 실제 vLLM 사이드카(sidecar) 재현(replay) 전반에서 매칭된 무작위는 우리가 테스트한 모든 예측 기반 없는 정책과 동률이거나 이를 능가하므로, 더 약한 기준선 대비 보고된 성능 향상을 윈도우 선택에 귀인할 수 없다. 우리는 이 공백을 워크로드 인식 DiLoCo(WA-DiLoCo)로 채운다. WA-DiLoCo는 학습자의 진행 상황과 플리트 압력을 균형 있게 고려하는 점수 기반 컨트롤러와, 매칭된 무작위를 능가할 수 있는 조건을 파악한 뒤 실제로 이를 달성해 보이는 보정 프로토콜(calibration protocol)로 구성된다. 보정을 통해 요청 중복 구조가 드러나는 버스트(bursty) 레짐에서, 온라인 컨트롤러에 1단계 EWMA 버스트 예측을 추가하면 실제 vLLM 사이드카 재현에서 매칭된 무작위를 능가하여 SLO 위반율을 6.54%에서 5.09%로 줄인다(10개 시드 중 8개, $p=0.021$). 배포 불가능한 상한선인 오프라인 Calibrated-WA는 6.26% 대비 4.45%의 잔여 여유를 보여준다. 배포 가능한 교훈은 여전히 프로토콜에 있다: 서빙 SLO 개선을 주장하기 전에 실제 사이드카 효과 크기 이전(effect-size transfer), 비동기화 부하 매칭(no-sync load match), 그리고 매칭된 무작위 포락선(matched-random envelope)을 반드시 보고해야 한다.
데이터센터의 물 사용량은 통상 단일 발자국으로 보고되지만, 물은 물리적으로 구분된 두 경로—현장 냉각과 전력을 생산하는 전력 시스템—를 통해 소비된다. 우리는 472개의 미국 하이퍼스케일 시설에 대해 시설 위치를 전력 지역, 수문 유역, 물 스트레스 데이터와 연결함으로써 두 경로를 모두 매핑하였다. 기준선 가정 하에서 운영상 물 소비량은 연간 약 300 GL(시나리오별 범위 205~451 GL)에 달하며, 전력 관련 물이 전체의 4분의 3을 차지한다. 두 경로는 서로 다른 핫스팟 지리를 생성한다: 직접 냉각 부담은 물 스트레스를 받는 서부 및 중남부 유역에 집중되는 반면, 전력 관련 부담은 화석 연료 비중이 높은 일부 동부 전력망 지역에 집중된다. 24개의 호스팅 밸런싱 기관 중 단 3곳이 전력 관련 물 소비의 59%를 차지한다. 경로를 분리함으로써 어떤 결정이 어디에서 중요한지 파악할 수 있다: 지역적으로는 냉각 설계와 수원 조달이, 광역적으로는 전력 계획과 조달이 관건이다.
본 논문에서는 온라인(스트리밍) 및 오프라인(배치) 대규모 언어 모델(LLM) 서빙 모두를 위한 경량 스케줄링 및 제거 프레임워크인 PEEK를 소개하며, 이 논문은 온라인 환경에 초점을 맞춘다. PEEK는 대기 큐에 대해 점진적 래딕스 트리를 유지하여 기존 엔진에서는 드러나지 않는 접두 문맥 공유 클러스터를 노출한다. 오버헤드가 낮은 이중 탐색(dual-walk)은 트리를 엔진의 접두 문맥 캐시와 대조하여 대기 중인 모든 요청에 대해 최장 접두 문맥 매칭을 도출하며, PEEK는 클러스터 선두 요청을 먼저 수용하여 이후 요청들이 새로 캐시된 접두 문맥을 상속받도록 하고, 공동 설계된 제거 훅(eviction hook)이 대기 중인 요청의 상위 블록을 보호하며, 다중 레인 스트라이드 스케줄러가 기아 현상을 억제한다. SGLang 및 vLLM에서 최대 4×H100(DP=2, TP=2)을 사용하는 5가지 워크로드에 대해, PEEK는 각 엔진의 가장 강력한 기본 기준선(SGLang/vLLM) 대비 캐시 히트 최대 3.0×/2.6×, TTFT 7.9×/7.1×, E2E 6.7×/5.5×, 처리량 3.6×/4.5× 향상을 달성하며, 활용 가능한 접두 문맥 구조가 없는 워크로드에서는 기준선과 노이즈 범위 내에서 동등한 성능을 보인다. KV 캐시 부하와 추론 병렬성이 확장될수록 성능 향상은 유지된다.
OpenClaw 요청은 시스템 프롬프트, 대화 기록, 컨텍스트 윈도우에 재입력되는 도구 출력을 포함하는 길고 도구가 보강된 프리픽스(prefix)로 구성됩니다. 요청당 약 28,000~30,000개의 입력 토큰과 500개의 출력 토큰을 갖는 이 워크로드에서, 서빙 품질은 단순한 짧은 프롬프트 처리량만이 아니라 처리량(throughput), TTFT(첫 번째 토큰 생성 시간), 꼬리 지연(tail latency)에 의해 결정됩니다. 본 보고서는 MaaS 멀티 모델 추론 최적화 아키텍처 내에서 GLM-5 서빙 매개변수 튜닝을 연구합니다. 연구 범위는 추론 최적화 층의 단일 노드 최적화 블록으로, 하나의 GLM-5 서빙 배포에 대해 청크 프리필(chunked prefill), 텐서 병렬화(TP), 파이프라인 병렬화(PP), 요청 동시성이 튜닝됩니다. 본 보고서에서 '단일 노드 최적화'는 아키텍처 블록을 지칭하며, 실험은 2노드 16-GPU 클러스터에서 수행됩니다. 테스트된 구성 공간 내에서 최적 구성은 chunked-prefill-size=3072, tp=4, pp-size=4, max-running-requests=24입니다. 보수적인 2048/4/4/16 기준선과 비교하여, 요청 처리량은 0.43에서 0.48 req/s로, 총 토큰 처리량은 9,029.64에서 9,993.23 tok/s로 증가하며, 평균 TTFT는 8.98초에서 6.69초로, 지연 P90은 40.23초에서 32.64초로 감소합니다. 동일한 하드웨어 환경에서, 이는 요청당 서빙 비용 약 10.4% 절감 및 토큰당 비용 9.6% 절감에 해당합니다. 결과는 최적값이 워크로드에 따라 다름을 보여줍니다. 청크 크기가 클수록, 큐잉(queueing)이 깊을수록 성능이 단조롭게 향상되지는 않습니다. 따라서 3072 / tp4 / pp4 / max24를 기본 OpenClaw 배포 프로파일로 권장합니다.
vLLM 기반의 음성 언어 모델(SpeechLM) 고처리량 추론 파이프라인을 제안하며, 다중 코드북 오디오 토큰의 지연 패턴 디인터리빙과 동기식 멀티-토큰 예측(MTP)을 자동회귀 디코딩 루프에 통합하고 GPU 내 음향 디코더를 직접 결합하여 엔드-투-엔드 파형 합성을 구현한다. 또한 Classifier-Free Guidance(CFG)의 조건부·비조건부 요청을 동일 연속 배치(continuous batch) 내에서 쌍으로 공동 스케줄링함으로써 CFG 적용 시에도 비CFG 처리량의 80%를 유지하는 효율적인 추론을 달성한다.
PixGS는 텍스트 또는 이미지로부터 3D 가우시안 스플랫(3DGS)을 직접 생성하는 단일 단계 파이프라인으로, 기존의 잠재 디퓨전 기반 다단계 파이프라인이 가진 손실 압축 문제와 복잡한 캐스케이드 학습의 한계를 픽셀 공간 디퓨전(pixel-space diffusion)으로 우회한다. 표면 법선·깊이·LoG(Laplacian of Gaussian) 손실을 포함한 포괄적인 지도 학습 전략과 3단계 학습 스케줄을 도입하여, 단일 A100 GPU에서 약 1초의 추론 속도로 최신 방법들을 능가하는 고품질 3DGS 생성을 달성했다.
LLM 추론 워크로드의 에너지 소비 최적화를 위해, WattGPU는 하드웨어 프로파일링 없이 공개된 LLM 메타데이터와 GPU 사양만으로 GPU 평균 전력 소비와 토큰 간 지연(ITL)을 예측하는 두 가지 회귀 모델을 제안한다. 42개의 오픈소스 LLM과 8개의 GPU에 대한 교차 검증에서 전력 예측 오차 ≤3.4%(오프라인), 지연 예측 오차 ≤8.5%(서버)를 달성하며 기존 물리 기반 베이스라인 대비 약 4배 향상된 성능을 보였다.
9개의 경량 CNN 모델 패키지를 CIFAR-10, CIFAR-100, Tiny ImageNet에서 동일한 다운스트림 프로토콜로 비교한 결과, 최신 설계가 보편적 성능 향상을 제공하지 않음을 확인했다. EfficientNet-B0는 모든 정확도-자원 파레토 프론티어에 속하는 가장 일관된 중간 예산 옵션으로, MobileNetV3-Small은 더 많은 파라미터와 GMACs를 사용하는 MobileNetV4-Conv-S보다 높은 정확도와 빠른 CPU 추론 속도를 보였으며, GMACs만으로는 실제 지연 시간을 예측할 수 없음을 보였다.
AdamS 옵티마이저의 1차 모멘트(first-moment) 안정성을 활용해 99% 희소성(sparsity)에서도 모델 품질 손실 없이 통신량을 극단적으로 줄이는 분산 옵티마이저 SCAPE를 제안한다. Megatron-LM에서 구현하여 32개의 NVIDIA GH200 GPU로 Llama-500M 사전학습 시 종단간 학습 시간을 최대 43.3% 단축하고, Llama-1.8B에서는 단계당 최대 3.26배 속도 향상을 달성하면서 LAMBADA, MMLU 등 다운스트림 벤치마크에서 dense AdamW 수준의 성능을 유지했다.
GPU 학습 작업 실패(대형 클러스터에서 약 40%)를 학습 스크립트 수정 없이 프로세스 경계에서 모니터링하는 커맨드라인 래퍼 GPUAlert를 제안하며, 사전 로그 보장·알림 격리·아티팩트 버짓 등 세 가지 신뢰성 프리미티브를 통해 실패 원인을 자동 분류하고 이메일로 전송한다. 15개 GPU 실패 유형에 걸쳐 474개 로그로 구성된 공개 코퍼스에서 ordered-rule 분류기가 macro-F1 0.997을 달성했으며, 래퍼 오버헤드는 작업당 약 3ms에 불과하다.