대규모 언어 모델(LLM)은 컨텍스트 윈도우에 들어가는 텍스트만 사용할 수 있으며, 프롬프트가 전송될 때마다 해당 프롬프트에 대한 내부 키-값(KV) 상태를 다시 계산합니다. 본 연구에서는 약 16,000개 토큰 블록의 KV 상태를 암호화된 로컬 NVMe 디스크에 저장하고, 이후 재계산 없이 바이트 단위로 정확하게(byte-exact) 다시 로드하는 메모리 층인 공개 패키지 galahad-kv를 테스트합니다. 단일 NVIDIA H100에서 vLLM을 통해 서빙되는 50,000,000개 토큰의 실제 공개 텍스트를 대상으로 Gemma 4 12B 및 Gemma 4 31B와 함께 이를 실행했습니다. 조사한 모든 블록은 두 모델 모두에서 재계산 없이 암호화된 저장소로부터 다시 로드되었습니다(0부터 5,000만 토큰 깊이에서 100회 중 100회). 블록을 로드하는 것은 재계산하는 것보다 2.8배에서 4.3배 더 빨랐고 GPU 에너지를 8.8배에서 12.3배 적게 사용했으며, 전체 5,000만 토큰 스트림 동안 GPU 메모리는 일정하게 유지되었습니다. 수백만 토큰 앞서 심어둔 사실에 대한 질문에서 12B 모델은 100회 중 82회, 31B 모델은 100회 중 98회 올바른 답변을 제시했습니다. 두 모델 모두 답을 지어내지 않았습니다. 한계점은 다음과 같습니다. 이는 더 넓은 어텐션 윈도우가 아니라 저장된 상태를 재사용하는 것입니다. 즉, 한 번에 하나의 블록이 로드되며, 질문에 얼마나 잘 답하는지는 모델에 달려 있습니다. 메모리 쓰기는 일회성 비용이며 저장소는 수 테라바이트의 로컬 NVMe 디스크를 차지합니다. 본 논문에서는 롱 컨텍스트 벤치마크를 왜곡하는 일반적인 방식에 대응하도록 설계된 테스트 프로토콜을 설명하고, 공개 소프트웨어 및 해당 패키지의 무료 라이선스를 활용하는 단일 GPU 재현 방안을 제공합니다.
Mooncake은 Moonshot AI가 제공하는 주요 대규모 언어 모델(LLM) 서비스인 Kimi의 서빙 플랫폼입니다. Mooncake은 prefill 클러스터와 디코딩(decoding) 클러스터를 분리하는 KVCache 중심의 분리형(disaggregated) 아키텍처를 특징으로 합니다. 또한 GPU 클러스터에서 충분히 활용되지 않는 CPU, DRAM, SSD 자원을 활용하여 KVCache의 분리형 캐시를 구현합니다. Mooncake의 핵심은 KVCache 중심 스케줄러로, 지연 시간(latency) 관련 서비스 수준 목표(Service Level Objective, SLO)를 충족하면서 전체 유효 처리량(throughput)을 최대화하는 균형을 맞춥니다. 모든 요청이 처리될 것이라고 가정하는 기존 연구들과 달리, Mooncake은 과부하가 매우 심한 상황으로 인한 문제에 직면합니다. 이를 완화하기 위해 우리는 예측 기반 조기 거부(early rejection) 정책을 개발했습니다. 실험 결과 Mooncake은 긴 컨텍스트(long-context) 상황에서 뛰어난 성능을 보입니다. 기준선(baseline) 방법과 비교하여, Mooncake은 특정 시뮬레이션 상황에서 SLO를 준수하면서도 처리량을 최대 525%까지 증가시킬 수 있습니다. 실제 워크로드에서 Mooncake의 혁신적인 아키텍처는 Kimi가 75% 더 많은 요청을 처리할 수 있게 합니다.
프롬프트(prompt) 특화 멀티 에이전트(agent) 시스템은 여러 에이전트가 단일 모델(model)을 공유하면서 상호 보완적인 역할을 수행하여 복잡한 작업을 해결할 수 있도록 돕습니다. 그러나 에이전트별 프리픽스(prefix)로 인해 동일한 공유 컨텍스트에 대해 생성되는 KV 캐시(KV cache)가 달라지며, 이로 인해 각 에이전트가 점차 증가하는 컨텍스트를 반복적으로 프리필(prefill)하고 높은 연산 및 메모리 오버헤드를 유발하는 별도의 캐시를 구축하게 됩니다. 선택적 재계산(selective recomputation)은 이러한 중복을 줄이지만 여전히 상당한 모델 실행을 필요로 하며, 기존의 델타 보정 방식들은 반복되는 컨텍스트 관계만을 지원하거나 동적으로 변화하는 컨텍스트에 대해 메모리 집약적인 온라인 보정 상태를 유지해야 합니다. 또한 이러한 방식들은 처음 확인된 공유 컨텍스트에 대해 에이전트 워크플로 외부에서 참조 캐시를 구성하며, 첫 번째 에이전트에서의 근사 보정은 후속 에이전트로 전달되는 출력에 영향을 미칩니다. 본 논문에서는 에이전트 간 캐시 편차를 컴팩트한 로우랭크(low-rank) 상태로 표현하고, 추가적인 참조 프리필 없이 에이전트 워크플로를 따라 보정을 매끄럽게 연결하는 온라인 KV 캐시 보정 프레임워크인 KVCMAS를 제안합니다. 이 설계는 첫 번째 에이전트의 정확한 캐시를 보존하면서도 동적으로 변화하는 공유 컨텍스트를 지원합니다. 다양한 언어 및 비전-언어(vision-language) 워크로드에 걸쳐, KVCMAS는 이전의 KV 캐시 공유 방식들의 정확도와 일치하거나 이를 개선하는 동시에 높은 동시성 서빙 환경에서 가장 낮은 최초 토큰 생성 시간(TTFT)을 달성합니다. 제어된 서빙 트레이스 환경에서, KV 캐시 공유가 없는 추론(inference) 대비 2.0배의 TTFT 속도 향상을 제공하며 이전 KV 캐시 보정 방식 대비 최대 3.7배 피크 GPU 메모리를 절감합니다. 이러한 결과는 KVCMAS가 프롬프트 특화 멀티 에이전트 서빙을 위한 정확하고 확장 가능한 KV 캐시 공유 접근 방식임을 입증합니다.
하이브리드 어텐션(hybrid-attention) 모델은 대부분의 소프트맥스 어텐션 레이어를 선형 어텐션으로 대체하여 KV 캐시 증가를 줄이고 더 큰 디코드 배치를 가능하게 하지만, 이 경우 순환 상태(recurrent-state) 접근이 주요 병목이 됩니다. ReplaySSM은 키와 값을 버퍼링하여 상태 업데이트 비용을 분할 상환하지만, 상태 업데이트 사이에 상태가 변하지 않더라도 각각의 새로운 쿼리는 여전히 전체 상태 읽기를 필요로 합니다. 본 연구에서는 저랭크(low-rank) 상태 가중 쿼리 근사가 상태 읽기 출력을 정확하게 보존함을 관찰했습니다. 미래의 쿼리는 알 수 없지만, 이를 근사하는 데 사용되는 기저 벡터(basis vector)는 오프라인에서 고정할 수 있습니다. 이러한 관찰을 바탕으로, 전체 상태 업데이트는 유지하면서 읽기를 근사하는 SketchSSM을 제안합니다. 각 상태 업데이트 시 SketchSSM은 전체 상태를 한 번 읽어 이러한 기저 벡터에 대한 출력을 사전 계산하고 이를 간결한 스케치에 저장합니다. 이후의 각 디코드 단계는 전체 상태 읽기 없이 스케치 벡터를 쿼리 종속 계수와 결합하여 출력을 재구성합니다. Mamba-2, GDN, KDA 기반의 4개 모델 전반에서 평균 스케치 랭크 8의 SketchSSM은 4개의 디코드 벤치마크에 걸쳐 FP32 전체 상태 기준선(baseline)의 평균 정확도를 유지하면서 상태 접근 트래픽을 약 10$\times$ 감소시켰으며, 4개의 RULER 검색 작업에서 재현율(recall)을 보존했습니다. 단일 NVIDIA B300 환경의 해당 랭크에서 표준 vLLM 기준선 대비 선형 어텐션 커널 속도 향상은 Mamba-2, GDN, KDA에 대해 각각 7.30$\times$, 5.02$\times$, 5.24$\times$에 달했으며, Nemotron 3 Super에서 최대 2.77$\times$ 더 높은 디코드 처리량을 달성했습니다.
대규모 언어 모델(LLM)에 제공되는 사용자 프롬프트에는 개인정보가 포함될 수 있습니다. 이를 보호하는 한 가지 방법은 신뢰 실행 환경(TEE) 내에서 LLM을 실행하는 것입니다. 그러나 현재 TEE는 LLM 추론에 있어 GPU보다 현저히 느리기 때문에 추론 시간이 오래 걸립니다. 이를 우회하기 위해 Tramèr와 Boneh (2019)는 신경망 추론을 TEE와 신뢰할 수 없는 GPU 간에 분할하는 Slalom을 제안했습니다. 이들은 GPU로 아웃소싱되는 연산의 입력을 암호화합니다. 본 논문에서는 이러한 분할 추론 아키텍처를 LLM 추론으로 확장하고, 대신 차분 프라이버시(DP)를 사용하여 중간 입력을 보호합니다. 먼저 이러한 표현으로부터의 프롬프트 복원 공격에서 80%의 정확도를 보임으로써 중간 표현 마스킹이 필수적임을 입증합니다. 본 논문의 주요 기여는 LLM 추론의 핵심 함수들에 대한 전역 민감도 분석으로, 필요한 DP 노이즈의 크기를 제한하는 것입니다. 암호화와 달리 DP는 양자화를 피할 수 있어 LLM이 부동 소수점 영역에 유지되도록 합니다. 또한 프라이버시 매개변수 입실론(epsilon)의 함수로서 마스킹 및 후속 노이즈 상쇄로 인한 부동 소수점 오차의 상한을 도출하여 동일한 LLM 응답 품질을 유지합니다. 인텔 TDX TEE와 두 가지 LLM(Llama-3.2-3B, Qwen3-4B)을 사용하여 아키텍처를 구현했습니다. 제안하는 분할 실행은 완전한 TDX 기반 추론보다 거의 2배 빠릅니다. 나아가 더 높은 정확도를 달성하면서도 Slalom보다 최대 43% 빠릅니다. 마지막으로 DP 메커니즘을 알고 있는 상태에서도 프롬프트 복원이 무관한 프롬프트에 포함된 것 이상의 정보를 복구할 수 없음을 입증합니다.
몬테카를로 트리 탐색(MCTS)은 강화학습(Reinforcement Learning)에서 정책 개선과 행동 선택을 위해 널리 사용되는 접근법입니다. MCTS의 순차적이고 결정론적인 특성으로 인해, 병렬 연산을 활용하여 MCTS의 실행 시간을 원칙적으로 확장(scaling)하는 것은 여전히 주요한 과제로 남아 있습니다. 본 연구에서는 신경망(neural network) 평가에 적합하며, 배치(batch) 병렬화를 통한 GPU 가속을 위해 설계되었고, MCTS의 원칙적인 근사 정책 개선 해석을 유지하는 병렬 MCTS 알고리즘인 파티클 MCTS(PMCTS)를 소개합니다. 실증적으로 PMCTS는 병렬 연산에 따라 우수한 확장성을 보이며 체스, 19x19 바둑, 9x9 바둑, 가드너 체스, 스네이크, Brax의 고전 제어 환경, 소코반에서의 대규모 언어 모델(LLM) 추론을 포함한 널리 쓰이는 이산 및 연속 행동 벤치마크 도메인 전반에서 널리 사용되는 휴리스틱 기반 베이스라인을 일관되게 능가하거나 대등한 성능을 보입니다.
임베딩 테이블은 대규모 추천 시스템의 핵심 구성 요소로, 고차수 범주형(high-cardinality categorical) 특성을 밀집 벡터 표현으로 효율적으로 매핑할 수 있도록 지원합니다. 그러나 고유 ID의 양이 증가함에 따라 기존의 해시 기반 인덱싱 방식은 충돌 문제를 겪으며, 이는 모델 성능과 개인화 품질을 저하시킵니다. 본 논문에서는 선형 탐사(linear probing)를 기반으로 하여 임베딩 충돌을 효과적으로 완화하는 새로운 인덱싱 메커니즘인 다중 프로브 제로 충돌 해시(MPZCH, Multi-Probe Zero Collision Hash)를 제시합니다. 합리적인 테이블 크기 설정을 통해 프로덕션 수준의 효율성을 유지하면서 이러한 충돌을 완전히 제거하는 경우가 많습니다. MPZCH는 보조 텐서와 고성능 CUDA 커널을 활용하여 구성 가능한 탐사 및 능동적 축출(active eviction) 정책을 구현합니다. 노후화된 ID를 폐기하고 재할당된 슬롯을 초기화함으로써, MPZCH는 해시 기반 방식에서 전형적으로 발생하는 오래된 임베딩 상속을 방지하고 새로운 특성이 처음부터 효과적으로 학습되도록 보장합니다. 충돌 완화 오버헤드에도 불구하고, 본 시스템은 기존 방식과 견줄 만한 학습 QPS 및 추론 지연 시간을 유지합니다. 엄격한 온라인 실험을 통해 MPZCH가 사용자 임베딩에 대해 제로 충돌을 달성하고 아이템 임베딩의 최신성과 품질을 대폭 향상함을 입증합니다. 이 솔루션은 더 넓은 커뮤니티를 위해 오픈소스 TorchRec 라이브러리에 공개되었습니다.
심층 학습(deep learning) 학습(training)은 흔히 공유된 멀티 테넌트 GPU 서버에서 실행되며, 여기서 독점적 할당은 격리성을 제공하지만 자원 활용도를 낮추고 대기열 대기 시간을 늘릴 수 있습니다. 코로케이션(collocation, 함께 배치)은 효율성을 높일 수 있지만, 간섭을 고려하지 않은 배치는 심각한 속도 저하를 유발할 수 있으며, 부정확한 메모리 정보는 OOM(out-of-memory) 오류로 이어질 수 있습니다. 본 논문에서는 공유 멀티 GPU 서버에서 심층 학습 학습 워크로드의 제어된 코로케이션을 지원하는 서버 규모의 런타임 스케줄링 시스템인 AEGIS를 제시합니다. AEGIS는 메모리 실현 가능성, 배치 후 관측, 런타임 압력 필터링, 배치 및 OOM 인식 복구를 단일 스케줄링 루프에 통합합니다. 배치 후 AEGIS는 추가 코로케이션을 허용하기 전에 워크로드 활동을 관측한 다음, 오버헤드가 적은 원격 측정을 사용하여 GPU가 추가 작업을 안전하게 수용할 수 있는지 판단합니다. OOM 오류 발생 시 점진적으로 더 안전한 메모리 조건에서 재시도를 트리거하며, 궁극적으로는 독점 실행으로 폴백합니다. 이러한 온라인 방식은 비용이 많이 드는 오프라인 쌍별 호환성 프로파일링(profiling)을 피할 수 있게 합니다. 비전, 트랜스포머(Transformer), 추천 및 LLM 스타일 워크로드를 세 가지 실제 운영 파생 트레이스에 걸쳐 사용하여 AEGIS를 평가합니다. AEGIS는 기하평균 메이크스팬(makespan)을 Lucid 대비 16%, Horus 대비 21%, 독점 할당 대비 27% 줄입니다. 민감도 연구에 따르면 활동 기반 관측 및 런타임 압력 필터링이 보수적인 격리와 간섭 무시 코로케이션 간의 균형을 맞추어, 공유로 인한 작업별 속도 저하를 제한하면서도 메이크스팬을 개선함을 보여줍니다.
본 논문에서는 트리 탐색, 강화학습(RL), 대규모 언어 모델(LLM)의 추론 능력을 빠르게 벤치마킹할 수 있도록 설계된 GPU 가속 퍼즐 게임 엔진이자 기술 언어인 PuzzleJAX를 소개합니다. 고정된 게임 세트의 하드코딩된 구현만을 제공하는 기존 GPU 가속 학습 환경과 달리, PuzzleJAX는 도메인 특화 언어(DSL)로 표현 가능한 모든 게임의 동적 컴파일을 지원합니다. 이 DSL은 퍼즐 게임을 설계하는 데 널리 쓰이고 접근성이 뛰어난 온라인 게임 엔진인 PuzzleScript를 따릅니다. 본 논문에서는 2013년 출시 이후 전문 디자이너와 일반 제작자가 PuzzleScript로 설계한 수천 개의 게임 중 수백 개를 PuzzleJAX에서 검증함으로써, 광범위하고 표현력이 뛰어나며 인간에게 유의미한 작업 공간에 대한 PuzzleJAX의 커버리지를 입증합니다. 이러한 게임들에 대한 탐색, 학습 및 언어 모델의 성능을 분석함으로써, PuzzleJAX가 이해하기 단순하고 직관적이면서도 제어, 계획, 고차원적 통찰의 조합을 요구하여 숙달하기에는 매우 까다로운 작업들을 자연스럽게 표현할 수 있음을 보여줍니다.
가중치를 모두 담기에 메모리가 부족한 소비자용(consumer-grade) GPU에 LLM을 배포하면 추론 속도가 지나치게 느려질 수 있는데, 이는 디코딩 과정에서 오프로딩된 가중치를 시스템 RAM이나 플래시 스토리지에서 GPU로 반복적으로 전송해야 하며, 이 전송 대역폭이 로컬 GPU 메모리 접근보다 훨씬 낮기 때문이다. 활성화 희소성(activation sparsity)은 0이거나 0에 가까운 활성화(activation)와 연관된 가중치를 건너뜀으로써 이러한 전송을 줄인다. 그러나 더 많은 활성화 기여분을 생략할수록 모델 품질이 결국 급격히 저하되는데, 이는 작은 크기의 활성화와 연관된 가중치들이 전체적으로 모델 품질에 큰 영향을 미친다는 것을 보여준다. 본 연구에서는 활성화 희소성을 활용할 때 모델 품질과 디코딩 성능 간의 trade-off를 개선한다. 핵심 아이디어는 가중치를 읽을지 여부에 대한 이진 선택을, 완전히 유지하거나, 압축된 가중치 표현(compressed weight representation)을 사용해 근사하거나, 완전히 생략하는 세 가지 옵션으로 대체하는 것이다. SpAx는 0에 가장 가까운 활성화와 연관된 가중치를 건너뛰고, 더 작은 크기의 활성화에 대해서는 근사된 가중치를 읽으며, 가장 큰 크기의 활성화에 대해서는 원본 가중치를 읽는다. 더 작은 크기의 활성화는 근사 가중치로 인해 발생하는 오차를 완화시키며, 압축된 가중치 표현은 전송해야 할 바이트 수를 줄인다. 가중치를 CPU 메모리로 오프로딩한 경우, SpAx는 16비트 가중치에서 평균 3.86배(최대 5.57배), 4비트 가중치에서 평균 2.06배(최대 2.74배)의 디코딩 속도 향상을 달성하며, WikiText-2 퍼플렉시티(perplexity) 증가는 최대 10%에 그친다. 가중치를 플래시 스토리지로 오프로딩한 경우, 속도 향상은 평균 3.31배(최대 4.81배) 및 평균 1.54배(최대 2.03배)이다.
대규모 언어 모델(LLM)의 등장은 데이터 센터의 열 관리에 중대한 도전 과제를 안겨주었습니다. LLM을 위한 집중적인 GPU 연산은 국소적인 핫스팟(hotspot)을 발생시킵니다. 더욱이 학습(training) 및 추론(inference) 급증 시 발생하는 급격한 열 부하 변동은 실시간 냉각 대응을 예측하고 제어하기를 더욱 어렵게 만듭니다. 데이터 센터의 열 인지형(thermal-aware) 용량 계획에는 막대한 비용이 드는 고정밀 CFD 시뮬레이션이 다수 필요합니다. AI 모델은 이전에 보지 못한 설계에 대해서도 실시간 예측을 수행할 수 있습니다. 그러나 기존 연구들은 예측 오차가 크거나 데이터 센터 운영에 대해 지나치게 단순화된 가정을 두고 있습니다. 본 연구에서는 실제 데이터 센터를 대상으로 수 초 만에 열 인지형 용량 계획을 수행할 수 있는 AI 기반 프레임워크를 제시합니다. 내장된 AI 모델은 수많은 주요 파라미터(랙 전력, 서버 전력, 서버 배치, HVAC 설정 등)로부터 학습하며, 수 밀리초 이내에 온도 예측을 제공합니다. 이 AI 모델을 고정밀 CFD 시뮬레이션을 기준으로 검증한 결과, 보지 못한 새로운 데이터 센터 설계에 대해서도 10,000배의 속도 향상과 함께 높은 정확도를 달성할 수 있음을 보여줍니다. 저자들은 이 AI 모델을 바탕으로 열 인지형 용량 계획 프레임워크를 설계했습니다. 이 프레임워크는 데이터 센터 설계자와 운영자가 워크로드 분배와 HVAC 냉각 효율을 즉각적으로 최적화할 수 있도록 지원합니다.
전문가 혼합(MoE) 아키텍처를 통해 프론티어 언어 모델을 수조 개 파라미터 규모로 확장할 수 있게 되었지만, 방대한 메모리 사용량과 메모리 대역폭의 한계로 인해 실제 배포에는 제약이 따릅니다. 최신 가속기는 저정밀도 반구조화 희소성을 통해 가중치 저장 공간을 줄이고 처리량을 높여주는 희소 텐서 코어(SpTC)를 제공하지만, 상당한 모델 품질 저하와 그룹화된 희소 GEMM 프리미티브의 부재로 인해 MoE에 이를 활용하는 것은 여전히 어렵습니다. 본 논문에서는 전문가 가중치를 하드웨어 네이티브 저정밀도 희소 표현으로 압축하고 SpTC에서의 실행을 가속하는 엔드투엔드 하드웨어-소프트웨어 통합 설계 프레임워크를 제안합니다. 알고리즘 측면에서, 본 프레임워크는 연속적 재매개변수화를 통해 이산적인 반구조화 서포트 선택을 완화함으로써 라우터 가중치 재구성 목표 하에서 양자화된 가중치와의 미분 가능한 통합 최적화 및 확장 가능한 전문가 병렬 압축을 가능하게 합니다. 시스템 측면에서는 SpTC 상의 저정밀도 희소 MoE 추론에 맞춘 커스텀 그룹화 희소 GEMM 커널을 개발합니다. 300억 개에서 1조 개 파라미터에 이르는 MoE 모델 전반에 걸쳐, 제안하는 프레임워크는 기존 최고 수준(SOTA)의 통합 희소-양자화 정확도를 최대 4.35%p 향상시키면서 원래 모델 성능의 96.09%를 보존합니다. NVIDIA B200 GPU에서 개발한 커널은 벤더 기준선 대비 최대 1.65배 뛰어난 성능을 보이며 서빙 처리량을 1.18배 증가시키고 엔드투엔드 지연 시간을 최대 4.03배 단축합니다. 이러한 결과는 하드웨어-소프트웨어 통합 설계가 확장 가능하고 효율적인 MoE 배포를 향한 실용적인 경로임을 입증합니다.
유전체 파운데이션 모델은 서열을 보유한 기기에 전문가 가중치가 더 이상 들어가지 않을 정도로 희소 전문가 혼합(MoE) 네트워크로 성장하고 있으나, 대여한 가속기에 비공개 유전체를 전송하는 것은 이를 노출시킵니다. 본 논문에서는 하나의 전문가를 호스팅하는 단일 서버만으로도 입력 뉴클레오타이드를 99.8%의 top-1 정확도로 복원할 수 있음을 보여줍니다. 저자들은 신뢰할 수 있는 씬 클라이언트에 15.1B 매개변수 MoE 유전체 모델의 임베딩, 어텐션, 라우터를 유지하고, 매개변수의 95.8%에 달하는 모든 전문가 프로젝션을 Module-LWE 암호화 하에서 신뢰할 수 없고 공모 가능성이 있는 GPU 서버로 외주화하는 프로토콜인 CipherGenome을 제안합니다. 이 설계는 세 가지 구조적 사실을 활용합니다. 즉, 전문가 층은 두 개의 SwiGLU 게이트 사이에서 선형적이고, 전문가 가중치는 공개되어 있으며, GPU 정수 텐서 코어는 단일 GEMM에서 모듈로 $2^{48}$에 대해 암호문-가중치 곱을 정확하게 평가할 수 있다는 점입니다. 클라이언트가 비선형성을 정확하게 평가하고 새로운 비밀값으로 재암호화하므로, 다항식 근사나 부트스트래핑이 전혀 필요하지 않습니다. 12개 박테리아 유전체의 72개 윈도우에서 암호화는 토큰당 $2.54 \times 10^{-4}$ nats의 KL 발산(95% CI 상한 $3.95 \times 10^{-4}$)만을 추가하여 사전 등록된 비열등성 마진 미만이자 bf16 추론과 구별할 수 없는 수준을 보였으며, 동일한 역전 공격은 무작위 추측 수준으로 떨어집니다. 재사용 가능한 공개 힌트는 종단 간 지연 시간을 3.54배 단축하고, 유선 압축은 트래픽을 6.8배 줄이며, 층별 패딩은 라우팅 유출 정확도를 54.9%에서 8.9%로 낮추고, HE 호환 int4 전문가는 평문 전문가와 동등한 비열등성을 유지합니다. 전문가 및 토큰당 서버 측 비용은 CKKS 기준선보다 6 자릿수 이상 낮습니다.
게놈 파운데이션 모델(foundation model)은 시퀀스(sequence)가 생성되는 곳에서 가장 유용하지만, 가장 큰 모델들은 데이터센터급 가속기와 민감한 DNA 정보를 전송할 장소를 필요로 한다. 본 연구는 150억 개 매개변수(parameter) 규모의 게놈 전문가 혼합(MoE) 모델이 전문가(expert)들을 여러 신뢰할 수 없는(untrusted) 기기들에 분산시킨 채, 예측 결과를 바꾸지 않고도, 그리고 어떤 단일 기기에도 시퀀스를 노출하지 않으면서 자원봉사자들의 웹 브라우저에서 대신 실행될 수 있는지를 묻는다. 우리는 신뢰할 수 있는 코디네이터(coordinator)가 어텐션(attention)과 라우팅(routing)을 수행하고, 브라우저 워커(worker)들이 손수 작성한 WebGPU 커널을 통해 모든 전문가의 순전파 신경망(feed-forward network)을 실행하는 시스템을 구축했으며, 실수값 라그랑주 코딩 계산(real-valued Lagrange coded computing)으로 전문가 입력을 보호한다: 각 워커는 가우시안 패딩(Gaussian-padded) 처리된 공유값(share)만을 받아 전문가의 선형 변환(linear map)을 계산하고, 코디네이터는 세 워커 중 임의의 두 워커로부터 결과를 복호화(decode)한다. GenomeOcean-MoE(전문가 8개, top-2 라우팅, 24개 레이어)에서, 브라우저 경로는 모든 양자화(quantization) 수준에서 네이티브(native) llama.cpp와 일치하며, 분산 경로는 BF16 수치 노이즈 바닥(numerical noise floor) 수준을 유지하고(토큰당 KL 0.0036 나트(nats)), 별도로 피팅하지 않은(unfitted) 지연시간 모델은 에뮬레이션된 광역망(wide-area link) 환경에서 디코드(decode) 시간을 0.74%(중앙값) 오차 내로 예측한다. 우리는 먼저 평문(plaintext) 상태의 전문가 입력이 프라이버시를 보장하지 못함을 보인다: 프로브(probe)는 모든 깊이(depth)에서 단일 벡터로부터 토큰을 복원하며, 한 워커는 순서 없는(unordered) 300개의 토큰으로부터 92%의 정확도로 원본 게놈을 식별할 수 있다. 코딩된(coded) 전문가를 사용하면, 공유값으로 학습된 적응형 공격자(adaptive attacker)의 성능은 최다 빈도 토큰 기준선(most-frequent-token baseline) 수준으로 떨어지고, 각 토큰에 대해 한 워커가 얻는 정보는 순전파(forward pass)당 1비트 미만으로 제한되며, 정확도(fidelity) 손실은 BF16 노이즈 바닥 이하로 유지된다. Chrome에서 코딩된 디코딩은 라우팅 정보가 얼마나 은닉되는지에 따라 토큰당 220~376ms로 실행되며, 워커 하나가 실패해도 복제본(replica) 없이 계속 동작한다.
전문가 혼합(MoE) 언어 모델은 종종 단일 GPU의 메모리를 초과합니다. 전문가 오프로딩은 대부분의 전문가를 호스트 메모리에 유지하고 필요에 따라 로드하므로, 디코딩 속도는 각 토큰이 가져와야 하는 전문가 수에 따라 달라집니다. 캐싱과 프리페칭은 라우팅이 허용하는 범위 내에서만 이러한 비용을 줄여줍니다. 라우터 전용 미세조정은 전문가를 재사용하도록 라우팅을 재구성할 수 있지만, 전문가가 동결된 상태로 유지되므로 새로운 라우팅이 전송하는 토큰에 전문가가 적응할 수 없습니다. 본 연구에서는 교차 엔트로피 손실만으로 라우터와 전문가를 함께 학습시키는 마스크 기반 공적응 미세조정 방법인 MaskCoFT를 제안합니다. 미세조정 중에 학습 가능한 이진 마스크는 각 층의 Top-K 라우팅을 전문가의 하위 집합으로 제한하며, 전문가는 자신에게 재지정된 토큰에 적응합니다. 추론 시 학습된 마스크는 전문가의 순위를 다시 매기는 소프트 사전 확률(soft prior)이 되어 모든 전문가가 여전히 선택 가능한 상태로 유지됩니다. 본 연구는 Mixtral-8x7B에 대해 층당 4개 전문가, DeepSeek-V2-Lite에 대해 12개 전문가의 GPU 캐시를 시뮬레이션합니다. MaskCoFT는 베이스 모델 대비 토큰당 전문가 페치 횟수를 각각 23.7%와 10.1% 줄입니다. 실제 오프로딩 시스템 서빙에서 출력 토큰당 시간을 각각 최대 16.4%와 5.5% 낮춥니다. 9개 벤치마크에 대한 평균 정확도는 베이스 모델보다 각각 0.92포인트와 0.53포인트 높게 유지됩니다.
GPU 커널(kernel) 생성을 위한 대규모 언어 모델(LLM) 기반 에이전트(agent)는 빠르게 발전하고 있지만, 이들이 최적화 대상으로 삼는 벤치마크는 합성 입력과 취약한 베이스라인을 바탕으로 커널을 개별적으로 평가하여 실제 추론(inference) 시스템에서는 깨지거나 사라지는 샌드박스 환경 내 가속에만 보상을 제공합니다. 본 논문에서는 8개 카테고리에 걸친 47개의 대표적인 아키텍처에서 도출된 384개의 태스크로 구성된 벤치마크인 FastKernels를 소개합니다. 이 벤치마크의 커널들은 네이티브 구현과 일치하는 출력을 유지하면서 HuggingFace Transformers 아키텍처의 94.6%(472/499)를 재구현하기에 충분합니다. 각 태스크는 해당하는 프로덕션 모듈의 인터페이스를 반영하며 실제 프로덕션 프레임워크가 제공하는 커널과 비교 평가됩니다. 또한 태스크들은 기본 단위(primitives)부터 전체 모델에 이르기까지 상위 모듈이 하위 모듈을 임포트하는 구성적 계층 구조(compositional hierarchy)를 형성합니다. 후보 커널들은 커널 수준뿐만 아니라 유래된 모델 내부의 실제 프로덕션 실행 경로 상에서 엔드투엔드로 평가되며, MacroEval은 보정된 정확도, 커버리지, 속도 향상을 리더보드로 종합합니다. 5개의 대표적인 에이전트를 대상으로 벤치마크를 수행한 결과(6,900 에이전트-시간), 1.6~6.6배에 달하던 커널 수준의 가속이 엔드투엔드에서는 최대 1.25배로 축소되고, 승리한 커널 세트 중 그대로 정상 실행되는 비율은 20%에 불과하며, 커널 수준의 점수가 에이전트 순위를 잘못 매긴다는 점을 발견했습니다. 구체적으로 Claude Code는 단독 평가 시 모든 수준에서 KDA와 비슷하거나 우수한 성능을 보였으나, 엔드투엔드에서는 KDA가 3배 더 높은 점수를 기록했습니다. 코드는 https://github.com/Snowflake-AI-Research/fastkernels 에서 확인할 수 있습니다.
머신러닝(ML) 모델은 학습(training) 데이터를 기억하고 유출하여 데이터 소유자에게 심각한 개인정보 침해 문제를 야기합니다. 이에 대한 해결책으로 차분 프라이버시(differential privacy, DP)를 적용한 학습 알고리즘이 주목받고 있습니다. 그러나 이러한 알고리즘은 매 학습 반복(iteration)마다 노이즈를 추가하여 정확도를 저하시키므로 실제 환경에서의 도입을 제한합니다. 정확도를 개선하기 위해, 반복 간에 노이즈가 서로 상쇄되도록 정교하게 설계된 상관 노이즈(correlated noises)를 추가하는 새로운 접근 방식군이 등장했습니다. 본 연구에서는 이러한 새로운 메커니즘에 대한 광범위한 특성 분석 연구를 수행하였으며, 모델이 비교적 크거나 하드웨어 용량 대비 대규모 임베딩(embedding) 테이블을 사용할 때 상당한 오버헤드가 발생함을 확인했습니다. 이러한 분석을 바탕으로, 상관 노이즈를 활용한 효율적인 학습을 위한 프레임워크인 Cocoon을 제안합니다. Cocoon은 CPU, GPU 및 메모리 확장 모듈 전반에 걸쳐 방대한 노이즈 히스토리를 저장하고 처리하며, 희소(sparse) 임베딩 테이블을 위한 최적화를 도입하고 상용화를 앞둔 근접 메모리 연산(near-memory processing, NMP) 장치를 활용합니다. FPGA 기반 NMP 장치 프로토타입을 탑재한 실제 시스템에서 Cocoon은 성능을 1.23~10.82배 향상시킵니다.
FlashSinkhorn과 같은 엔트로피 최적 수송(EOT)을 위한 스트리밍 GPU 솔버는 밀집 커널 저장을 방지하지만, 여전히 모든 Sinkhorn 반복(iteration)마다 $n\times m$개의 모든 점 쌍을 평가합니다. 본 논문에서는 두 단계를 결합하여 단일 GPU에서 대규모 이산 EOT 문제를 규정된 한계 잔차까지 해결하는 저차원 포인트 클라우드 상의 제곱 유클리드 비용 솔버인 FlashSinkhorn 2(FS2)를 제시합니다. 대략적인 단계(coarse stage)에서는 셀 중심점에서 문제를 풀고 포텐셜을 모든 점으로 끌어올린(lift) 후, 샘플링된 한계 검사에서 리프트가 거부되면 중심점에서 계속 진행하여 대부분의 점 수준 업데이트를 대체합니다. 그런 다음 블록 희소 미세 단계(block-sparse fine stage)를 통해 대략적인 업데이트로 해결할 수 없는 중심점 오차를 제거합니다. 이 단계의 Morton 순서 블록은 스크리닝과 융합된 텐서 코어 실행을 지원하며, 블록 질량에 의해 설정된 임계값은 생략된 각 타일(tile)이 모든 행과 열에 미치는 기여도를 제한합니다. 합성 벤치마크에서 FS2는 32개 문제 전체에서 목표 잔차에 도달한 반면, GeomLoss 다중 스케일은 10개에서만 도달했습니다. 단일 A100에서 FS2는 우주론적 $N$-바디 시뮬레이션의 두 $1.34\times10^8$ 입자 측도 간 이산 EOT를 평균 입자 간 거리와 동일한 엔트로피 블러에서 2.5시간 이내에 0.01 미만의 전체 입자 한계 잔차로 해결합니다. 우리가 아는 한, 이는 몇 시간 내에 이 정도의 정확도로 해결된 가장 큰 이산 EOT 문제입니다. 재현성을 위해 오픈소스 구현체를 https://github.com/ot-triton-lab/flash-sinkhorn 에 공개합니다.
대규모 병렬 GPU 시뮬레이터는 수천 개의 환경에서 다중 로봇 정책을 학습(training)시키며, 많은 로봇 함대는 각 로봇의 지연 시간이 동료 로봇들의 트래픽에 따라 달라지는 프라이빗 5G(Fifth-Generation) 네트워크를 사용합니다. Network-in-the-loop 학습은 이 루프 내에 시뮬레이션된 5G 네트워크를 배치합니다. 그러나 기존 GPU 로봇 시뮬레이터는 네트워크를 메시지당 독립적인 지연 시간으로 단순화하는 반면, 패킷 수준 시뮬레이터는 CPU 프로세스당 하나의 시나리오만 실행하므로 수천 개의 병렬 환경 속도를 따라가지 못합니다. 이러한 격차를 해소하기 위해, 본 논문에서는 Isaac Lab 물리 엔진과 보조를 맞추어 수천 개 환경의 업링크를 동시에 진행하는 GPU 배치 기반 5G NR(New Radio) 모듈인 Isaac-Net을 제시합니다. Isaac-Net은 기지국이 어떤 로봇이 전송할지 결정하는 0.5 ms 주기인 모든 슬롯을 모든 환경에 대해 한 번에 시뮬레이션합니다. 광범위한 실험을 통해 Isaac-Net의 NR 엔진이 다양한 부하 조건에서 ns-3 5G-LENA의 중간값(median) 지연 시간을 재현함을 확인하였으며, 미확인 반송파에서는 중간값 지연 시간이 5~10% 낮고 폐루프 환경당 32대의 로봇 조건에서는 9% 높은 수준을 보였습니다. 또한 해당 엔진은 각 로봇의 가장 최근 전달된 보고의 경과 시간인 정보 수명(AoI, Age of Information)을 재현하는 반면, 메시지당 독립적 지연 시간을 적용할 경우 AoI 꼬리(tail) 분포가 약 3배 과소평가됩니다. 5G-LENA를 기준으로 검증된 구성에서 Isaac-Net은 무작위 정책 하에 측정했을 때 네트워크가 없는 Isaac Lab 속도의 83% 수준으로, 단일 GPU에서 약 100만 대의 로봇에 대해 네트워크를 루프 내에 유지합니다. Isaac-Net은 https://github.com/ZzZTripleZzZ/isaac-net 에서 오픈 소스로 제공됩니다.
다중 카메라 스트리밍 인지(streaming perception)는 함께 상주하는 워크로드와 공유되는 이기종 엣지 플랫폼에 점차 많이 배포되고 있으나, 가속기 배치는 격리된 단일 스트림 실험과 평균 스트리밍 평균 정밀도(sAP)를 사용하여 평가되는 경우가 많습니다. 단일 GPU-NPU 플랫폼에서 두 개의 엔드투엔드 파이프라인을 사용하여, 본 연구는 격리된 평가가 실제 배포 시점의 배치 순위를 잘못 매길 수 있음을 보여줍니다. 단독 환경에서는 GPU 파이프라인이 선호되지만, GPU에 국한된 자원 경합(contention)으로 인해 마감 시간 초과(deadline miss)가 발생하여 검출 결과가 진부화(stale)되고, GPU가 완전히 포화되기 전에도 선호되는 배치가 뒤바뀔 수 있습니다. NPU 파이프라인은 단독 환경에서 소형 및 중형 객체에 대해 GPU 파이프라인보다 정확도가 낮지만, 대형 객체에서는 거의 대등한 성능을 보입니다. 지연 시간 및 경합 실험에서 가장 큰 절대적 sAP 손실은 대형 객체에서 발생합니다. 4개 스트림 실험에서 선호되는 배치는 어느 경로가 진부화되는지에 따라 달라지며, GPU 측 경합이 증가함에 따라 최적의 배치는 All-GPU에서 All-NPU로 전환됩니다. GPU를 포화시키는 비전-언어(vision-language) 공동 상주 워크로드 환경에서 All-NPU는 All-GPU 대비 최악 스트림 sAP의 $5.2\times$를 달성합니다. 평균 sAP는 특정 단일 스트림의 심각한 성능 저하를 감출 수 있으므로, 평가는 평균 sAP와 함께 경합 스윕(contention sweep), 양쪽 경로의 마감 시간 초과 비율, 그리고 최악 스트림 sAP를 보고해야 합니다.