운영 환경의 대규모 언어 모델(LLM)은 긴 문맥을 추론할 때 희소 어텐션을 점점 더 많이 사용한다. 그러나 서빙 시스템은 여전히 전체 KV 이력을 보존해야 하므로 GPU의 고대역폭 메모리(HBM) 용량이 동시 처리량을 제한하는 주요 요인이다. 기존 시스템은 KV 캐시를 호스트 메모리로 오프로딩하지만 PCIe 대역폭과 호스트 메모리 용량의 한계를 받는다. X-Mem과 같은 스케일업 메모리 풀은 두 제약을 완화해 희소 어텐션을 오프로딩할 새로운 방법을 가능하게 한다. 분석 결과 스케일업 메모리 풀을 써도 디코딩 처리량은 HBM 용량의 제약을 받았다. 자주 쓰이는 KV 버퍼와 HBM에 상주하는 인덱서 키(K-index) 캐시가 HBM을 많이 차지하기 때문이다. 두 캐시의 접근 패턴도 달랐다. 이를 바탕으로 스케일업 메모리 확장을 사용하는 최초의 희소 어텐션 오프로딩 시스템 XM-Sparse를 제시한다. 두 캐시를 적극적으로 오프로딩하되 각각의 접근 패턴에 맞는 입출력 기제를 적용한다. 동적으로 고른 KV 항목은 TMA 기반 가져오기와 어텐션을 타일 단위 파이프라인으로 결합해 요청 시 가져오기의 지연 시간을 숨긴다. 접근을 예측할 수 있는 K-index의 페이지는 스트리밍 멀티프로세서(SM)를 효율적으로 사용하는 GPU 주도 DMA로 미리 가져온다. 지연 시간에 민감한 연산과 프리페치를 조율해 디코딩에 영향을 주지 않도록 한다. SGLang 위에 구현했으며, 스케일업 메모리 풀을 에뮬레이션한 환경에서 DeepSeek-V3.2와 GLM-5.3으로 실험했다. 1만 6천~100만 토큰 문맥에서 XM-Sparse의 디코딩 처리량은 PCIe 기반 ECHO 대비 최대 4.98$\times$, HiSparse 대비 최대 4.52$\times$였고, 같은 플랫폼에서 단순히 메모리 풀을 연결한 방식 대비 최대 1.34$\times$였다.
모델 규모 확대는 대규모 언어 모델(LLM)의 성공을 이끌었다. 희소 전문가 혼합(MoE) 아키텍처를 사용하면 계산량을 비례해서 늘리지 않고도 매개변수 용량을 키울 수 있다. 대규모 MoE 모델은 전문가 병렬화로 여러 기기에 전문가를 분산한다. 추론 중 각 MoE 층에는 동기식 집합 통신이 두 번 필요하다. 은닉 상태를 활성화된 전문가에게 분배하고, 각 전문가의 출력을 합친다. 연산 처리량이 연결망 대역폭보다 빠르게 늘면서 동기식 집합 통신은 MoE의 확장과 효율을 제한하는 주요 병목이 됐다. 기존 MoE 모델에 적용할 수 있는 경량 아키텍처 변경 EchoMoE를 제안한다. 처음부터 전체를 사전학습할 때의 약 8,500분의 1에 해당하는 학습 토큰을 사용한다. 트랜스포머 블록이 잔차 스트림을 조금씩 갱신한다는 점에 착안해 이전 층의 은닉 상태를 기준으로 둔다. 각 은닉 상태 전체를 전달하는 대신 현재 상태와 기준의 차이만 압축해 통신한다. EchoMoE는 기준 상태를 주기적으로 갱신하며 동기 경로에서는 압축한 차이만 보낸다. 추가 연산을 거의 발생시키지 않으면서 지연에 민감한 경로의 트래픽을 줄인다. 노드 간 통신량은 58% 줄고 처리량은 22.6% 높아졌다. 벤치마크 18개의 평균 성능 차이는 3.8%포인트 이내였다. 대역폭이 제한된 이더넷에서는 추론 처리량을 최대 2.38배 높여 광역 분산 추론의 가능성을 보였다. 통신할 표현을 양자화해도 측정 가능한 품질 손실은 없었다. 사전학습 MoE 모델에 EchoMoE를 효율적으로 적용하는 구현과 vLLM 추론 통합을 공개한다.
현대 센싱 시스템은 여러 센서 모달리티로부터 대량의 이질적인 데이터 스트림을 생성하며, 이에 따라 연산, 인공지능/초지능(AI/SI) 추론, AI/SI 학습을 위한 데이터센터 의존도가 높아지고 있다. 각 센서 스트림은 유형과 데이터량에 따라 네트워크 및 연산 요구 사항이 다를 수 있다. 그러나 현재의 무선 시스템은 일반적으로 장치 수준에서 자원을 할당하므로, 같은 위치의 센서 스트림 간에 경합이 발생하고 대용량 데이터 전송이 지연에 민감한 텔레메트리를 고갈시킬 수 있다. 이를 위해 본 논문은 센서 슬라이싱(SL)을 소개한다. SL은 개방형 무선 접속망(O-RAN)에서 단일 사용자 장비(UE) 내의 개별 센서에 대해 결정론적인 매체 접근 제어(MAC) 수준의 격리를 제공한다. 에이전트 코딩 기법을 사용하여 SL을 O-RAN 규격을 준수하는 두 패키지로 구현하였으며, 개발 시간을 400배 단축하고(2시간 40분 [OCUDU] 대 6.5주 [OAI]), 사람의 프롬프트를 228분의 1로 줄이고(4회 대 913회), 토큰을 절반 미만으로 줄였다(0.64B 대 1.43B). 엣지, 캠퍼스, 원격 고성능 컴퓨팅(HPC) 계층 전반에 걸쳐 센서별 무선 및 네트워크 격리를 구현하기 위해 연관된 엔드투엔드 프레임워크인 SLED를 구현하였다. 무선 전송(over-the-air) 실험은 기존 네트워크 슬라이싱이 높은 트래픽 부하에서 임계 지연을 2,300배 넘게 증가시키는 반면 SLED는 안정적인 지연을 유지함을 보여 준다. 두 RAN 스택에 대한 확장성 평가에서는 센서 슬라이스 수가 증가해도 처리량이 기대 할당량의 0.9% 및 1.4% 이내로 유지된다. 이 결과는 SLED가 센서-HPC 파이프라인 전반에서 자원을 효과적으로 활용하면서도 지연에 민감한 텔레메트리를 보존함을 보여 준다. SLED 소프트웨어와 평가 데이터셋은 https://github.com/UNL-CPN-Lab/SLED-Sensor-SLicing-from-Edge-to-Datacenter 에서 공개되어 있다.
AI의 변곡점은 디지털 플랫폼에 위험의 원천이 되고 있다. 글로벌 플랫폼을 통제하는 주체들이 알고리즘, 구성원, 콘텐츠에 대한 통제권을 AI에 넘기고 있기 때문이다. 그 위험은 (i) 인류 다수가 사용하는 글로벌 플랫폼에 대한 AI의 통제, (ii) 익명으로 활동하며 인간으로 가장할 수 있고 알려지지 않은 주인을 위해 알려지지 않은 목표를 수행하는 책임 없는 AI 에이전트, (iii) 사람이 진짜 콘텐츠와 구별할 수 없으며 익명의 AI가 생성한 출처 불명의 딥페이크이다. 본 논문은 이러한 AI 위험을 풀뿌리 계약으로 다스릴 것을 제안한다. 풀뿌리 계약은 200년 전 피에르조제프 프루동의 개념을 디지털로 구현한 것으로, 어떤 사람들의 집단이든 자유롭게 채택할 수 있는 사회 계약이며, 동일한 계약에 묶인 집단들은 상호 합의에 따라 연합하여 하나의 글로벌 연합이 될 수도 있다. 풀뿌리 계약은 참여자가 소유, 운영, 통치하는 개인 간 플랫폼인 풀뿌리 플랫폼으로 구현된다. 우리는 AI를 활용하여 풀뿌리 계약을 작동하는 스마트폰 앱으로 컴파일하는 방법론을 개발했다. 책임성 있는 AI 에이전트를 갖춘 소셜 그래프와 디지털 출처를 갖춘 소셜 네트워크를 위한 풀뿌리 계약과 이 둘을 구현한 작동하는 스마트폰 앱을 제시하고, 이것이 위험을 어떻게 다스리는지 보인다. (i) 풀뿌리 플랫폼은 통제권을 AI에 넘길 수 있는 제3자가 통제하지 않는다. (ii) AI 에이전트는 책임성을 갖추어 도입되며, 자동차와 마찬가지로 제조업체는 제조 결함에 대해, 운영자는 무모한 운영에 대해 책임을 진다. (iii) 모든 항목에는 작성자와 이를 전달한 모든 에이전트의 서명이 담기므로, 유해 콘텐츠의 작성자와 전달자는 책임과 유죄성을 진다. 풀뿌리 앱이 기존 글로벌 플랫폼과 경쟁력을 갖추려면 아직 많은 작업이 남아 있으나, 이제는 헤아릴 수 없이 많은 인년이 아니라 몇 AI-개월 만에 달성할 수 있을지도 모른다.
GPU 공간 공유는 연산 집약적인 프리필과 메모리 집약적인 디코드처럼 상호보완적인 요구를 갖는 인스턴스를 같은 GPU에 배치하여 비용 효율적인 다중 LLM 서빙을 가능하게 할 것으로 기대된다. 기존 시스템은 연산 자원을 분할하고 공유 메모리 용량을 조율하지만, 이질적인 LLM의 동시 배치된 인스턴스 간 대역폭 경합은 모델링하지 않는다. 이러한 경합 때문에 각 인스턴스의 자체 자원 할당이 변하지 않더라도 그 지연 시간은 함께 실행되는 인스턴스의 메모리 접근 패턴에 좌우된다. 광범위한 측정을 바탕으로, 대역폭 경합이 지연 시간에 미치는 영향은 경합 구간과 비경합 구간을 갖는 시분할 메모리 접근 모델로 포착할 수 있으며, 따라서 전체 지연 시간은 각 구간의 지연 시간 추정치의 시간 가중 평균으로 해석적으로 추정할 수 있음을 확인하였다. 본 논문은 메모리 자원을 관리하고 각 모델의 프리필 및 디코드 단계를 별도 인스턴스로 스케줄링하며 이들의 동시 배치를 배치 결정으로 다루는 경합 인지 다중 LLM 서빙 시스템 JigSLO를 제안한다. 경합 인지 예측기는 단독 프로파일만으로 임의의 동시 배치에서의 인스턴스별 지연 시간을 추정한다. 이러한 예측에 기반하여 배치 알고리즘은 각 인스턴스의 텐서 병렬화, 연산 비율, 배치 구성을 함께 선택하고, 상호보완적인 메모리 접근 패턴을 짝지어 각 모델의 지연 시간 목표 내에서 처리량을 최대화한다. JigSLO의 공유 자원 관리자는 가중치 공유, KV 캐시 풀링, 프리필 인스턴스와 디코드 인스턴스 간 KV 캐시 전송을 통해 용량 측면에서 이를 보완한다. 채팅, 코드 생성, 장문맥 요약을 아우르는 세 데이터셋에서 JigSLO는 최신 기준 시스템보다 SLO 달성률에서 평균 $2.3\times$, 처리량에서 평균 $1.2\times$ 우수하며, 장문맥 워크로드에서는 절반의 GPU로 이들의 최고 달성률에 필적한다.
대규모 언어 모델의 지속적인 확장에 따라 단일 데이터센터 건물 내에서 훈련을 진행하는 것이 점점 더 어려워지고 있으며, Meta와 같은 대규모 인프라 운영 기관들은 여러 데이터센터 건물에 걸쳐 수백만 개의 GPU를 배포하는 "scale-across" 훈련 패러다임으로 전환하고 있습니다. 이러한 지리적으로 분산된 훈련 환경은 낮은 대역폭 과다 구독과 높은 네트워크 지연이라는 근본적인 도전 과제를 야기하며, 모델 아키텍처, 하드웨어 이질성, 그리고 진화하는 통신 패턴을 모두 고려해야 하는 복잡한 설계 공간을 형성합니다. 본 논문은 이러한 scale-across 훈련 환경에서 최적의 설정을 찾기 위해 병렬화 배치, 병렬화 스케줄링, 그리고 네트워크 레이어 기술이라는 세 가지 핵심 설계 차원을 심층적으로 분석합니다. 특히 데이터 병렬화와 파이프라인 병렬화 중 어느 것을 외부 계층으로 배치할지의 선택, 혼합 전문가 모델에 대응하는 다양한 병렬화 스케줄링 기법들, 그리고 ECMP 대 패킷 스프레이와 같은 네트워크 라우팅 프로토콜의 영향을 정량적으로 평가합니다. 이 세 차원의 상호작용을 종합적으로 고려하여, 본 논문은 ScaleAcross Explorer라는 새로운 최적화 도구를 제안합니다. 이 도구는 모델 명세와 네트워크 토폴로지를 입력으로 받아 반복 시간을 최소화하는 훈련 설정을 자동으로 탐색하며, 설계 차원 간의 복잡한 트레이드오프를 정량적으로 분석하여 기존 수작업 최적화의 한계를 극복합니다. Meta의 프로덕션 경험과 광학 시스템을 갖춘 구성 가능한 테스트베드를 통해 실증한 결과, ScaleAcross Explorer는 프로덕션 설정 대비 최대 64.62%, 최첨단 기준선 대비 최대 37.59%의 훈련 속도 향상을 달성하였습니다. 본 논문의 기여는 대규모 분산 훈련의 설계 공간을 체계적으로 특성화하고 여러 설계 차원의 상호작용을 고려하는 통합 최적화 프레임워크를 제시함으로써, 향후 규모별로 증가하는 모델 개발 비용을 획기적으로 절감하고 훈련 생산성을 대폭 향상시킬 수 있는 실질적인 방향을 제공합니다.
대규모 언어 모델이 연구 환경을 벗어나 실제 프로덕션 환경으로 배포되면서, 엄격한 서비스 수준 목표에 부합하는 성능 평가의 정확성이 매우 중요한 문제가 되었습니다. 그러나 현재 LLM 벤치마킹 생태계에서 널리 사용되는 평가 도구들이 높은 동시성 상황에서 심각한 측정 편향을 야기하고 있다는 점은 충분히 인식되지 못하고 있습니다. 기존의 벤치마킹 유틸리티들은 대부분 단일 프로세스 Python 스크립트에 의존하며 비동기 이벤트 루프를 활용하는데, 이러한 아키텍처는 프로덕션 규모의 높은 요청 처리율에서 Python의 전역 인터프리터 락에 의해 근본적으로 제한되어 클라이언트 측 큐잉 병목을 초래합니다. 본 논문은 벤치마킹 클라이언트를 수학적으로 M/G/1 큐로 모델링함으로써 이벤트 루프의 이용률이 포화에 가까워질수록 클라이언트 측 대기 시간이 무한대로 수렴하게 되며, 이것이 첫 토큰까지의 시간과 출력 토큰당 시간 같은 지연 메트릭을 인위적으로 부풀리는 메커니즘을 엄밀하게 증명합니다. 문제 해결을 위해 논문은 부하를 여러 격리된 프로세스에 분산시키는 편향되지 않은 다중 프로세스 평가 프레임워크를 제안하며, 이를 통해 초당 5,000개 이상의 쿼리 규모에서도 무시할 수 있는 수준의 클라이언트 측 오버헤드를 유지할 수 있음을 입증합니다. 더하여 논문은 정규화된 출력 토큰당 시간이라는 새로운 합성 메트릭을 정의하여, 요청 큐 시간, 입력 처리 단계, 디코드 단계를 포함한 엔드투엔드 지연 시간을 출력 토큰 수에 대해 정규화함으로써 서로 다른 시퀀스 길이와 모델 간 공정한 성능 비교를 가능하게 합니다. 경험적 검증에서 기존 단일 프로세스 도구는 초당 1,000개 쿼리 수준에서 146~443개 쿼리에만 도달하는 속도 실패를 보인 반면, 제안된 다중 프로세스 방식은 전체 부하를 성공적으로 처리했으며, 지연 시간 측정에서도 58초에 달하는 인위적 지연을 완전히 제거하여 0.63밀리초 수준의 정확한 측정을 달성했습니다. 나아가 논문은 범용 HTTP 부하 테스트 도구들과의 비교를 통해 Go 기반 프레임워크는 5,000 쿼리를 처리할 수 있으나 Python 기반 도구들은 모두 1,000~2,000 쿼리에서 포화되는 현상을 확인함으로써 GIL이 주요 병목임을 명확히 입증합니다. 이 연구는 Python의 풍부한 생태계와 토크나이저 라이브러리를 활용하면서도 다중 프로세스 아키텍처를 통해 프로덕션 규모의 평가를 신뢰할 수 있게 수행할 수 있음을 보여주며, 향후 인프라 최적화 결정이 수학적으로 견고하고 재현 가능한 측정 데이터에 기반할 수 있도록 하는 중요한 방법론적 기초를 제시합니다.
대규모 언어 모델(Large Language Model, LLM) 학습이 사전학습(pre-training)보다 사후학습(post-training)과 맞춤형 적응으로 무게 중심을 옮기면서, 실제 병목은 연산 능력보다 메모리 용량과 데이터 이동 비용으로 더욱 분명하게 드러나고 있다. MegaTrain은 이러한 문제를 정면으로 다루기 위해, GPU를 모델 상태의 상주 공간으로 보는 기존 관점을 버리고 호스트 메모리(host memory, CPU memory)를 중심에 두는 메모리 중심(memory-centric) 학습 체계를 제안한다. 이 체계에서 파라미터와 옵티마이저 상태(optimizer states)는 CPU 메모리에 저장되고, GPU는 필요한 순간에만 계산을 수행하는 일시적 연산 엔진으로 동작한다. 학습은 레이어 단위로 진행되어 각 레이어의 파라미터를 GPU로 스트리밍한 뒤 전방향 계산과 역방향 계산을 수행하고, 그래디언트는 다시 호스트 메모리로 돌려보내는 방식으로 구성된다. 이러한 설계는 GPU 메모리에 영구적으로 남아야 하는 상태를 최소화하여, 초대형 모델에서도 디바이스 메모리 사용량을 사실상 단일 레이어 수준으로 제한한다. 또한 중간 활성값(intermediate activations)은 GPU 버퍼에 유지하되 블록 단위 재계산(block-wise recomputation)을 활용해 누적 부담을 줄임으로써, 긴 시퀀스와 큰 배치에서도 안정적인 학습을 가능하게 한다.
이 접근의 핵심은 CPU-GPU 대역폭 병목을 단순한 전송 문제로 보지 않고, 연산과 이동을 정교하게 겹치는 스케줄링 문제로 재해석한 데 있다. 이를 위해 MegaTrain은 파이프라인화된 더블 버퍼(pipelined double-buffered) 실행 엔진을 도입하여 파라미터 선탐색(prefetching), GPU 계산, 그래디언트 오프로딩(offloading)을 여러 CUDA 스트림(stream)에서 중첩시키고, 그 결과 GPU가 대기하지 않고 연속적으로 동작하도록 만든다. 여기에 더해 정적 상태를 전제로 하는 기존 자동미분(autograd) 그래프 대신 무상태 레이어 템플릿(stateless layer templates)을 사용하여, 가중치를 동적으로 바인딩하면서도 거대한 그래프 메타데이터를 유지할 필요를 없앴다. 이 설계는 메모리 절약 효과를 넘어, 레이어별 실행 순서를 유연하게 조정할 수 있게 하여 대형 모델 학습의 시스템적 복잡성을 크게 낮춘다. 실험적으로 MegaTrain은 1.5TB 호스트 메모리를 갖춘 단일 H200 GPU에서 최대 120B 파라미터 규모의 모델을 안정적으로 학습했으며, 14B 모델 학습에서는 DeepSpeed ZeRO-3의 CPU 오프로딩 대비 1.84배의 처리량을 달성했다. 더 나아가 GH200 환경에서는 7B 모델에 대해 512k 토큰 컨텍스트 학습까지 지원하여, 장문 문맥과 초대형 파라미터를 동시에 다루는 차세대 학습 시나리오에 대한 실용성을 입증했다. 결국 이 연구는 대규모 언어 모델 학습의 한계를 GPU 연산 성능이 아니라 메모리 계층의 활용 방식으로 재정의하며, 단일 GPU 환경에서도 100B+ 규모 학습을 가능하게 하는 새로운 시스템적 해법을 제시한다.
대규모 그래프 데이터를 학습하는 그래프 신경망(Graph Neural Network, GNN)은 추천 시스템, 부정행위 탐지, 과학적 발견과 같은 다양한 응용에서 중요한 역할을 해 왔지만, 그래프 규모가 극단적으로 커질수록 단일 장치에서의 학습만으로는 한계가 분명해집니다. 이를 해결하기 위해 미니배치(mini-batch) 학습과 분산 학습이 널리 사용되지만, 기존의 분산 미니배치 방식은 샘플링 비용이 크고 데이터 병렬성만으로는 충분한 확장성을 얻기 어렵다는 문제가 있었습니다. 특히 이웃 샘플링과 원격 피처 접근 과정에서 발생하는 통신 비용은 학습 파이프라인의 병목으로 작용하며, GPU 수를 늘려도 전체 학습 시간이 기대만큼 줄지 않는 경우가 많았습니다. 이러한 배경에서 제안된 ScaleGNN은 통신 없는 분산 샘플링, 3차원 병렬 행렬 곱셈(Parallel Matrix Multiplication, PMM), 그리고 데이터 병렬성을 결합한 4차원(4D) 병렬 프레임워크로서 대규모 GNN 학습의 구조를 다시 설계합니다. 핵심 아이디어는 균일 정점 샘플링(uniform vertex sampling)을 통해 각 프로세스가 다른 프로세스와의 통신 없이 로컬 미니배치, 즉 서브그래프 분할을 직접 구성하도록 만드는 데 있으며, 이를 통해 샘플링 단계 자체를 분산 통신의 부담에서 분리합니다.
이 접근은 단순히 샘플링을 빠르게 만드는 수준을 넘어, 샘플링과 학습을 파이프라인 형태로 겹쳐 실행함으로써 학습의 중요한 경로에서 샘플링 비용을 사실상 숨긴다는 점에서 의미가 큽니다. 더 나아가 3차원 병렬 행렬 곱셈(Parallel Matrix Multiplication, PMM)을 활용해 미니배치 GNN 학습을 기존의 순수 데이터 병렬 방식보다 훨씬 많은 GPU 환경으로 확장할 수 있도록 하였고, 그 과정에서 통신 오버헤드를 체계적으로 낮추었습니다. 여기에 저정밀도 통신, 커널 융합(kernel fusion), 통신과 계산의 중첩 같은 시스템 최적화를 추가하여, 단일 알고리즘의 개선을 넘어 엔드투엔드(end-to-end) 학습 성능을 끌어올리는 방향으로 설계를 완성했습니다. 이러한 설계는 GNN 학습의 병목이 단순한 연산량보다 샘플링과 통신 구조에 있다는 점을 명확히 보여 주며, 대규모 시스템에서의 효율적인 확장을 가능하게 합니다.
실험적으로 ScaleGNN은 다섯 개 그래프 데이터셋에서 강한 스케일링(strong scaling)을 입증했으며, Perlmutter에서 2048 GPU, Frontier에서 2048 GCD(Graphics Core Die), Tuolumne에서 1024 GPU까지 확장되는 성능을 보였습니다. 특히 Perlmutter 환경의 ogbn-products 데이터셋에서는 기존 최고 수준(state-of-the-art, SOTA) 기준선 대비 3.5배의 엔드투엔드 학습 속도 향상을 달성하여, 제안한 방법론이 실제 대규모 환경에서도 효과적임을 보여 주었습니다. 또한 통신 없는 샘플링 알고리즘은 정확도 측면에서도 경쟁력을 보여, 대규모 학습의 효율성과 예측 성능을 함께 확보할 수 있음을 시사합니다. 종합하면, 이 연구는 대규모 그래프 학습에서 오랫동안 남아 있던 샘플링과 통신의 병목을 구조적으로 해결하고, 차세대 초대형 그래프 신경망 학습을 위한 확장 가능한 병렬화 전략을 제시했다는 점에서 중요한 의의를 갖습니다.
다중 턴의 에이전틱 대규모 언어 모델(LLM) 추론 성능은 점점 더 계산보다는 KV-캐시 저장소 I/O에 의해 지배받고 있다. 현재의 비분산 아키텍처에서는 외부 저장소에서 방대한 KV-캐시를 로드하는 과정에서 저장소 NIC가 대역폭에 포화되는 반면, 디코딩 엔진의 NIC는 유휴 상태로 남아 있어 시스템 전반의 처리량에 심각한 제약을 초래한다. 이 문제를 해결하기 위해 제안된 DualPath는 이중 경로 KV-캐시 로딩을 도입하여 병목 현상을 극복한다. 기존의 저장소-프리필 경로에 더해, DualPath는 디코딩 엔진에 KV-캐시를 로드한 후, 컴퓨트 네트워크를 통해 프리필 엔진으로 효율적으로 전송하는 새로운 저장소-디코드 경로를 가능하게 한다. DualPath는 네트워크 혼잡을 피하고 지연이 중요한 모델 실행 통신과의 간섭을 방지하는 최적화된 데이터 경로와 함께, 프리필 및 디코드 엔진 간의 부하를 동적으로 균형 있게 조정하는 글로벌 스케줄러를 결합한다. 세 가지 모델을 사용한 평가 결과, DualPath는 자체 추론 시스템에서 오프라인 추론 처리량을 최대 1.87배 향상시키고, SLO를 위반하지 않으면서 온라인 서비스 처리량을 평균 1.96배 개선할 수 있음을 보여준다.
트랜스포머 모델에서의 셀프 어텐션은 현재 인공지능(AI) 분야에서 핵심적인 역할을 하고 있지만, 문맥 길이에 따라 메모리와 계산 비용이 급증하는 문제를 안고 있다. 이러한 문제를 해결하기 위해 제안된 새로운 접근법은 셀프 어텐션을 토큰당 일정한 비용으로 임의의 정밀도로 효율적으로 계산할 수 있는 방법을 제시한다. 저자들은 기존의 테일러 전개를 대칭적인 텐서 곱의 체인으로 분해하여 새로운 수식을 도출하고, 이를 통해 쿼리와 키를 최소 다항식 커널 특징 기저로 매핑하는 피드포워드 변환을 가능하게 한다.
이 방법론의 가장 큰 혁신은 비용이 헤드 크기에 반비례하여 고정된다는 점이다. 이를 통해 더 많은 헤드를 토큰당 적용할 수 있어, 대규모 트랜스포머 모델의 인프라와 에너지 요구를 크게 줄일 수 있다. 저자들은 제안한 수식을 구현하고 그 정확성을 실험적으로 검증하였으며, 이를 통해 메모리 사용량과 실행 시간을 수량적으로 줄일 수 있음을 입증하였다.
본 연구는 셀프 어텐션의 효율성을 극대화할 수 있는 가능성을 보여주며, AI 모델의 지속 가능성을 높이는 데 기여할 수 있는 중요한 발견으로 평가된다. 이 연구에서 도입된 수학적 기법은 독립적인 관심을 받을 만하며, 향후 연구에서 이 방법론이 어떻게 활용될 수 있을지에 대한 방향을 제시한다. 이러한 접근은 AI 서비스의 글로벌 채택이 증가하는 현시점에서 매우 중요한 의미를 지닌다.
TritorX는 새로운 머신러닝 가속기 플랫폼을 위해 기능적으로 올바른 Triton PyTorch ATen 커널을 대규모로 생성하는 에이전틱 인공지능 시스템이다. 이 시스템은 오픈 소스 대규모 언어 모델과 사용자 정의 린터, JIT(Just-In-Time) 컴파일, 그리고 PyTorch OpInfo 기반의 테스트 하니스를 통합하여 설계되었다. TritorX의 주요 혁신점은 기존의 커널 생성 접근 방식이 성능 최적화에 집중했던 반면, 커버리지를 우선시하여 다양한 데이터 유형과 구조를 지원하는 데 있다. 이를 통해 TritorX는 전체 연산자 집합에 대한 정확성과 일반성을 보장하며, 481개의 고유한 ATen 연산자에 대한 커널과 래퍼를 성공적으로 생성하였다.
TritorX의 파이프라인은 실제 Meta Training and Inference Accelerator (MTIA) 실리콘과 차세대 장치의 하드웨어 시뮬레이션 환경 모두와 호환된다. 이 시스템은 PyTorch OpInfo 테스트를 통해 20,000개 이상의 테스트를 수행하며, 생성된 커널의 정확성을 검증하였다. 이러한 실험 결과는 TritorX가 새로운 가속기 플랫폼을 위한 완전한 PyTorch ATen 백엔드를 생성할 수 있는 가능성을 제시한다.
TritorX는 머신러닝 ASIC을 위한 커널 생성의 새로운 패러다임을 제시하며, 다양한 연산자에 대한 지원을 통해 머신러닝 가속기의 발전에 기여할 것으로 기대된다. 향후 연구에서는 TritorX의 성능을 더욱 향상시키고, 다양한 가속기 플랫폼에 대한 지원을 확대할 계획이다. 이 연구는 머신러닝 커널 생성 분야에서의 중요한 기초 자료로 작용할 것이다.
PHOTON(Parallel Hierarchical Operation for Top-down Networks)은 트랜스포머(Transformer) 모델의 한계를 극복하기 위해 제안된 계층적 자기회귀 모델로, 긴 시퀀스 처리에서 발생하는 메모리 및 시간 지연 문제를 해결하는 데 중점을 두고 있다. 기존 트랜스포머 모델은 각 생성 단계에서 증가하는 토큰 수준의 상태에 접근하여 프리필(latency) 지연을 초래하고, 긴 컨텍스트를 디코딩할 때 메모리 제약이 심화되는 문제가 있었다. PHOTON은 이러한 문제를 해결하기 위해 수직적이고 다중 해상도의 컨텍스트 접근 방식을 도입하였다.
PHOTON의 구조는 하향식 인코더와 상향식 디코더로 구성되어 있으며, 인코더는 입력된 토큰 시퀀스를 저속도 컨텍스트 상태로 압축하고, 디코더는 이를 바탕으로 세밀한 토큰 표현을 재구성한다. 이러한 계층적 접근 방식은 각 수준의 상태가 이전 수준의 상태를 그룹화하고 요약하여 처리함으로써 메모리 사용을 최적화하고 처리 속도를 향상시킨다. 실험 결과, PHOTON은 긴 컨텍스트와 다중 쿼리 작업에서 기존의 트랜스포머 모델보다 우수한 성능을 보였으며, 메모리 단위당 최대 $10^{3}\times$ 높은 처리량을 제공하였다. 이는 디코드 시간의 KV 캐시 트래픽을 줄이는 데 기여하여, 효율적인 언어 생성이 가능하게 한다.
PHOTON의 혁신적인 접근 방식은 자연어 처리 분야에서의 새로운 가능성을 열어주며, 긴 컨텍스트 처리의 효율성을 크게 향상시킨다. 이 모델은 메모리 효율성과 처리 속도를 동시에 개선하여 다양한 자연어 처리 작업에서의 활용 가능성을 높이며, 향후 연구 방향에 대한 기초를 마련한다. PHOTON은 기존 연구들과 비교할 때, 트랜스포머 아키텍처의 한계를 극복하는 데 중요한 기여를 하며, 자연어 생성의 효율성을 증대시키는 데 중요한 역할을 할 것으로 기대된다.
ZAYA1-base 모델의 성능은 고성능 컴퓨팅 클러스터의 처리량과 이를 지원하는 소프트웨어 스택에 크게 의존한다. 본 연구에서는 AMD MI300X GPU와 Pollara 네트워킹을 활용하여 대규모 혼합 전문가(Mixture-of-Experts, MoE) 모델의 사전학습을 위한 엔드 투 엔드 시스템을 구축하고, 이를 통해 발생하는 다양한 운영적 도전 과제를 문서화하였다. 특히, 시스템 측면에서는 모든 핵심 집합 통신 작업에 대한 마이크로 벤치마크를 제공하고, MI300X의 메모리 대역폭과 커널 크기 조정에 대한 실용적인 지침을 제시하였다.
모델 설계 측면에서는 MI300X에 최적화된 트랜스포머 크기 조정 규칙을 도입하고, 훈련 처리량과 추론 지연을 동시에 최적화하는 MoE 폭을 정당화하였다. ZAYA1 모델은 CCA(Compressed Convolutional Attention), ZAYA1 라우터, 잔여 스케일링과 같은 혁신적인 아키텍처 요소를 포함하여, 기존 MoE 아키텍처에 비해 성능을 크게 향상시켰다. 훈련 과정에서는 Muon 옵티마이저를 사용하여 효율적인 그래디언트 업데이트를 수행하고, 데이터 병렬성만으로 훈련을 진행하여 복잡한 병렬화 전략 없이도 높은 성능을 달성하였다.
이 연구는 AMD 하드웨어와 소프트웨어 스택이 대규모 사전학습에 충분히 성숙하고 최적화되어 있음을 보여주며, ZAYA1-base 모델은 Qwen3-4B 및 Llama3-8B와 같은 기존 모델들과 비교해도 경쟁력 있는 성능을 나타낸다. 이러한 결과는 향후 AMD 기반의 대규모 언어 모델 개발에 있어 중요한 기초 자료가 될 것이다.
대규모 언어 모델(LLMs)의 발전은 최근 몇 년간 인공지능 분야에서 큰 주목을 받아왔으며, 스케일링을 통해 상당한 성과를 이루어냈다. 그러나 이러한 성과는 다섯 가지 근본적인 한계에 의해 제약을 받는다. 본 연구는 이러한 한계를 이론적으로 분석하고, LLM 스케일링의 고유한 이론적 한계를 형식화하는 통합된 프레임워크를 제시한다. 연구의 주요 초점은 계산 가능성과 비계산 가능성, 정보 이론적 제약, 기하학적 및 계산적 효과를 통해 LLM의 성능 한계를 규명하는 것이다.
계산 가능성과 비계산 가능성의 관점에서, 모든 계산 가능하게 열거 가능한 모델 가족에 대해 대각화는 특정 입력에서 모델이 실패해야 함을 보장한다. 이는 LLM이 특정한 문제에 대해 무한한 실패 집합을 가질 수 있음을 의미한다. 또한, 정보 이론적 제약은 결정 가능한 작업에서도 정확도의 한계를 설정하며, 유한한 설명 길이는 압축 오류를 유발한다. 이러한 이론적 배경은 LLM의 성능을 이해하는 데 필수적이다.
기하학적 및 계산적 효과는 긴 맥락을 압축하는 데 기여하며, 이는 모델의 성능 저하로 이어질 수 있다. 연구에서는 LLM이 패턴 완성을 선호하는 경향과 검색 과정에서 발생하는 의미적 드리프트 및 결합 노이즈 문제를 다룬다. 멀티모달 모델의 경우, 다양한 모달리티 간의 얕은 정렬 문제도 심각한 도전 과제가 된다.
이 논문은 이러한 한계를 극복하기 위한 여러 가지 해결책을 제안한다. 제한된 오라클 검색 및 위치적 커리큘럼과 같은 방법론은 LLM의 성능을 향상시키는 데 기여할 수 있으며, 희소 또는 계층적 어텐션 기법을 통해 모델의 한계를 극복할 가능성을 탐구한다. 각 섹션에서는 이론적 근거와 실험적 증거를 결합하여 스케일링의 효과와 한계를 명확히 하고, 향후 연구 방향을 제시한다.
결론적으로, LLM의 스케일링 한계를 이해하는 것은 멀티모달 모델의 설계 및 훈련에서 발생할 수 있는 여러 문제를 해결하는 데 중요한 기초를 제공한다. 본 연구는 신뢰성, 해석 가능성, 확장성 문제를 해결하기 위한 아키텍처적 및 방법론적 혁신의 필요성을 강조하며, 신경-상징적 기초와 실제 세계의 체화된 데이터와 같은 유망한 방향을 제시한다.
분산 행렬 곱셈은 과학, 데이터 분석 및 인공지능(AI) 작업에서 필수적인 연산으로, 효율적인 알고리즘 개발이 요구된다. 기존의 알고리즘들은 1D, 2D, 1.5D 및 2.5D와 같은 다양한 분할 방식에 적합하지만, 특정 분할 방식에만 제한되어 있어 모든 가능한 조합을 지원하기 위해서는 여러 구현이 필요하다. 이러한 제한은 피연산자의 재분배를 초래하고, 이는 통신 비용을 증가시키는 문제를 야기한다. 본 논문에서는 모든 조합의 분할 방식과 복제 계수를 지원하는 보편적인 단일 측면 알고리즘을 제안한다. 이 알고리즘은 슬라이싱(인덱스 산술)을 활용하여 곱셈이 필요한 겹치는 타일 집합을 계산하고, 생성된 로컬 행렬 곱셈 목록을 직접 실행하거나 최적화된 중간 표현(Intermediate Representation, IR)으로 낮추어 계산과 통신의 겹침을 극대화한다.
제안된 알고리즘은 고급 C++ 기반의 PGAS(Partitioned Global Address Space) 프로그래밍 프레임워크를 통해 구현되며, GPU 간의 직접 통신을 지원한다. 다양한 분할 방식과 복제 계수에 대한 성능 평가 결과, 제안된 알고리즘은 PyTorch DTensor와 경쟁할 수 있는 성능을 보였다. 특히, 알고리즘은 행렬 A, B, C의 모든 조합에 대한 분할 방식과 복제 계수를 지원하여 조합적으로 큰 매개변수 집합을 테스트할 수 있다. 실험 결과, 알고리즘은 직접 실행 방식과 최적화된 IR로 낮추는 방식 모두에서 효율성을 입증하였으며, 특히 비동기성을 허용한 최적화가 성능 향상에 기여하였다.
이 연구는 분산 행렬 곱셈의 효율성을 높이고, 다양한 AI 모델에 대한 적용 가능성을 확장하는 데 중요한 기여를 한다. 향후 연구에서는 이 알고리즘을 생산 SPMD(Single Program Multiple Data) 시스템에 통합하여 지원되는 분포의 수를 더욱 확장할 계획이다.
대규모 언어 모델(LLM) 훈련에서 파이프라인 병렬성(PP)은 여러 장치에 걸쳐 모델을 효율적으로 확장하는 데 필수적인 기술로 자리 잡고 있습니다. 그러나 기존의 메모리 최적화 기법들은 여전히 경험적이고 비효율적인 접근 방식을 취하고 있어, 메모리 소비를 줄이기 위한 활성화 오프로드 방법이 정적 규칙에 의존하거나 지나치게 공격적인 경향이 있습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 파이프라인 스케줄링 문제를 제약 최적화 문제로 재정의하고, 메모리 용량, 활성화 재사용, 그리고 파이프라인 버블 최소화를 동시에 고려하는 새로운 방법론인 **OptPipe**를 제안합니다.
OptPipe는 기존의 오프로드 기법과는 달리, 모델 구조와 하드웨어 구성에 따라 동적으로 메모리와 시간 간의 거래를 최적화합니다. 이를 통해, 파이프라인 버블을 줄이면서도 엄격한 메모리 예산을 준수하는 미세한 스케줄을 생성할 수 있습니다. 본 연구의 핵심 기여는 이러한 최적화 접근 방식을 통해 처리량과 메모리 활용도를 일관되게 개선할 수 있다는 점입니다. 실험 결과에 따르면, OptPipe는 동일한 장치당 메모리 한도에서 유휴 파이프라인 시간을 최대 50%까지 줄일 수 있으며, 제한된 메모리 예산 내에서 더 큰 모델의 훈련을 가능하게 합니다.
이 연구는 대규모 언어 모델 훈련의 효율성을 높이는 데 기여할 수 있는 중요한 기초 자료를 제공하며, 향후 연구의 방향성을 제시합니다. OptPipe의 제안된 방법론은 메모리와 스케줄링 간의 미세한 균형을 고려하여, 기존의 한계를 극복하는 혁신적인 접근 방식으로 평가받을 수 있습니다. 이러한 기여는 LLM 훈련의 최적화를 위한 새로운 기준을 설정할 것으로 기대됩니다.
Large language model (LLM) 추론에서 중요한 병목인 일반 행렬-벡터 곱셈(GeMV)의 성능 향상을 위해, 기존의 아날로그 인-DRAM 연산 기법인 Processing-Using-DRAM(PUD)의 한계를 극복하는 시스템이 제안됩니다. MVDRAM은 수정되지 않은 표준 DRAM을 활용하여, 데이터 공유 패턴과 수학적 선형성을 이용해 입력 재배열과 출력 비트 전환 비용을 제거함으로써, 저비트(4비트 이하) LLM의 GeMV 연산을 가속화합니다. 실험 결과, MVDRAM은 DDR4 DRAM 모듈에서 최대 7.29배의 속도 향상과 30.5배의 에너지 효율 개선을 달성하며, 전체 LLM 추론에서도 2.18배의 처리량 향상과 에너지 효율 향상을 보여줍니다. 이러한 성과는 표준 DRAM을 활용한 LLM 가속화 가능성을 보여주며, AI 하드웨어 분야에 새로운 전환점을 제시할 수 있습니다.
4비트 마이크로스케일링 형식인 MXFP4를 사용한 학습은 비결정적이다. 같은 입력을 사용해도 병렬화 구성이나 GPU 공급업체에 따라 결과가 달라질 수 있다. 이러한 차이는 디버깅과 학습 감사를 어렵게 하고 학습 엔진과 추론 엔진의 결과가 서로 달라지게 할 수 있다. 본 연구는 실행, 병렬화 구성, GPU 공급업체가 달라도 MXFP4 학습 결과가 비트 단위로 동일하도록 하는 CertiSum을 제안한다. 핵심 관찰은 MXFP4 곱을 기본 FP32 연산으로 누적할 때 합산 순서와 관계없이 이미 정확한 경우가 많다는 점이다. CertiSum은 양자화 도중 통계를 수집해 기본 행렬 곱셈 결과의 정확성을 판정하고, 정확성이 입증되지 않은 출력은 정확하게 다시 계산한다. 정확성이 입증되는 경우가 드문 곳에서는 처음부터 정확한 커널을 사용한다. 병렬화 구성이 달라도 양자화 블록을 그대로 유지하고, 어텐션과 가중치 그래디언트 계산을 포함해 부분합을 반올림 없이 합친다. Qwen3-8B-Base로 200단계 학습을 진행한 실험에서 CertiSum은 AMD MI350X와 NVIDIA GB200 사이에서, 그리고 MI350X의 데이터·텐서·컨텍스트 병렬화 구성을 바꿨을 때도 학습 상태를 비트 단위로 동일하게 유지했다. MI350X에서 FineWeb-Edu를 사용해 매개변수 80억~140억 개 규모의 모델 3개를 평가했다. 평가한 입력 가운데 크기가 큰 경우, 정확한 합산을 보장하지 않는 MXFP4 구현에 비해 학습 단계 지연 시간이 11.8~60.5% 늘었다. 처리 속도는 BF16보다 최대 $1.24\times$, 결정적 BF16보다 최대 $1.70\times$ 빨랐다.
연합 학습은 여러 엣지 기기인 클라이언트에 분산된 데이터의 개인정보를 보호하면서 공동으로 모델을 학습할 수 있게 한다. 그러나 실제 환경에서 클라이언트는 엄격한 자원 제약 아래 변화하는 환경의 연속 데이터 스트림을 관측한다. 기존 방법에는 두 가지 큰 문제가 남아 있다. 국소 개념 드리프트는 각 클라이언트의 데이터 분포가 시간에 따라 바뀌는 현상이다. 전역 클라이언트 드리프트는 서로 다른 학습 참여자가 비동기적으로 참여하고 기여가 불균형할 때 생긴다. 논문은 이 두 측면을 이중 클라이언트 이질성으로 정식화한다. 본 연구는 서버가 지도하는 데이터 획득과 로컬 학습 파이프라인으로 두 가지 드리프트를 완화하는 연합 최적화 및 데이터 마이닝 프레임워크 STORMGUIDE-FL을 제안한다. 데이터 획득 단계에서 클라이언트의 가벼운 샘플링 전략은 한정된 메모리, 연산, 레이블링 예산 안에서 비정상적이며 독립 동일분포를 따르지 않는 로컬 스트림에서 정보량이 많고 다양한 사례를 점진적으로 고른다. 로컬 학습에서는 서버의 원격 지도를 갱신 단위 보정으로 로컬 최적화에 직접 포함한다. 제한된 레이블 표본을 버리지 않고도 클라이언트 드리프트를 줄인다. 점진적, 급격한, 반복적인 개념 드리프트가 나타나는 연합 데이터 스트림에서 제안한 샘플링 전략의 효과를 실험으로 확인했다. 샘플링과 갱신 단위 드리프트 보정을 함께 적용하면 개선 효과가 더 컸다. 자원이 제한되고 클라이언트가 이질적인 조건에서도 전역 모델이 더 빠르고 안정적으로 수렴했다.