튀르키예어를 지원하는 대부분의 대규모 언어 모델(LLM)은 길고 구조적으로 복잡한 도메인 문서보다는 범용 벤치마크를 사용하여 평가된다. 본 논문은 자원이 제한된 로컬 배포 환경에서 튀르키예어 문서 질의응답을 위한 5개의 오픈 가중치(open-weight) 7B-8B 모델을 평가한다. 기본 벤치마크는 109페이지 분량의 산업 R&D 보고서에서 도출된 체계적으로 검증된 100개의 질문을 포함하며, 112페이지 분량의 두 번째 공공 부문 보고서와 독립적으로 구축된 100개 질문 세트를 사용하여 평가 프로토콜을 재현한다. 모든 모델은 통제된 프롬프트, 디코딩 및 4비트 양자화(quantization)를 사용하여 6GB VRAM을 갖춘 NVIDIA RTX 3050 노트북 GPU에서 로컬로 평가된다. 주요 방법론적 기여는 추가적인 모델 호출 없이 검색 실패와 다운스트림 모델 추론 실패를 분리하는 근거 주석 기반 평가 프로토콜이다. 기본 벤치마크에서 엔드투엔드 정확도는 49%에서 75%에 이른다. 7개의 어휘적(lexical), 밀집(dense) 및 하이브리드 검색 구성을 95% Wilson 신뢰구간과 정확 쌍체 McNemar 검정을 사용하여 추가로 비교하였으나, 두 문서 모두에서 문자 단위 TF-IDF 기준선(baseline)을 유의미하게 능가하는 구성은 없었다. 근거 재현율(recall)은 두 보고서에 걸쳐 상이하게 포화되어, 검색 및 유효 컨텍스트 용량이 일부 문서에는 구속적 제약(binding constraint)이 될 수 있지만 다른 문서에는 그렇지 않을 수 있음을 보여준다. 이러한 결과는 튀르키예어 도메인 문서를 위해 오픈 가중치 LLM을 배포할 때 모델 선택, 검색 동작, 하드웨어 한계를 개별적으로 평가해야 함을 입증한다.
체현형 강화학습(RL)은 환경 시뮬레이션, 행동 생성, 모델 업데이트로 이루어진 파이프라인을 통해 모델 역량을 향상시킨다. 이러한 단계들은 서로 다른 CPU·GPU 수요를 보여 효율적인 자원 활용을 어렵게 한다. 최근 시스템은 효율을 위해 롤아웃(시뮬레이션 및 생성)과 학습을 겹치지만, 롤아웃에서 GPU를 독점 할당하고 동기화 배리어를 두는 방식은 여전히 하드웨어 자원 낭비가 크다. 본 논문에서는 두 가지 핵심 기법을 갖춘 비동기 체현형 RL 학습 시스템 EBRL을 제안한다. 비동기 파이프라인 스케줄러는 롤아웃과 학습을 겹치고, 환경 그룹 간에 시뮬레이션과 생성을 파이프라인으로 연결하며, 각 환경을 독립적으로 실행해 동기화로 인한 정체를 없앤다. 세분화된 자원 관리자는 CPU 코어와 GPU 스트리밍 멀티프로세서(SM)를 풀로 묶고, 단계별 프로파일과 런타임 피드백으로 단계 간 변하는 수요에 맞춰 자원 할당량과 배치 크기를 조정한다. EBRL을 RLinf 위에 구현하고, 이질적 GPU 테스트베드에서 체현형 정책 네 종과 시뮬레이션 벤치마크 네 종으로 평가했다. 실험 결과 EBRL은 SOTA 체현형 RL 시스템 대비 end-to-end 롤아웃 처리량 1.30–3.47배, 학습 수렴 속도 2.5배를 달성했다.
서빙 용량 수요가 학습을 넘어서면서 서빙 효율이 점점 더 중요해진다. Prefill-decode(P/D) 분리는 두 단계의 특화와 격리를 통해 서빙 효율을 높인다. 이러한 이점은 정적 분할에 기반하지만, 단계별 수요는 정적이지 않다. 대규모 LLM 플릿에서 캐시되지 않은 입력 대 출력 토큰 비율은 분 단위 시간 척도에서 피크 대 평균 비가 최대 4.7배에 이르는 것을 관찰했고, 공개 에이전트 트레이스에서는 시간당 비율이 하루 안에서 중앙값 24.5배 범위에 걸치는 반면, 레플리카 재할당에는 수십 분이 걸린다. 에이전트 트래픽은 이러한 불일치를 더욱 심화시킨다. 각 풀을 95백분위수로 크기를 잡으면 클러스터 용량의 최대 17%가 미사용으로 남고, 그보다 작게 잡으면 동일한 불균형이 대기와 실현되지 못한 처리량으로 전환된다. 노드 역할을 바꾸지 않고 이 경계를 탄력적으로 만드는 Crossflow를 제안한다. 각 디코드 노드는 로컬 prefill 연산, KV 용량, 전송 작업, 예상 출력을 한정하는 단기·철회 가능한 lease를 공개한다. 공개 및 내부 트레이스에서 Crossflow는 정적 P/D 대비 기하평균 토큰 처리량을 16.2–17.4% 향상시키고, 고부하에서는 최대 43.4%까지 개선하며, 평가한 모든 지점에서 평균 TTFT를 줄인다.
다중 GPU 서버는 고대역폭 상호 연결을 통해 집계된 용량을 제공하며, 현대 데이터 센터의 표준 구성 요소가 되었다. 동시에 LLM 추론과 같은 워크로드는 매우 동적인 메모리 수요를 보이며, 이로 인해 한 GPU는 로컬 메모리를 고갈하는 반면 다른 GPU는 여전히 저활용 상태로 남을 수 있다. 이러한 불일치는 GPU 간 탄력적 리소스 공유 모델의 필요성을 이끈다. 우리는 EMA를 제안한다. EMA는 서버 내 GPU가 서로로부터 메모리를 빌리고 회수할 수 있게 하여 탄력적인 용량 풀을 형성하는 메모리 공유 시스템이다. EMA는 차용자와 대여자 모두에 대해 성능 투명성을 보장한다. 차용자의 경우, 프리페치(prefetching)가 원격 접근 비용을 숨겨 애플리케이션이 원격 메모리와 로컬 메모리를 성능상 구별할 수 없게 한다. 대여자의 경우, 빌려준 리소스는 요청 시 회수 가능하며, 성능이 정적 분할(static partitioning)보다 낮아지지 않음을 보장한다. 우리 설계는 메모리에 초점을 맞추지만, 동일한 원칙은 다른 GPU 리소스로 자연스럽게 확장된다. 평가 결과 EMA는 개별 사용자 처리량(throughput)을 최대 52% 개선하고, 2배 용량으로 프로비저닝된 시스템 처리량의 96%를 달성하며, 정적 로컬 기준선과 유사한 지연(latency)을 유지한다.
대용량 통합 메모리를 갖춘 Apple Silicon 머신은 데스크톱 GPU에서 대형 텐서(tensor)를 유지할 수 있게 해줍니다. 그러나 본 연구에서는 PyTorch의 MPS(Metal Performance Shaders) 백엔드가 $2^{32}$개 이상의 원소를 갖는 배치(batch) 행렬 곱(matrix multiplication)에 대해 조용히(silently) 잘못된 결과를 반환한다는 사실을 발견했습니다. 래퍼(wrapper)인 matmul 및 eager 어텐션(attention)을 포함한 torch bmm은 테스트된 모든 PyTorch 릴리스(2.4.1~2.14.0)에서 예외나 경고 없이 1을 초과하는 상대 오차를 반환합니다. 본 연구는 $2^{31}$ 및 $2^{32}$개 원소 부근의 다양한 데이터 타입(dtype), 메모리 레이아웃, 형상(shape), 배치 크기에 걸쳐 bmm을 스윕(sweep)하고, CPU 상의 float64 연산을 기준으로 모든 결과를 판정했습니다. 2.14.0의 모든 결과는 세 가지 규칙으로 설명됩니다. 출력이 $2^{32}$개 원소를 초과하고 피연산자가 전치된 뷰(transposed view)인 경우, 전체 출력이 잘못되며 해당 피연산자의 스트라이드(stride)를 무시한 연산과 동일해집니다. 그렇지 않은 경우, 최소 $2^{31}$개 원소를 가진 뷰는 예외를 발생시키고, $2^{32}$개를 초과하는 연속형(contiguous) 입력은 정확히 그 지점을 넘어선 배치들을 잘못되게 만들어 $2^{32}$에서 인덱스가 래핑(wrap)되는 연산과 동일한 결과를 냅니다. 따라서 문제가 약간만 더 커져도 명시적 에러가 조용한 실패로 바뀔 수 있습니다. 이 규칙은 역전파(backward pass)에도 적용되어, 올바른 순전파(forward pass)에서도 조용히 잘못된 기울기(gradient)가 반환될 수 있습니다. 다른 칩을 탑재하고 두 가지 macOS 버전을 실행하는 두 번째 머신에서도 잘못된 값을 포함한 6156개의 결과가 모두 재현되었으며, NVIDIA A100에서의 동일한 스윕은 2530회 실행 모두에서 정확했습니다. 공개 감정 분류기에서 크기가 초과된 한 배치는 출력의 3분의 1을 손상시켜 결과가 단일 클래스로 붕괴되게 만듭니다. 모든 발견은 백엔드의 클로즈드 소스 커널에 접근하지 않고 관찰 가능한 동작으로부터 도출되었습니다. 본 연구에서는 테스트 하네스, 원시 결과, 그리고 $2^{32}$개 이상의 원소를 다루는 모든 MPS 연산을 중단하는 가드(guard)를 jniimi/mps-silent-failures(https://github.com/jniimi/mps-silent-failures)에 공개합니다.
파이프라인 병렬화(PP)는 대규모 언어 모델(LLM)의 층(layer)을 여러 GPU에 분할하여 대규모 모델의 확장 가능한 추론(inference)을 가능하게 하는 데 널리 사용됩니다. 그러나 기존 시스템은 서버리스 플랫폼 및 이종 GPU 환경과 같은 동적 설정에 적응하지 못하는 정적 PP 구성에 의존합니다. 서비스를 중단하고 재배포하여 PP를 재구성하는 방식은 감당하기 어려운 다운타임을 유발하므로, 재구성은 추론을 중단하지 않고 라이브 상태에서 제자리(in-place) 방식으로 진행되어야 합니다. 하지만 라이브 제자리 PP 재구성은 근본적인 어려움이 따릅니다. GPU는 이미 모델 가중치와 KV 캐시로 포화 상태여서 새로운 층 배치 공간이 거의 없으며, 처리량을 위해 사전 할당을 수행하는 vLLM과 같은 시스템과는 상충되게 KV 캐시 크기 조정(resizing)이 필요합니다. 또한 실행 중에 KV 일관성을 유지하는 것은 까다롭습니다. 스톱 앤 카피(stop-and-copy) 방식은 긴 일시 중지를 초래하며, 백그라운드 동기화는 상태가 변화함에 따라 불일치를 유발할 위험이 있습니다. 본 논문에서는 중단을 최소화하면서 라이브 제자리 PP 재구성을 가능하게 하는 PipeLive를 제안합니다. PipeLive는 재설계된 KV 캐시 레이아웃과 PageAttention에 대한 공동 설계 확장을 도입하여 라이브 KV 크기 조정을 위한 통합 메커니즘을 구성합니다. 나아가 라이브 가상 머신 마이그레이션에서 영감을 얻은 점진적 KV 패칭(patching) 메커니즘을 채택하여 소스 구성과 타깃 구성 간의 KV 상태를 동기화하고 안전한 전환 시점을 식별합니다. PipeLive는 KV 크기 조정을 비활성화한 경우와 비교해 KV 캐시 오버플로 없이 최초 토큰 생성 시간(TTFT)을 2.5배 단축합니다. 또한 KV 패칭이 없는 변형과 비교하여 재구성 오버헤드를 수 초에서 10ms 미만으로 줄이고, TTFT와 출력 토큰당 생성 시간(TPOT)을 각각 최대 54.7% 및 14.7% 향상시킵니다.
xlog는 타입 프론트엔드와 제공자 소유(provider-owned) CUDA 런타임을 통해 신경망 지각을 결정론적 데이탈로그(Datalog), 확률적 추론, 인식론적 세계관과 통합하는 CUDA 네이티브 논리 프로그래밍 엔진입니다. 추론 모드들은 디바이스 데이터 평면을 공유하지만 실행 경계는 서로 다릅니다. 일반 데이탈로그와 정확 추론(exact inference)은 호스트가 오케스트레이션하는 반면, 인증된 상주 재귀(certified resident recursive) 및 몬테카를로 샘플링 코어는 유계 종단 수신(bounded terminal receipt) 전까지 추적 대상 호스트-디바이스 전송을 0회 기록합니다. 확률적 경로는 프로버넌스(provenance)부터 CNF, Decision-DNNF에 이르는 GPU 지식 컴파일, 정확 가중치 모델 카운팅(exact weighted model counting), 역방향 그래디언트를 통해 엔드투엔드 그래디언트를 지원합니다. 최종 평활화된 회로는 캐싱 또는 평가 전에 소스 포뮬러에 대해 검증(certified)됩니다. 회로 캐싱을 통해 MNIST 덧셈 학습에서 2.74배의 속도 향상을 얻었으며, 최악 조건 최적 조인(worst-case-optimal join) 서브시스템은 xlog의 이항 조인 기준선 대비 27.96배의 기하 평균 이득을 보입니다. MNIST 덧셈 정확도는 Scallop과 대등하지만(0.9561 대 0.9468), 기준선 에포크 시간이 CPU 할당량에 따라 달라지므로 에포크당 속도 주장은 하지 않습니다. 5개의 허브 편향 삼각형 카운팅 사례에서 Souffle 대비 융합 xlog의 실행 시간 비율은 Souffle이 더 빠른 15만 개 엣지에서의 0.88배에서 120만 개에서의 5.54배로 증가하며, 융합 피크 디바이스 할당량은 구체화(materializing) 암의 3,287~44,979MB에 비해 85~1,033MB입니다. 정확 추론은 ProbLog2와 정확도 측면에서 동등하지만 더 느립니다. 공개 비디오 벤치마크에서는 기호적 크레딧(symbolic credit)으로만 학습된 근접 술어가 동일한 홀드아웃 정확도를 유지하면서 수작업으로 설정된 기하 구조를 대체하지만, Event-Calculus 규칙 탐색 내에서는 10겹 교차 검증에 실패하며 누출 없는(leak-free) 분할에서는 전이되지 않습니다. 해양 코퍼스에서 가중치 부여 절(weighted clauses)은 크리스프(crisp) 선택 대비 F1 점수에서 0.065 앞섰으며, 이 결과는 단일 시계열 학습 패스로 재현되었습니다.
확산 대규모 언어 모델(dLLM)은 비자기회귀(non-autoregressive) 텍스트 생성을 가능하게 함으로써 자기회귀 LLM의 유망한 대안으로 최근 부상했습니다. 그러나 효과적인 Key-Value(KV) 캐싱 및 확장 가능한 병렬 디코딩 메커니즘의 부재로 인해 비효율적인 추론(inference)이 발생하여 실제 배포에는 여전히 한계가 있습니다. 기존 가속 방법들은 대개 KV 캐싱과 병렬 디코딩을 개별적으로 연구하여, 캐시 재사용과 병렬 토큰(token) 검증을 결합하여 적용할 때 발생하는 I/O 병목 현상을 간과합니다. 본 연구에서는 빠르고 메모리 효율적인 dLLM을 위한 학습(training) 불필요 추론 가속 프레임워크인 $\textbf{Flash-dLLM}$을 소개합니다. Flash-dLLM은 먼저 GPU 메모리 I/O가 KV 캐시 기반 dLLM 추론에서 주된 병목임을 확인하고, 중복 메모리 이동을 줄이는 I/O 인식 융합 KV 캐시 커널(kernel)을 통해 이를 해결합니다. 이러한 최적화된 캐시 메커니즘을 기반으로, Flash-dLLM은 dLLM 자체가 보조 모델(model) 없이 초안 작성기(drafter)이자 검증기(verifier) 역할을 하는 효율적인 KV 캐시 기반 초안 작성 및 검증(draft-and-verify) 디코딩 전략을 추가로 제안합니다. 이 통합 설계는 생성 품질을 유지하면서 더 빠른 디코딩을 가능하게 하고, 더 긴 시퀀스와 더 큰 배치(batch) 크기에 대한 확장성을 개선합니다. 수학적 추론 및 코드 생성 벤치마크에 대한 광범위한 실험을 통해 Flash-dLLM이 추론 속도와 메모리 효율성 모두에서 기존 최고 수준의 dLLM 가속 방법들을 일관되게 능가함을 입증합니다. 특히 이전의 가장 강력한 기준선(baseline)인 Elastic-Cache 대비 GSM8K 및 HumanEval에서 각각 $5.1\times$ 및 $11.0\times$의 속도 향상을 달성합니다.
본 연구에서는 대여한 GPU 비용 164달러로 팀 없이 혼자, PyTorch와 Python을 학습 경로에 전혀 사용하지 않고 Rust 환경에서 순수하게 언어 모델(LM)을 엔드투엔드(end-to-end)로 사전학습(pre-training)했습니다. 이는 추천이 아닌 성과로서 보고하는 것이며, 본 논문의 더 유용한 기여는 2026년 기준 학습(추론이 아님) 백엔드로서 대표적인 두 Rust ML 프레임워크인 Candle과 Burn의 실측된 실패 분류 체계(failure taxonomy)를 제시한다는 점입니다. 저자는 그래디언트를 조용히 생성하지 않는 융합 커널(fused kernel)을 포함한 5건의 Candle 결함과, 이론적 GPU 처리량의 약 3% 수준에 불과한 역전파(backward pass) 및 수십억 개 매개변수 규모에서 학습 중간에 세그멘테이션 오류(segfault)를 일으키는 커널 융합 경로를 포함한 3건의 Burn 결함을 상세히 기술합니다. 모든 결함은 일반적인 손실 곡선 검사를 통과했으며, 어떤 결함도 스스로 드러나지 않았습니다. 저자는 이러한 6가지 은밀한 오류를 잡아낸 검증 규율을 설명하며, 이는 어떤 프레임워크에도 일반화할 수 있는 '그래디언트 흐름 중재자(gradient-flow arbiter)'—한 번의 순전파/역전파를 실행하고 학습 가능한 모든 매개변수가 유한하고 0이 아닌 그래디언트를 받는지 단언(assert)하는 테스트—를 중심으로 합니다. 학습된 모델(약 0.4B 매개변수, 벵골어 중심)은 무작위 초기화된 동일 모델의 12.60 대비 토큰당 음의 로그 가능도(NLL) 0.93을 기록하며 강력한 벵골어 언어 모델링 신호를 보여주었으며, 영어 상식 객관식 평가에서는 우연 수준의 점수를 기록했는데, 이는 의도적으로 작게 설정된 벵골어 위주의 예산(약 20억 토큰, 54.6시간, 대여한 H100 1장)에서 예상된 결과입니다. 또한 저자는 벵골 문자 체계에서의 토크나이저 다산성 함정(fertility trap)을 보고합니다. 단순 바이트 수준 토큰화는 벵골어를 토큰당 약 1.4자로 축소시켜 영어의 3.9자에 비해 코퍼스의 언어 균형을 은밀히 역전시켰으며, 이를 수정한 후에는 약 4.1자에 도달했습니다. 저자가 아는 한, 이는 순수 Rust 환경에서 문서화된 최초의 엔드투엔드 언어 모델 사전학습 사례 중 하나입니다. 이번 실행 이후 저자는 학습을 PyTorch로 옮기고 온디바이스 서빙에만 Rust를 유지했습니다. 저자의 경험에 비추어 볼 때, Rust는 언어 모델을 서빙하기에는 좋은 환경일 수 있으나 언어 모델을 학습하기에는 아직 경쟁력 있는 환경이 아닙니다.
의료 멀티모달 대규모 언어 모델(MLLM)은 기존 의료 시각 질의응답(MedVQA) 벤치마크에서 좋은 성능을 낼 수 있지만, 학습 데이터가 임상 진단과 맞지 않는 경우가 많다. 대부분의 지도는 고립된 이미지나 짧은 QA 쌍을 중심으로 구성되어, 두 가지 구조가 약하게 규정된다: 증거가 어떻게 결정으로 이어지는지, 그리고 동일 사례의 뷰, 시리즈, 모달리티, 환자 맥락이 어떻게 연결되는지. 본 논문은 증거 연계 다중 뷰 의료 영상 진단을 위한 부분적으로 의사 검증된 멀티모달 instruction 데이터셋인 MultiViewDx를 제안한다. MultiViewDx는 임상 사례를 지도 단위로 사용한다. 영상 검사와 환자 맥락을 연결하고, 이질적인 보고서를 증거 연계 워크플로(증거 -> 소견 -> 감별 논의 -> 진단)로 정규화하며, 통합 이미지-텍스트 리트리버로 instruction 합성을 출처가 뒷받침하는 증거에 한정한다. X-ray, CT, MRI, 초음파, 조직병리학 및 기타 임상 시각 소스를 포함한다. MultiViewDx-8B-AN을 파인튜닝하고 기존 MedVQA 벤치마크와 실제 사례 기반 진단 추론 모두에서 평가한다. 4개 MedVQA 벤치마크에서 비교 시스템 중 최고 평균 정확도(79.0%)를 달성하며, HuatuoGPT-Vision-34B(66.7%)와 Claude3-Opus(55.7%)를 능가한다. MedVQA를 넘어 JAMA Clinical Challenge 사례에서, 핵심 임상 요점, 진단 추론, 증거 그라운딩에 대한 의사 설계 루브릭 하에서 최고의 종합 평가를 받는다. 통제된 ablation과 임상의 평가는 사례 수준 다중 뷰 구성과 증거 연계 추론 목표가 모두 성능 향상에 기여함을 보여준다.
언어 모델(language model) 사전학습(pre-training)은 상당한 계산 비용으로 인해 여전히 많은 연구자들에게 어려운 과제입니다. 이에 따라 보다 경제적인 사전학습 방법을 개발하는 것에 대한 관심이 커지고 있습니다. 이 분야에서 주목할 만한 발전 중 하나는 단 하루 만에 단 1대의 GPU만을 사용하여 BERT 스타일 언어 모델의 사전학습을 가능하게 한 Cramming 기법(Geiping and Goldstein, 2022)입니다. 이러한 혁신적인 접근법을 기반으로, 본 논문에서는 의존 관계 일치(dependency agreement)에 대한 정보를 사전학습 과정에 통합하는 효율적인 프레임워크인 DA-Cramming(Dependency Agreement Cramming)을 소개합니다. 파인튜닝(fine-tuning) 과정에서 유사한 의미 정보를 활용하는 기존 방법들과 달리, 우리의 접근 방식은 사전학습 동안 의미 정보를 활용하여 기초적인 언어 이해력을 향상시키는 데 집중한 선구적인 시도입니다. 우리는 청크(chunk) 수준에서 대표적인 의존 관계 일치를 포착하기 위해 4개의 전용 서브모델로 구성된 2단계 사전학습 워크플로우를 세심하게 설계하였으며, 이러한 일치 관계를 임베딩(embedding)으로 효과적으로 변환하여 사전학습에 도움을 주도록 했습니다. 광범위한 실험 결과는 우리의 방법이 다양한 태스크에 걸쳐 이전 방법들보다 뛰어난 성능을 보임을 입증합니다.
대규모 언어 모델(LLM)의 그리디 디코딩(greedy decoding)은 일반적으로 결정론적인 것으로 간주된다. 본 연구에서는 이것이 정밀도(precision) 불변이 아님을 보인다. 동일한 모델, 프롬프트, 디코딩 알고리즘이라도 동일한 하드웨어에서 BF16과 FP16 간에 서로 다른 출력을 생성한다. 6개 모델(1.1B~7B 매개변수, 4개 제품군; 12B에서도 발산 특성을 추가로 규명함)과 3개 벤치마크에 걸친 평가에서, 49~100%의 프롬프트가 발산하며 단일 토큰 뒤집힘(token flip)이 궤적 수준의 발산으로 이어지는 경우가 많았다. 우리는 실증적 오차 전파 분석을 개발하여 22개 레이어에 걸쳐 누적된 바디 오차가 뒤집힘 단계와 비뒤집힘 단계를 구별 짓지 못한다는 것을 발견했다. 즉, 결과는 상위 2개 후보 간의 방향성 섭동(directional perturbation) 대비 LM 헤드에서의 상위 2개 로짓 마진(top-two logit margin)에 주로 좌우된다. 이 분석은 더 많은 FP32 연산을 적용할수록(더 넓은 범위 적용) 일치도가 더 나빠진다는 점을 포함하여 개입 결과에 대한 5가지 검증 가능한 예측을 제시한다. 실험 결과는 이 5가지 예측과 모두 일치했다. 우리가 평가한 가장 우수한 저오버헤드 개입 방식인 선택적 FP32 LM 헤드 재연산(마진이 임계값 아래로 떨어질 때만 트리거됨)은 저배치(배치 크기 <=4) 단일 스트림 추론에서 4% 미만의 지연 시간 오버헤드로 A10G에서 +22~36 pp(+12~21 pp on L4 및 A100)의 완전 일치율을 달성한다. 우리는 6개 모델과 4개 배치 크기에 걸쳐 적용 가능성 경계를 매핑하고, 학습(training) 시점의 정밀도 안정성이 결정적인 요인이라는 가설을 세운다. 이 방법은 보편적인 결정론 보장이라기보다는 부분적인 완화책이다. 본 연구의 테스트에서 배치 크기 >=8 및 엔드투엔드 FP8 환경을 포함하여 바디에서 비롯된 오차가 지배적일 때는 그 이점이 사라진다.
멀티 LoRA(Low-Rank Adaptation) 서빙은 가벼운 어댑터를 부착하여 특화된 여러 대규모 언어 모델(LLM) 변형들이 동일한 베이스 모델을 공유할 수 있도록 합니다. 이는 도메인별, 테넌트별, 작업별 모델의 대규모 카탈로그를 서빙하는 데 매력적인 방식입니다. 그러나 기존 배포 방식은 거의 사용되지 않는 어댑터에 자원을 낭비하며, 서버리스 플랫폼에서 LoRA 추론(inference)을 직접 실행하는 것은 높은 메모리 오버헤드, 반복되는 콜드 스타트(cold start), 그리고 비효율적인 스케줄링 결정을 초래합니다. 본 논문에서는 서빙 상태를 공유 백본 상태, 재사용 가능한 변형 웜(warm) 상태, 요청 전용 상태로 분리하는 서버리스 멀티 LoRA 서빙 시스템인 ServerlessLoRA를 제안합니다. ServerlessLoRA는 각 백본을 한 번만 로드하여 격리된 LoRA 함수 간에 읽기 전용으로 공유하고, 선택된 백본 연산을 배치 처리하며, 변형 상태를 선택적으로 웜 상태로 유지하고, 상태 지역성 및 GPU 경합을 기반으로 요청을 라우팅합니다. 산업용 트레이스에 기반한 평가에서 ServerlessLoRA는 서버리스 베이스라인 대비 첫 번째 토큰 생성 시간(time-to-first-token)을 최대 92.3% 단축하며, vLLM-LoRA 및 dLoRA 대비 각각 1.66~3.01배, 2.20~3.26배 높은 지연 시간 대비 비용 효율성을 달성합니다.
분산 강화학습(RL)은 경험 버퍼(Experience Buffer)를 중심으로 액터(actor)와 러너(learner)를 병렬화하여 학습(training)을 확장합니다. 그러나 강화학습 워크로드가 증가함에 따라 버퍼는 단순한 리플레이 큐를 넘어섭니다. 즉, 러너 업데이트를 시작하기 전에 경험을 이동, 변환, 샘플링 및 배치(batch) 처리하기 위해 매 반복(iteration)마다 거쳐야 하는 대용량 및 지연시간에 민감한 경험 경로의 스토리지 기저 역할을 하게 됩니다. 기존 강화학습 시스템은 이러한 경로를 프레임워크 제어 흐름 내부에 내장하거나 요청 기반 버퍼 서비스 형태로 노출하므로, 경험 배치가 고정되고 경험 경로 작업을 런타임 수준의 최적화 대상으로 독립적으로 스케줄링하기 어렵습니다. 본 논문에서는 강화학습 경험 관리를 명시적인 시스템 최적화 문제로 드러내는 프레임워크 비종속적 런타임인 Conduit을 제안합니다. Conduit의 핵심은 경험 수집, 경험 배치, 경험 전달을 명시적인 제어 지점으로 노출함으로써 강화학습 경험 처리 의미론을 프레임워크별 실행 로직과 분리하는 런타임 추상화인 경험 데이터 플레인(EDP)입니다. EDP를 기반으로 구축된 Conduit은 이기종 인터커넥트 및 디바이스 메모리 제약 하에서 CPU/GPU 메모리 계층 및 노드 전반에 경험 상태를 분산시키는 용량 제약 및 대역폭 인지 배치와, 강화학습 의미론을 유지하면서 노출되는 경험 경로 지연시간을 줄이기 위해 경험 경로 처리가 실행되는 시점을 제어하는 지연시간 인지 스케줄링을 도입합니다. RLlib의 프레임워크 실행 로직을 변경하지 않고 통합된 Conduit은 노출된 경험 경로 지연시간을 최대 97%, 엔드투엔드 반복 지연시간을 최대 38% 줄이고, 1,024개의 GPU까지 확장되며, 수렴(convergence)을 보존합니다.
대규모 언어 모델(LLM) 추론은 엔진 단위 최적화 문제에서 재사용 가능한 상태, 단계 배치(phase placement), 이기종 가속기, 네트워킹, 오토스케일링, 신뢰성, 서비스 수준 목표(SLO)를 아우르는 분산 제어 문제로 진화하고 있다. 본 논문은 동료 검수 시스템 연구, 오픈소스 구현, 문서화된 프로덕션 사례 연구를 가로질러 이러한 전환을 연결한다. vLLM과 llm-d를 상보적 계층으로 다룬다. 모델 서빙 엔진은 PagedAttention, continuous batching, 커널, 양자화, 병렬 처리 등의 메커니즘으로 실행을 최적화하는 반면, 추론 제어 평면은 플릿 전체에 걸쳐 어디서, 언제, 어떤 정책 하에 실행이 이루어질지를 최적화할 수 있다. 기여는 새로운 벤치마크가 아니라 종합에 있으며, 보고된 모든 성능 및 배포 결과는 원 출처에 대한 귀속을 유지한다. 종합된 증거는 현대 추론에서 희소 자원이 순수 FLOPs만이 아니라 관리되는 상태, 배치(placement), 네트워크 이동, 신뢰성, 의사결정 품질 쪽으로 이동하고 있음을 시사한다. 우리는 엔드포인트만이 아니라 실행 가능한 실행 계획을 선택하는 Inference Execution Planner를 제안한다. 여기에는 집약(aggregated) 대 비집약(disaggregated) 토폴로지, KV 소스 및 전송 동작, 하드웨어 변형, 라우팅/입장(admission) 정책, 더 느린 스케일링 결정이 포함된다. 또한 출처별 벤치마크 지도(atlas), 병목 이동(bottleneck-migration) 분류체계, 실용적 배포 지침, SLO-goodput 기반 평가 프레임워크, 에이전트(agentic), 멀티모달, 이기종, 복원력(resilient) 추론에 대한 연구 질문을 제공한다.
AI가 LLM 추론 최적화에 실질적인 기여를 하기 시작했다. 기존 AI 최적화는 대부분 프로파일링 기반이다. 프로파일링에 묶인 피드백은 탐색을 기존 소프트웨어 스택의 역량과 성능 범위 안으로 한정하여, LLM 추론 시스템의 근본적으로 더 나은 아키텍처가 밝혀지는 것을 막는다. AI 주도 LLM 추론 시스템 아키텍처링 루프를 가능하게 하려면 일반적인 워크로드 표현, 검증 가능한 변이 공간, 구현에 독립적인 평가자가 필요하다고 우리는 주장한다. 우리는 이러한 기능을 제공하는 RoofLang 도메인 특화 언어(DSL)를 제시한다. 평가에서 RoofLang은 DeepSeek V4 시리즈 모델이 다른 대표 모델들보다 3.5–39.5$\times$ 더 높은 최대 디코드 처리량을 달성할 수 있음을 보여준다. 이 격차는 총 매개변수 수와 비례하지 않으며, 더 큰 배치를 지원하고 메모리 트래픽을 줄이는 컴팩트 KV-cache 설계에서 대체로 비롯된다. 지속형 옵티마이저 에이전트는 NVIDIA B300에서 DeepSeek V4 Pro의 처리량과 상호작용성을 모두 6.23–50.1% 개선하는 여러 새로운 아키텍처를 추가로 발견했다.
대규모 언어 모델(LLM) 서빙의 입력 길이가 계속 증가함에 따라, KV 캐시는 AI 인프라의 주요 병목이 되었다. 이는 GPU 메모리 용량, 서빙 동시성, 캐시 재사용, 분산 확장성을 제한한다. 위치 독립적(position-independent) KV 캐시, 접두 문맥(prefix) KV 캐시 압축, 핫/콜드 KV 캐시 분리, 분산 KV 캐시 관리를 포함한 여러 중요한 문제들은 모두 KV 캐시가 어떻게 표현되고 관리되는지에 달려 있다. 그러나 기존 서빙 시스템은 대체로 단일(monolithic) KV 캐시 추상화에 의존하여, KV 캐시를 동질적인 토큰 수준 메모리 블록 시퀀스로 취급하고 어텐션 헤드와 서빙 시나리오 전반에 걸쳐 유사한 정책으로 관리한다. 우리는 KV 캐시 효용성이 KV 헤드 전반에 걸쳐 고도로 구조화되어 있음을 관찰하였다. 서로 다른 헤드는 상이한 기능적 역할, 어텐션 거리, 런타임 중요도를 나타낸다. 따라서 모든 헤드, 토큰 범위, 또는 서빙 시나리오에 완전한 KV 캐시가 항상 필요한 것은 아니다. 본 논문에서는 LLM 서빙을 위한 헤드 인식(head-aware) KV 캐시 관리 시스템인 RedKnot을 제시한다. RedKnot은 서빙 시나리오에 따라 중요도와 유효 어텐션 범위가 크게 달라지는 KV 헤드를 따라 KV 캐시를 분해함으로써 기존의 단일 KV 캐시 추상화를 탈피한다. 이러한 헤드 수준 분해는 KV 캐시를 단일 텐서 추상화에서 구조화된 메모리 객체로 전환하여, RedKnot이 모델 재학습이나 미세조정(fine-tuning) 없이도 출력 충실도를 보존하고 자원 효율성을 개선하면서 위치 독립적 KV 재사용, 접두 문맥 KV 압축, 핫/콜드 KV 분리, 분산 KV 배치를 일관되게 지원할 수 있도록 한다. RedKnot은 KV 캐시를 단일하고 수동적인 런타임 부산물에서 확장 가능한 LLM 서빙을 위한 동적이며 모델 인식(model-aware) 런타임 기저(substrate)로 변환함으로써 AI 인프라의 새로운 기반을 구축한다.
메시 텍스처 압축은 일반적으로 2D UV 아틀라스에 의존하며, 차트 불연속성과 매핑 오버헤드가 코딩 효율을 제한할 수 있다. 이에 대응하여 메시 표면에서 파생된 sparse voxel에 텍스처 속성을 배치하는 표면 정렬 텍스처 필드(surface-aligned texture field)인 TexF를 제안한다. 이 표현은 고해상도 텍스처를 지원하면서 압축을 위한 국소 3D 상관관계를 보존하고 직접적인 표면 쿼리를 가능하게 한다. 비트스트림 압축에서는 TexF가 기존 3D 속성 코덱을 재사용하며, voxel 위치는 별도 전송 없이 디코딩된 메시로부터 재구성된다. GPU 상주(GPU-resident) 압축을 위해 양자화된 hash feature와 경량 디코더를 결합하여 표면 위치에서 임의 접근(random-access) 재구성을 수행하는 3DNTC를 개발한다. 미분 가능 렌더링(differentiable rendering)을 통해 voxel 속성과 압축된 신경 필드 모두에 대한 이미지 공간(image-space) 정제가 가능하다. MPEG 및 AOM 메시 압축 벤치마크 실험에서 비트스트림 및 GPU 상주 압축 모두에 대해 대표적인 UV 기반 방법 대비 평균 rate-distortion 성능이 향상됨을 보였으며, 3DNTC는 실시간 렌더링도 지원한다.
머신 언러닝(Machine unlearning)은 모델을 처음부터 다시 학습(training)하지 않고도 학습된 모델(model)에서 특정 학습 데이터의 영향을 제거합니다. 언러닝 기법을 평가하려면 여러 시드(seed)에 걸쳐 학습, 언러닝, 평가를 반복해야 하므로 계산 비용이 많이 듭니다. 우리가 아는 한, 기존 이미지 분류(image classification) 언러닝 프레임워크는 단일 GPU에서 실행되므로 적절한 시간 내에 평가할 수 있는 시드 수가 제한됩니다. 본 논문에서는 이러한 단계를 여러 GPU에 분산하는 오픈소스 프레임워크인 SUPREME을 소개합니다. SUPREME은 새로운 기법, 지표, 모델, 시나리오를 추가하기 위한 레지스트리 기반 설계, 여러 가속기와 정밀도(precision) 모드를 지원하는 멀티 GPU 아키텍처, 그리고 10개의 시드에 걸쳐 전체 클래스 및 무작위 샘플 언러닝 조건에서 ResNet18 및 ViT를 사용해 Pins Face Recognition 데이터셋에 대해 진행한 시연이라는 세 가지 기여를 제공합니다. 해당 프레임워크는 https://github.com/pedroandreou/supreme-unlearning 에서 이용할 수 있습니다.
전문가 혼합(Mixture-of-Experts, MoE) 모델은 다양한 머신러닝 작업에서 매우 효과적이지만, 메모리가 제한된 기기에 배포할 때 상당한 어려움을 겪는다. GPU는 빠른 추론을 제공하지만 CPU에 비해 메모리가 제한적이어서 모든 전문가(expert)를 GPU에 동시에 저장할 수 없으며, 이로 인해 CPU 메모리로부터 비용이 큰 데이터 전송이 빈번하게 필요해지고 이는 종종 GPU의 속도 이점을 상쇄한다. 이를 해결하기 위해 우리는 GPU-CPU 병렬 실행을 최적화하는 온디바이스 MoE 추론 엔진인 DAOP를 제안한다. DAOP는 시퀀스별 활성화 패턴에 따라 전문가를 CPU와 GPU 간에 동적으로 할당하고, 예측된 전문가를 CPU에서 선택적으로 사전 계산하여 전송 지연 시간을 최소화한다. 이 접근 방식은 새로운 점진적 성능 저하(graceful degradation) 메커니즘을 통해 모델 정확도를 유지하면서도 다양한 전문가 캐시 비율에서 효율적인 자원 활용을 가능하게 한다. 다양한 데이터셋에 대한 종합적인 평가 결과, DAOP는 기존의 전문가 캐싱 및 프리페칭 방법보다 최대 8.20배, 오프로딩 기법보다 1.35배 더 우수한 성능을 보이면서도 정확도를 유지하는 것으로 나타났다.