PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2604.12171v2cs.DC

PipeLive: 동적 LLM 서빙을 위한 효율적인 라이브 제자리 파이프라인 병렬화 재구성

PipeLive: Efficient Live In-place Pipeline Parallelism Reconfiguration for Dynamic LLM Serving

파이프라인 병렬화(PP)는 대규모 언어 모델(LLM)의 층(layer)을 여러 GPU에 분할하여 대규모 모델의 확장 가능한 추론(inference)을 가능하게 하는 데 널리 사용됩니다. 그러나 기존 시스템은 서버리스 플랫폼 및 이종 GPU 환경과 같은 동적 설정에 적응하지 못하는 정적 PP 구성에 의존합니다. 서비스를 중단하고 재배포하여 PP를 재구성하는 방식은 감당하기 어려운 다운타임을 유발하므로, 재구성은 추론을 중단하지 않고 라이브 상태에서 제자리(in-place) 방식으로 진행되어야 합니다. 하지만 라이브 제자리 PP 재구성은 근본적인 어려움이 따릅니다. GPU는 이미 모델 가중치와 KV 캐시로 포화 상태여서 새로운 층 배치 공간이 거의 없으며, 처리량을 위해 사전 할당을 수행하는 vLLM과 같은 시스템과는 상충되게 KV 캐시 크기 조정(resizing)이 필요합니다. 또한 실행 중에 KV 일관성을 유지하는 것은 까다롭습니다. 스톱 앤 카피(stop-and-copy) 방식은 긴 일시 중지를 초래하며, 백그라운드 동기화는 상태가 변화함에 따라 불일치를 유발할 위험이 있습니다. 본 논문에서는 중단을 최소화하면서 라이브 제자리 PP 재구성을 가능하게 하는 PipeLive를 제안합니다. PipeLive는 재설계된 KV 캐시 레이아웃과 PageAttention에 대한 공동 설계 확장을 도입하여 라이브 KV 크기 조정을 위한 통합 메커니즘을 구성합니다. 나아가 라이브 가상 머신 마이그레이션에서 영감을 얻은 점진적 KV 패칭(patching) 메커니즘을 채택하여 소스 구성과 타깃 구성 간의 KV 상태를 동기화하고 안전한 전환 시점을 식별합니다. PipeLive는 KV 크기 조정을 비활성화한 경우와 비교해 KV 캐시 오버플로 없이 최초 토큰 생성 시간(TTFT)을 2.5배 단축합니다. 또한 KV 패칭이 없는 변형과 비교하여 재구성 오버헤드를 수 초에서 10ms 미만으로 줄이고, TTFT와 출력 토큰당 생성 시간(TPOT)을 각각 최대 54.7% 및 14.7% 향상시킵니다.

arXiv:2605.30852v3cs.CL

추측 파이프라인 디코딩: 파이프라인 병렬화를 통한 고정확도 드래프팅과 숨겨진 지연

Speculative Pipeline Decoding: Higher-Accuracy Drafting with Hidden Latency via Pipeline Parallelism

추측 디코딩(Speculative Decoding, SD)은 draft-then-verify 패러다임으로 낮은 동시성 환경에서 대규모 언어 모델(LLM) 추론을 가속한다. 그러나 주류 방법들은 다중 토큰 예측에 의존하여 예측 난이도가 누적되고 드래프트 지연이 드러나는 문제가 있다. 우리는 대상 LLM을 $n$개의 파이프라인 단계로 분할하여 단일 시퀀스의 $n$개 토큰이 병렬로 진행되도록 하는 추측 파이프라인 디코딩(Speculative Pipeline Decoding, SPD)을 제안한다. 파이프라인을 포화 상태로 유지하기 위해, 파이프라인 드래프트 모듈(Pipeline Draft Module, PDM)이 다중 깊이의 대상 특징을 집계해 다음 토큰을 예측하고 각 파이프라인 단계와 동시에 실행되어, 예측 난이도를 제한하고 수용률을 높이며 드래프트 지연을 숨긴다. 실험 결과, SPD는 중간 정도의 파이프라인 폭에서 EAGLE-3보다 더 높은 이론적·실제 벽시계 속도 향상을 달성하며, 더 공격적인 폭에서는 추가 이득의 여지가 남아 있다. 코드는 https://github.com/yuyijiong/speculative_pipeline_decoding 에서 제공된다.

arXiv:2607.13332v1cs.LG

Agora: 대규모 언어 모델의 집단적·무허가 인터넷 규모 사전학습

Agora: Collective and Permissionless Internet-Scale Pretraining of Large Language Models

수십억에서 수조 매개변수 규모의 대규모 언어 모델(LLM) 학습은 데이터센터에 국한되며, 여기서 데이터 병렬(DP) 및 모델 병렬(MP) 기법은 동종 가속기, 고속 상호 연결, 단일 조율 주체를 전제로 한다. 이로 인해 프론티어 모델 개발은 그러한 클러스터를 구축할 수 있는 소수 그룹에 집중된다. 한편, 학습에 활용되지 못하는 막대한 연산 자원이 존재한다: 이종(preemptible)이고 선점 가능하며 개별 소유이고 인터넷으로만 연결된 소비자 및 전문가용 GPU들이다. Agora를 제안한다. 이는 해당 연산을 효율적으로 활용하는 시스템이다. Agora는 인터넷급 링크를 통한 대역폭 효율적 파이프라인 병렬 모델 샤딩과 다자간·내결함성 집합 통신 연산을 결합한다. 각 참여자는 모델의 한 단계(stage)만 보유하며, 어떤 단일 주체도 전체 가중치를 소유하지 않는다. 이 구성을 Protocol Learning이라 부른다: 집단적으로 학습되고 집단적으로 소유되는 모델을 가능하게 하며, 경제적 지속 가능성을 갖춘 오픈소스 프론티어 학습으로 가는 길을 연다. 이 보고서는 통신 효율적 병렬 처리, 비동기 최적화, 내결함성 시스템 설계에 걸친 연구 노력의 결과를 제시한다. 그 정점은 유형상 최초의 실증이다: Pluralis-8B—FineWeb-Edu의 500B 토큰으로 86억(8.6B) 매개변수 모델을 오픈·무허가 방식으로 사전학습한 실행(run)이다. 이 모델은 40일에 걸쳐 330개 기여자 노드—주로 인터넷 연결上的 소비자 GPU—가 수시로 참여하고 이탈하며 학습되었다. 해당 실행은 ~170k tokens/s와 풀링된 연산당 TFLOP당 4.2 토큰을 유지했으며, 중앙집중식 H100 기준선 대비 효율의 63%를 달성했고, 중앙집중식 기준(reference) 실행과 작은 마진 내에서 수렴했다.

arXiv:2605.25451v3cs.LG

BigMac: 멀티모달 LLM 학습에서 연산과 메모리의 파레토 프론티어 극복

BigMac: Breaking the Pareto Frontier of Compute and Memory in Multimodal LLM Training

MLLM 학습에서 연산 효율과 메모리 효율이 동시에 개선되지 못하는 파레토 프론티어 문제를 해결하기 위해, BigMac은 인코더와 생성기 연산을 기존 LLM 파이프라인에 의존성 안전 중첩(dependency-safe nested) 구조로 삽입하여 인코더/생성기의 활성화 메모리 복잡도를 O(1)으로 줄이면서도 무제한 메모리 환경과 동일한 연산 효율을 달성한다. 여러 MLLM 및 학습 워크로드에서 평가한 결과, 기준 시스템 대비 1.08×–1.9×의 학습 속도 향상을 배치 크기와 무관하게 안정적인 메모리 사용량으로 달성함을 확인하였다.

arXiv:2606.30634v1cs.LG

1단계 그래디언트 지연은 대규모 비동기 파이프라인 병렬화 LLM 사전학습의 장벽이 아니다

One-Step Gradient Delay is Not a Barrier for Large-Scale Asynchronous Pipeline Parallel LLM Pretraining

PipeDream-2BW 기반 비동기 파이프라인 병렬화에서 1단계 그래디언트 지연에 의한 성능 저하가 본질적 한계가 아닌 옵티마이저 선택에 달려 있음을 실증적으로 밝히며, AdamW는 심각한 품질 저하를 겪는 반면 Muon은 강한 견고성을 보임을 최초로 체계적으로 분석하였다. 추가로 옵티마이저에 무관한 Error Feedback 기반 보정 기법을 도입하여 10B MoE 모델 학습에서 동기식 학습과 동일한 최종 손실을 달성하였다.

arXiv:2606.24369v1cs.AI

Accelerating Disaggregated RL for Visual Generative LLMs with Diffusion-Based Parallelism and Trainer-Assisted Generation

Reinforcement learning (RL) has become a dominant post-training paradigm, driving the emergence of high-performance RL systems such as veRL for autoregressive large language models (LLMs). In parallel, diffusion-oriented RL algorithms, e.g., DanceGRPO and FlowGRPO, have rapidly expanded the scope of RL from language reasoning to diffusion-based visual and flow-based generation. However, efficient RL systems for diffusion generative LLMs remain underexplored. Existing implementations, e.g., veRL-Omni, still rely on colocated execution, which simplifies synchronization but couples rollout and training resources, limits heterogeneous deployment, and constrains independent scaling. To this end, we introduce DigenRL, a disaggregated RL framework for diffusion-based generative LLMs that supports flexible resource allocation, accommodates heterogeneous GPUs, and facilitates efficient task scheduling. To maximally reduce the execution bubbles in the disaggregated architecture, we propose: 1) a generation-axis pipeline (GAP) and time-step parallelism (TSP) in the diffusion architecture to enable finer-grained pipelining between rollout and training; 2) an elastic trainer-assisted generation (TAG) approach to enable the trainer GPU resources to dynamically assist in executing rollout generations; and 3) a tightly one-step constrained asynchronous strategy to further utilize the tail bubble in the pipeline. Extensive experiments are conducted on three hardware testbeds with 16-32 GPUs using HunyuanVideo-13B, Wan2.1-14B, FLUX.1-12B, and QwenImage-20B generative models. Experimental results show that DigenRL achieves 1.56-2.10x throughput improvements over state-of-the-art diffusion RL systems, veRL-Omni and GenRL.