PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.19490v1cs.CR

악성 노드 환경에서 피어 투 피어 분산 LLM 추론의 무결성

Integrity of peer-to-peer distributed LLM inference under malicious nodes

피어 투 피어 분산 추론은 여러 노드에 레이어를 분산하여 풀링된 소비자 하드웨어에서 대규모 언어 모델(LLM)을 실행한다. 모든 요청은 여러 독립 당사자가 소유하고 제어하는 노드를 거친다. 그러나 이 환경에서는 어느 당사자든 자신의 레이어 출력을 변조하여 최종 결과를 손상시킬 수 있다. 신뢰할 수 있는 하드웨어에서 순전파를 재계산하면 이를 잡아낼 수 있지만, 추가적인 계산 비용이 발생한다. 과학 문헌에는 이미지 분류기를 위한 known-answer trap과 암호학적 커밋(cryptographic commitment) 같은 여러 기존 무결성 검증 접근법이 있다. 그러나 이러한 해법들은 정확한 정확성만을 검증하며, 정상 노드 간에 발생할 수 있는 일반적인 변동을 고려하지 않는다. 본 논문에서는 각 노드가 다음 노드로 전달하는 활성화(activation)의 변동을 측정하여 출력 무결성을 검증하는 방법을 제안한다. 네트워크를 사용하려는 피어는 올바른 활성화가 사전에 알려진 소수의 비밀 카나리(canary) 입력을 선택하여 일반 트래픽에 섞는다. 피어들이 카나리와 실제 쿼리를 구분할 수 없기 때문에, 변조하는 노드는 카나리도 함께 손상시킨다. 알려진 기준값으로부터의 편차가 악성 활동을 드러낸다. 정상 노드는 하드웨어 유발 노이즈로 인한 미미한 변동만 보이는 반면, 변조된 노드는 훨씬 더 크게 벗어난다. 악성 노드 식별을 고정 임계값에 의존하지 않고 두 drift 분포를 분리하는 확률적 검정으로 다룬다. 실험 전에 지표와 성공 기준을 고정한 408가지 구성을 연구했으며, 검출기는 AUROC 1.0에 도달하여 모든 구성에서 모든 카나리에 대해 악성 샤드를 모든 정상 샤드보다 올바르게 순위화했다.

arXiv:2607.06202v1cs.DC

UBEP: 프로덕션 슈퍼팟을 위한 전문가 병렬 처리 통신 라이브러리 재설계

UBEP: Re-architecting Expert Parallelism Communication Library for Production Superpods

전문가 혼합(MoE) 모델을 NVIDIA NVL72/576 및 Huawei CloudMatrix384와 같은 프로덕션 고대역폭 슈퍼팟에 배포하는 것은 단순한 인터커넥트 대역폭을 넘어선 핵심적인 도전 과제를 제기합니다. 이러한 시스템은 통합된 글로벌 주소 공간과 고대역폭 패브릭을 제공하지만, 희소 MoE 통신에서의 잠재력 발휘는 세 가지 근본적인 병목 현상으로 인해 저해됩니다: (1) 상호 의존적인 통신 단계에 대한 거친 단위의 대량 동기 병렬 처리(BSP) 오케스트레이션이 부과하는 엄격한 실행 직렬화; (2) 높은 인터커넥트 대역폭에 비례하여 확장되지 못하는 과도한 동기화 오버헤드; (3) 불규칙한 토큰 트래픽에 대한 거리 무관 스케줄링으로 인한 심각한 부하 불균형. 이러한 병목 현상을 해소하기 위해, 우리는 현대적인 슈퍼팟 아키텍처에 맞게 MoE의 All-to-All 프리미티브를 재설계한 프로덕션 수준의 통신 라이브러리인 UBEP(Unified-Bus Expert Parallelism)를 제안합니다. 대규모 실험을 통해 UBEP는 All-to-All 지연 시간을 최대 52.4% 단축하고 MoE 추론의 출력 토큰당 시간(TPOT)을 최대 11.1% 감소시킵니다.

arXiv:2607.02574v1cs.DC

텐서 버퍼에서 분산 메모리 계층 구조까지: 대규모 언어 모델 서빙을 위한 KV 캐시 관리 서베이

From Tensor Buffer to Distributed Memory Hierarchy: A Survey of KV Cache Management for LLM Serving

키-값(KV) 캐시는 대규모 언어 모델(LLM) 서빙에서 요청별 임시 텐서가 아닌 최우선 메모리 객체로 자리잡았다. 본 서베이는 30개 이상의 KV 관리 시스템 및 프레임워크를 지역성(locality), 수명(lifetime), 소유권(ownership), 기반 자원(substrate)의 네 가지 축으로 분류한다. 이 축들은 로컬 페이징(local-paged), 비집계 파이프라인(disaggregated-pipeline), 공유 스토어(shared-store), 메모리 풀(memory-pool), 하이브리드 계층(hybrid-tier)의 다섯 가지 아키텍처 원형을 드러낸다. 워크로드와 하드웨어가 고정된 상황에서는 소유권이 분산 시스템 간 나머지 설계 분산의 상당 부분을 차지한다. 본 서베이는 또한 현행 평가를 검토하여 KV 특화 측정 지표 중 누락된 일곱 가지를 식별하고, 이를 내결함성(fault tolerance), 격리(isolation), 계층적 제거(tiered eviction), 추측 디코딩(speculative decoding), 전문가 혼합(MoE) 서빙, 공유 캐시 의미론(shared-cache semantics)의 미해결 문제들과 연결한다.

arXiv:2606.28441v1cs.LG

부분적으로 알려진 동역학 하에서의 분산 추정 학습: 공분산 무관 신경망 칼만 합의 필터

Learning to Distributedly Estimate under Partially Known Dynamics: A Covariance-Agnostic Neural Kalman Consensus Filter

온라인 잠재 상태 추정(latent state estimation)은 인공지능 분야의 근본적인 과제로, 순차적 의사결정, 이상 탐지 및 변화점 탐지를 포함한 다양한 응용의 기반 도구로 활용된다. 본 논문에서는 에이전트(agent)들이 협력하고 정보를 교환하여 잠재 상태 추정을 수행하는 새로운 온라인 분산 센싱 프레임워크를 제시한다. 제안된 추정기는 가용한 부분적 도메인 지식과 심층 신경망의 표현 능력을 결합한다. 특히, 설계된 센싱 프레임워크는 사전 추정값, 최적화된 합의 가중치, 및 칼만 방식의 순환적 업데이트를 통합하여, 잡음 통계에 대한 지식 없이 분산 추론(inference)을 수행한다. 선형, 혼돈계(Lorenz) 및 실용적인 무선 추적 환경에서의 광범위한 실험을 통해, 제안된 공분산 무관 신경망 칼만 합의 필터(CA-NKCF)가 전통적인 분산 칼만 필터 및 파티클 필터, 그리고 순수 모델(model) 비의존 심층 신경망보다 우수한 성능을 보이며, 기저 운동 모델과 관측 모델이 잘못 명세된 경우에도 강건성을 나타냄이 드러난다. 또한 CA-NKCF의 성능 우위는 다양한 잡음 수준, 무작위 통신 토폴로지, 잠재 상태 차원, 및 무선 시스템 내 산란 객체로 인한 관측 클러터 밀도 전반에 걸쳐 안정적으로 유지됨을 보인다.

arXiv:2606.24722v1cs.AI

Decentralised AI Training and Inference with BlockTrain

Frontier AI training is increasingly shaped by access to dense, centrally controlled accelerator clusters. This creates a structural advantage for hyperscalers and large centralized laboratories, and makes open or independent AI efforts depend on scarce capital, privileged infrastructure, and data-center geography. We present Spheroid BlockTrain, a decentralized training protocol in which a model is partitioned into independently trainable blocks, each optimized on a local objective derived from the same global target and composed at inference into one model. On byte-level WikiText, BlockTrain reaches cross entropy 1.359 (perplexity 3.89), within about 0.04 CE of a same-setup end-to-end Transformer reference, while each active worker trains only one block and avoids full-model optimizer state. A shared six-worker block training run reaches CE 1.385 by averaging same-block updates into one assembled model. HTTP/TCP transport experiments move real serialized checkpoints and updates, including a public-IP three-host run that improves CE from 5.580 to 1.811 while moving 15.22 GB. For inference, the current BlockTrain path uses one block-stack traversal per full output and serves over direct TCP across three public-network GPU hosts up to a 75.80B-parameter logical fp16 shape, outperforming a matched plain-autoregressive TCP pipeline baseline because it emits a full sequence per WAN pipeline traversal rather than one token per traversal.

arXiv:2606.17059v1cs.DC

P2P 네트워크 상의 대규모 언어 모델(LLM) 분산 추론

Towards Distributed Inference of LLMs on a P2P Network

접두 문맥 캐싱은 공유 프롬프트를 포함하는 요청 간에 KV 캐시를 재사용하여 대규모 언어 모델(LLM) 추론 지연 시간을 줄일 수 있지만, 캐시가 노드 간에 분할되어 있어 클러스터 규모의 재사용은 어렵습니다. 본 논문에서는 P2P LLM 서빙을 위한 탈중앙화된 접두 문맥 캐시 인식 라우팅 방식을 제안합니다. 각 노드는 자신의 캐시된 접두 문맥에 대한 로컬 기수 트리와 주기적 안티-엔트로피를 사용하여 비동기적으로 갱신된 피어 캐시 추정치를 유지합니다. 요청은 중앙 집중형 조율이나 KV 캐시 전송 없이 가장 긴 추정 접두 문맥 일치를 가진 노드로 라우팅됩니다. 오래된 메타데이터는 캐시 미스만 유발할 뿐 잘못된 출력을 유발하지 않으므로, 약한 일관성만으로도 정확성을 보장하기에 충분합니다. 시뮬레이션된 MMLU 워크로드에 대한 평가 결과, 탈중앙화 라우팅은 낮은 통신 지연과 치우친 접두 문맥 분포 하에서 지연 시간을 개선하지만, 높은 네트워크 지연과 선호도로 인한 핫스팟은 그 이점을 제한함을 보여줍니다.

arXiv:2606.12688v1cs.LG

M*: 모듈형·확장 가능한 멀티모달 모델 서빙 시스템

M*: A Modular, Extensible, Serving System for Multimodal Models

기존 서빙 프레임워크가 복합 멀티모달 아키텍처를 수용하기 어렵다는 문제를 해결하기 위해 M*라는 범용 서빙 시스템을 제안합니다. M*는 모델을 데이터플로우 그래프인 Walk Graph로 표현하여 모듈형 추상화와 최적화를 통해 텍스트-이미지 및 텍스트-음성 작업에서 기존 방법 대비 향상된 지연 시간과 처리량을 달성했습니다.

arXiv:2606.11914v1eess.SP

NARRAS: 차량 IoT 네트워크에서 CSI 기반 측위를 위한 엣지 트리거 분산 추론

NARRAS: Edge-Triggered Distributed Inference for CSI-Based Localization in Vehicular IoT Networks

공간적으로 분산된 안테나 어레이를 이용한 CSI 기반 측위는 기본적인 자원 트레이드오프를 드러낸다. 각 어레이는 채널에 대한 풍부한 관점을 제공할 수 있지만, 유용한 정보를 담은 것은 소수에 불과할 때 모든 어레이의 관측치를 융합 센터로 전달하는 것은 낭비이며, 공유 업링크는 동시에 전송할 수 있는 수가 제한적이다. 우리는 활성 송신기의 평균 개수에 대한 예산 제약 하에서, 각 어레이가 자신의 현재 관측치를 보고할 가치가 있는지를 로컬에서 결정하도록 한다. 우리는 이 추상화를 엣지 트리거 분산 추론(Edge-Triggered Distributed Inference, ETDI)이라 부른다. 이는 자원 제약이 있는 장치들이 공통 추론 과제를 위해 액세스 채널을 공유하는 과제 지향 통신(task-oriented communication) 문제의 더 넓은 범주를 포괄한다. 우리는 차량 IoT 네트워크에서 흔한 시나리오인 CSI 기반 측위에 대해 ETDI를 구체화한다. 공간적으로 분산된 원격 안테나 어레이(RAA)는 사용자 장비(UE) 전송의 로컬 채널 상태 정보(CSI)를 잠재 특성(latent features)으로 인코딩하고, 융합 센터는 보고된 특성의 부분집합으로부터 UE 위치를 추정한다. 우리는 NARRAS를 제안한다. 이는 각 RAA가 최근 관측치의 순환 요약과 마지막으로 전송한 잠재 표현에 대한 메모리를 결합하는 분산 보고 정책이다. 학습은 미분 가능한 활동 패널티와 검증으로 보정된 결정적 임계값을 통해 명시적 활동 예산을 제어하고, 잠재 기하를 형성하기 위해 채널 차트 정규화(channel-chart regularization)를 사용한다. 실험 결과, 유사한 업링크 활동 수준에서 NARRAS는 학습된 및 휴리스틱 희소 보고(sparse-reporting) 전략보다 측위 정확도를 향상시키며, 밀집 전체 보고(dense full-report) 모델은 예산 제약 없는 참조 기준으로서 여전히 유용하다. 낮은 활동 구간에서는 차트 정규화가 고백분위 측위 오차를 더 줄여, 기하 인식 잠재 표현이 희소 보고 하에서 더 견고함을 시사한다.