PyTorchKR Papers

최신 논문

총 5,575편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.08029v1cs.LG

소형 비전-언어 모델 양자화 재고: 컴포넌트별 분석에서 하드웨어 인식 엣지 배포까지

Rethinking Small VLM Quantization: From Component-Wise Analysis to Hardware-Aware Edge Deployment

3B 이하 소형 비전-언어 모델(sVLM)의 컴포넌트별 양자화 민감도를 체계적으로 분석하기 위해 Jetson Orin NX·AGX에서 비전 인코더, 프로젝터, LLM 백본을 분리한 6가지 양자화 구성을 실험한 결과, 양자화 민감도는 모델 규모보다 MoE vs. dense 구조적 패러다임에 의해 결정되며 SigLIP 기반 인코더의 INT8 지연 급증은 하드웨어-커널 상호작용에 기인하고 LLM INT4는 VRAM을 절감하지만 역양자화 오버헤드로 토큰 생성 속도가 저하됨을 밝혔다.

arXiv:2607.07862v1cs.DC

CTA-Pipelining: 다중 GPU 시스템을 위한 지연 시간 중심의 공간적 스케일링 방법

CTA-Pipelining: A Latency-Oriented Spatial Scaling Method for Multi-GPU Systems

CTA-pipelining은 공유 메모리 다중 GPU 시스템에서 대규모 언어 모델(LLM) 추론의 단일 배치 지연 시간을 줄이기 위해, Cooperative Thread Array(CTA) 단위로 의존 관계에 있는 커널들을 GPU 간에 동시 실행하는 새로운 공간적 스케일링 패러다임이다. 8-GPU H200·B200 시스템에서 MLP 연산에 해당하는 다층 GEMM을 대상으로 실험한 결과, 마이크로 배칭 대비 최대 31.8%, 텐서 병렬화(TP) 대비 최대 29.6%의 지연 시간 절감을 달성했으며, TP와 직교적으로 결합해 지연 시간 한계를 더욱 낮출 수 있음을 보였다.

arXiv:2506.01260v3cs.LG

서브스페이스 네트워크: 통신 효율적 모델 병렬화를 통한 분산 학습 확장

Subspace Networks: Scaling Decentralized Training with Communication-Efficient Model Parallelism

트랜스포머 네트워크의 프로젝션 행렬에서 자연적으로 발생하는 랭크 붕괴(rank collapse) 현상과 재귀적 구조를 활용해 순전파·역전파 모두에서 활성화 값을 저차원 부분공간(subspace)으로 압축하는 Subspace Networks를 제안하며, 80Mbps 소비자급 인터넷 환경에서 100Gbps 데이터센터 수준의 수렴 성능으로 수십억 파라미터 모델 학습을 가능케 하는 최대 100배의 통신 효율 향상을 달성한다.

arXiv:2607.08565v1cs.DC

SMetric: 균형 잡힌 세션 중심 스케줄링으로 에이전트 서빙을 위한 LLM 스케줄링 재고

SMetric: Rethink LLM Scheduling for Serving Agents with Balanced Session-centric Scheduling

에이전트가 LLM 요청을 발행하는 에이전틱 서빙 환경에서 기존 스케줄러들이 KV 캐시 재사용을 과도하게 우선시해 일부 인스턴스에 과부하가 걸리고 클러스터 TPS가 제한된다는 문제를 분석하여, 각 세션의 첫 번째 요청은 로드 밸런싱 중심으로, 후속 요청은 캐시 인식 방식으로 라우팅하는 세션 중심 스케줄링 기법 SMetric을 제안한다. SMetric은 기존 최신 스케줄러 대비 프리필-디코드 코로케이션 환경에서 클러스터 TPS를 10-16%, 분리(disaggregation) 환경에서 프리필 TPS를 2-34% 향상시키며 토큰당 지연 시간도 함께 개선한다.

arXiv:2512.05906v2cs.NE

ADSEQ: 스파이킹 신경망에서 스파이크 이벤트 전달을 위한 지연 인식 자동 미분 호환 프레임워크

ADSEQ: A delay-aware autograd-compatible framework for spike-event delivery in SNNs

스파이킹 신경망(SNN)의 그래디언트 기반 학습에서 시냅스 지연(synaptic delay)을 포함한 희소 스파이크 이벤트를 효율적으로 처리하기 위해, 임의의 큐 자료구조를 통한 지연-인식 정확 그래디언트 계산을 유도하고 이를 JAX 기반의 자동 미분 가능한 스파이크 이벤트 큐 프레임워크 ADSEQ로 구현하였다. CPU, GPU, TPU, LPU 플랫폼 벤치마크 결과, 하드웨어 아키텍처에 따라 최적 큐 구조가 상이함을 확인하였으며(CPU는 트리/FIFO, GPU는 링 버퍼, TPU는 정렬 기반), 선택적 스파이크 드롭을 통해 성능-정확도 트레이드오프를 조절할 수 있음을 보였다.

arXiv:2606.27229v3cs.CL

CARVE: 청크 병렬 선형 어텐션을 위한 콘텐츠 인식 순환 및 값 효율성

CARVE: Content-Aware Recurrent with Value Efficiency for Chunk-Parallel Linear Attention

CARVE는 순환 델타-규칙 모델의 두 가지 구조적 결함—입력 토큰만으로 게이팅을 결정하는 메모리 맹목성과, 값 축 결합으로 인해 WY-형식 청크 병렬 학습이 불가능해지는 문제—을 키 축 전용 게이팅 제약 하나로 동시에 해결한다. 청크 경계 상태를 청크당 한 번만 읽어 저랭크 프로젝션에 대수적으로 접목하는 콘텐츠 인식 게이팅과 단일 실행 메가커널 스케줄링을 통해, 1.3B 파라미터/100B 토큰 학습에서 GDN-2 대비 WikiText 퍼플렉서티 15.72(vs 15.90) 달성, 상식 추론 +0.63 pp 향상, RULER 및 실세계 재현율 최고 수준을 기록하면서도 학습 속도는 최대 +19.3% 빠르다.

arXiv:2607.05933v1cs.PF

Energy-Efficient GPU DVFS for Fine-Tuning of SLMs on Resource-constrained Embedded Devices

자원이 제한된 임베디드 GPU 플랫폼(NVIDIA Jetson AGX Orin)에서 소형 언어 모델(SLM) 파인튜닝의 에너지 효율을 높이기 위해 BERT 및 Pythia 변형 모델의 GPU 주파수-지연-에너지 특성을 분석하고, 해석 가능한 결정 트리(Decision Tree) 기반 DVFS 거버너 정책을 제안하였다. 제안된 ML 기반 GPU 주파수 선택 방법은 제약 없는 MAXN Mode 0 대비 평균 13.11%, 최대 26.73%의 에너지 절감을 달성하였다.

arXiv:2607.05439v1cs.LG

Design-CP: 단백질 나노입자 설계를 위한 컨텍스트 병렬화

Design-CP: Context Parallelism for Design of Protein Nanoparticles

RFDiffusion 3의 이차적 메모리 병목 문제를 해결하기 위해 1D 행 샤딩과 링 어텐션 기반 2D 그리드 샤딩의 두 가지 컨텍스트 병렬(CP) 추론 전략인 Design-CP를 제안하며, 사전학습된 가중치를 보존한 채 이차적 활성화값을 다중 GPU에 분산시킨다. 정이십면체 및 정팔면체 나노입자 설계 실험에서 2D 샤딩이 더 우수한 실시간 스케일링을 달성했으며, 워크스테이션급 16GB GPU 소규모 클러스터에서도 대형 단백질 어셈블리 설계가 가능함을 보였다.

arXiv:2607.05408v1cs.CY

Jean Zay 슈퍼컴퓨터에서 오픈소스 대규모 언어 모델 Lucie 7B 사전학습의 전과정 평가

Life Cycle Assessment of Pre-training the Lucie 7B Open-Source Large Language Model on the Jean Zay Supercomputer

OpenLLM-France 컨소시엄이 개발한 오픈소스 다국어 모델 Lucie 7B의 사전학습에 대해 AFNOR SPEC 2314 "Frugal AI" 기준과 Labos 1point5 방법론을 적용한 전과정 평가(LCA)를 수행하였으며, 제조 내재 배출량을 포함한 총 학습 탄소 발자국이 21 tCO2eq(574,564 H100 GPU-시간), Jean Zay H100 파티션의 연간 탄소 발자국이 417.5 tCO2eq로 제조와 운영이 거의 균등하게 분담됨을 밝혔다. 도시 난방망 폐열 회수(ERF 0.37)와 물 사용 효율성(WUE 0.07 L/kWh) 등 인프라 설계 요소가 환경 성과에 미치는 영향을 분석하여 유럽 내 설계 단계부터 친환경적인 AI 시스템 구축을 위한 시사점을 제공한다.

arXiv:2607.05400v1cs.PF

고급 가속기에서의 생성형 AI 모델 성능 최적화 및 비교 분석

Performance Optimization and Comparative Analysis of Generative AI Models on Advanced Accelerators

본 연구는 LLM과 확산 모델의 배포 비용 및 추론 지연 문제를 해결하기 위해 Perlmutter(NVIDIA A100), Expanse, Voyager(Intel Gaudi) 등 이기종 HPC 시스템에서 민감도 기반 혼합 정밀도 사후 학습 양자화(PTQ) 프레임워크를 도입하고 파인튜닝 전략을 체계적으로 분석하였다. TinyLlama-1.1B 모델에 대해 최대 2~4배 압축률을 달성하면서 WikiText-2, HellaSwag, BoolQ 세 가지 태스크에서 정확도 손실을 최소화하였으며, Gaudi 세대별 파인튜닝 성능 비교에서 Gaudi2가 Gaudi1 대비 2.5~3배 이상의 속도 향상을 보임을 확인하였다.

arXiv:2607.01646v2cs.LG

PHOENIX: 제로 오버헤드 체크포인트를 통한 핫 스와핑 기반 탄력적 LLM 학습

PHOENIX: Resilient LLM Training with Hot-Swapping via Zero-Overhead Checkpoint

PHOENIX는 대규모 LLM 학습 중 발생하는 노드 장애를 전체 작업 재시작 없이 예비 노드로 교체하는 핫 스와핑(hot-swapping) 방식으로 해결하며, 매 스텝마다 인메모리 체크포인트를 연산과 중첩하여 오버헤드 없이 수행한다. 512개의 NVIDIA A100 GPU와 최대 65B 파라미터 모델 규모에서 체크포인트 오버헤드 제로, 복구 시간 40초 이내를 동시에 달성하였다.

arXiv:2605.25451v3cs.LG

BigMac: 멀티모달 LLM 학습에서 연산과 메모리의 파레토 프론티어 극복

BigMac: Breaking the Pareto Frontier of Compute and Memory in Multimodal LLM Training

MLLM 학습에서 연산 효율과 메모리 효율이 동시에 개선되지 못하는 파레토 프론티어 문제를 해결하기 위해, BigMac은 인코더와 생성기 연산을 기존 LLM 파이프라인에 의존성 안전 중첩(dependency-safe nested) 구조로 삽입하여 인코더/생성기의 활성화 메모리 복잡도를 O(1)으로 줄이면서도 무제한 메모리 환경과 동일한 연산 효율을 달성한다. 여러 MLLM 및 학습 워크로드에서 평가한 결과, 기준 시스템 대비 1.08×–1.9×의 학습 속도 향상을 배치 크기와 무관하게 안정적인 메모리 사용량으로 달성함을 확인하였다.

arXiv:2512.23236v4cs.LG

KernelEvolve: Meta의 이기종 AI 가속기를 위한 에이전틱 커널 코딩 스케일링

KernelEvolve: Scaling Agentic Kernel Coding for Heterogeneous AI Accelerators at Meta

심층 학습 추천 모델(DLRM) 학습 및 추론의 고속화와 효율화는 매우 중요하다. 그러나 이를 위해서는 세 가지 핵심 시스템 과제, 즉 모델 아키텍처 다양성, 커널 프리미티브 다양성, 하드웨어 세대 및 아키텍처 이기종성을 해결해야 한다. 본 논문은 DLRM의 대규모 이기종성 문제를 해결하기 위한 에이전틱(agentic) 커널 코딩 프레임워크인 KernelEvolve를 제시한다. KernelEvolve는 커널 명세를 입력으로 받아 이기종 하드웨어 아키텍처 전반에 걸친 추천 모델의 커널 생성 및 최적화 과정을 자동화하도록 설계되었다. 이를 위해 KernelEvolve는 Triton과 CuTe DSL부터 저수준 하드웨어 독립 언어에 이르기까지 다양한 프로그래밍 추상화 계층에서 동작하며, 전체 하드웨어-소프트웨어 최적화 스택을 아우른다. 커널 최적화 과정은 선택 정책, 범용 연산자, 적합도 함수, 종료 규칙을 갖춘 그래프 기반 탐색으로 기술되며, 검색-증강 프롬프트 합성(retrieval-augmented prompt synthesis)을 통해 런타임 실행 컨텍스트에 동적으로 적응한다. KernelEvolve는 여러 세대의 NVIDIA 및 AMD GPU와 Meta의 AI 가속기에 걸쳐 다양한 프로덕션 추천 모델을 최적화하도록 설계, 구현 및 배포되었다. 공개된 KernelBench 벤치마크에서의 검증 결과, 세 가지 난이도에 걸친 250개 문제 전체에서 100% 통과율을 달성하였으며, 세 가지 이기종 하드웨어 플랫폼에서 160개의 PyTorch ATen 연산자에 대해 100% 정확도를 입증하였다. KernelEvolve는 개발 기간을 수 주에서 수 시간으로 단축하고, 다양한 프로덕션 사용 사례 및 대규모 이기종 AI 시스템에서 PyTorch 기준 대비 상당한 성능 향상을 달성한다. 성능 효율성 개선을 넘어, KernelEvolve는 자체 개발 AI 하드웨어에 대한 커널 자동 생성을 가능하게 함으로써 새로운 AI 하드웨어의 프로그래밍 장벽을 크게 낮춘다.

arXiv:2504.20198v2cs.DC

엣지-클라우드 시스템을 위한 머신러닝 연구에서의 신경망 그래프 컴파일러 활용

Leveraging Neural Graph Compilers in Machine Learning Research for Edge-Cloud Systems

신경망 그래프 컴파일러가 이기종 하드웨어 환경에서 아키텍처 간 상대적 성능 비교를 어떻게 무효화하는지를 체계적으로 분석하고, 벤더별 최적화가 모델 깊이 증가에 따라 불균형적인 처리량 향상을 유발함을 블록 수준 실험으로 규명한다. 이를 바탕으로 배치 크기 확장에 따른 성능 마찰을 정량화하는 새로운 지표와 NGraphBench 라이브러리를 소개하여, 컴파일러 효과를 ML 연구 워크플로우 전반에 통합하는 방법론을 제시한다.

arXiv:2607.04443v2cs.CV

Wan-Streamer v0.2: 더 높은 해상도, 동일한 지연 시간

Wan-Streamer v0.2: Higher Resolution, Same Latency

Wan-Streamer v0.2는 기존 v0.1의 네이티브 스트리밍 엔드투엔드 오디오-비주얼 상호작용 모델을 업그레이드하여, 25 FPS에서 약 200 ms의 모델 측 지연을 유지하면서 출력 해상도를 192×336에서 640×368로 향상시켰다. 단일 GPU 씽커(thinker)가 지연 임계 경로를 담당하고, Ulysses 방식의 컨텍스트 병렬 멀티 GPU 퍼포머(performer)가 고해상도 잠재 비디오 생성을 처리하는 서빙 구조를 통해, 350 ms 양방향 네트워크 예산 포함 시 총 원격 상호작용 지연을 약 550 ms로 유지하면서 실시간 대화 중 자세·시선·손·장면 레이아웃이 식별 가능한 미드샷 에이전트를 지원한다.

arXiv:2607.06202v1cs.DC

UBEP: 프로덕션 슈퍼팟을 위한 전문가 병렬 처리 통신 라이브러리 재설계

UBEP: Re-architecting Expert Parallelism Communication Library for Production Superpods

전문가 혼합(MoE) 모델을 NVIDIA NVL72/576 및 Huawei CloudMatrix384와 같은 프로덕션 고대역폭 슈퍼팟에 배포하는 것은 단순한 인터커넥트 대역폭을 넘어선 핵심적인 도전 과제를 제기합니다. 이러한 시스템은 통합된 글로벌 주소 공간과 고대역폭 패브릭을 제공하지만, 희소 MoE 통신에서의 잠재력 발휘는 세 가지 근본적인 병목 현상으로 인해 저해됩니다: (1) 상호 의존적인 통신 단계에 대한 거친 단위의 대량 동기 병렬 처리(BSP) 오케스트레이션이 부과하는 엄격한 실행 직렬화; (2) 높은 인터커넥트 대역폭에 비례하여 확장되지 못하는 과도한 동기화 오버헤드; (3) 불규칙한 토큰 트래픽에 대한 거리 무관 스케줄링으로 인한 심각한 부하 불균형. 이러한 병목 현상을 해소하기 위해, 우리는 현대적인 슈퍼팟 아키텍처에 맞게 MoE의 All-to-All 프리미티브를 재설계한 프로덕션 수준의 통신 라이브러리인 UBEP(Unified-Bus Expert Parallelism)를 제안합니다. 대규모 실험을 통해 UBEP는 All-to-All 지연 시간을 최대 52.4% 단축하고 MoE 추론의 출력 토큰당 시간(TPOT)을 최대 11.1% 감소시킵니다.

arXiv:2607.05876v1cs.PF

그리드 서치 전에 생각하라: LLM 서빙을 위한 플로어 우선 분류

Think Before You Grid-Search: Floor-First Triage for LLM Serving

LLM 서빙 최적화에서 그리드 서치 대신 분석적 플로어를 먼저 구축하는 잔차 기반 트리아지(triage) 방법론 "Floor First"를 제안하며, 각 디코드 단계를 5차원 자원 벡터로 모델링해 낙관적/비관적 플로어 구간에서 오버랩 품질을 진단하고 프로파일러 투입을 잔차 기준으로 제한한다. 16개 NVIDIA H20 GPU에서 DeepSeek-V3.2 스타일 671B MoE 모델을 사례 연구로, TP16 대비 EP16+DP 어텐션 레이아웃이 단일 스트림 지연 시간에서는 2.4배 불리하지만 KV 용량 한계를 한 자릿수 높인다는 판단이 운영 포인트의 계산 가능한 함수임을 보인다.

arXiv:2607.05475v1cs.AR

당신의 NPU는 LLM을 위해 준비되었는가? 모바일 LLM 추론의 숨겨진 효율성 병목 분석

Is Your NPU Ready for LLMs? Dissecting the Hidden Efficiency Bottlenecks in Mobile LLM Inference

모바일 기기에서의 대규모 언어 모델(LLM) 추론 효율성을 분석하기 위해 5개 프레임워크와 CPU/GPU/NPU 3종 하드웨어 백엔드를 아우르는 최초의 포괄적 크로스 레이어 측정 연구를 수행하고, 백엔드별 에너지 귀인이 가능한 프로파일링 도구 PowerBench를 개발하였다. NPU는 연산 집약적 프리필링 단계에서 강점을 보이는 반면 메모리 집약적 디코딩에서는 CPU가 우위를 점하는 "단계 분리(phase split)" 현상과 스케줄링 비효율로 인한 최대 40% 에너지 낭비를 규명하여, 최적 구성 적용 시 NPU 백엔드 에너지 소비를 최대 54.8%까지 절감할 수 있음을 보였다.

arXiv:2607.02954v1cs.NE

Microcosmos: GPU 시대를 위한 인공 생명 재구상

Microcosmos: Reimagining Artificial Life for the GPU Era

대부분의 인공 생명 시뮬레이터는 물리적 현실과 분리된 추상적인 기반 위에서 동작하거나, 물리적으로 근거한 세계를 시뮬레이션하더라도 개방형 진화(open-ended evolution)에 필요한 개체군 규모로 확장되지 않는다. 본 논문에서는 Microcosmos를 제안한다. 이는 인공 생명체를 2차원 점성 유체 세계에 서식하는 탄성 필라멘트 체인으로 모델링하는 시뮬레이션 엔진으로, 현대 GPU 하드웨어와 엔드투엔드 미분 가능 시뮬레이션을 위해 처음부터 설계되었다. 본 엔진은 네 가지 실험을 통해 검증된다. 수동 설계된 이동 전략은 유체 결합이 알려진 물리적 제약을 준수함을 확인한다. 필라멘트 폴딩의 그래디언트 기반 최적화는 시뮬레이터의 완전한 미분 가능성과 필라멘트 인코딩의 표현력을 입증한다. 뉴로에볼루션(neuroevolution)과 품질-다양성 탐색(quality-diversity search)은 다양한 수영 및 주화성(chemotaxis) 행동을 자동으로 생성한다. 입자 수에 대한 선형 스케일링은 엔진이 대규모 시뮬레이션을 지원함을 확인한다. Microcosmos는 물리적으로 타당하고 계산적으로 확장 가능하도록 설계된 대규모 개방형 진화 시뮬레이션 지원을 장기 목표로, 오픈 플랫폼으로 공개된다.

arXiv:2603.02510v2cs.LG

ParEVO: 비정형 데이터를 위한 코드 합성 - 에이전트 진화를 통한 고성능 병렬처리

ParEVO: Synthesizing Code for Irregular Data: High-Performance Parallelism through Agentic Evolution

순차 컴퓨팅에서 병렬 컴퓨팅으로의 전환은 현대 고성능 애플리케이션에 필수적이지만, 동시성 프로그래밍의 가파른 학습 곡선으로 인해 어려움을 겪고 있다. 이 과제는 정적 스케줄링이 실패하고 데이터 의존성이 예측 불가능한 비정형 데이터 구조(희소 그래프, 불균형 트리, 비균일 메시 등)에서 더욱 심화된다. 현재 대규모 언어 모델(LLM)은 이러한 작업에서 치명적인 실패를 겪는 경우가 많으며, 미묘한 레이스 컨디션(race condition), 교착 상태(deadlock), 비최적 스케일링 문제가 있는 코드를 생성한다. 우리는 비정형 데이터에 대한 고성능 병렬 알고리즘을 합성하도록 설계된 프레임워크인 ParEVO로 이 격차를 해소한다. 우리의 기여는 다음과 같다: (1) Work-Span 병렬 프리미티브를 효과적으로 활용하는 경험적으로 성능이 우수한 알고리즘을 명시적으로 필터링하는 "Critic-Refine" 파이프라인을 통해 합성된 13,820개 작업으로 구성된 정제된 데이터셋인 Parlay-Instruct Corpus; (2) 확률적 생성을 ParlayLib 라이브러리의 엄격한 의미론과 정렬하도록 파인튜닝된 특화된 DeepSeek, Qwen, Gemini 모델; (3) 컴파일러, 동적 레이스 감지기, 성능 프로파일러의 피드백을 활용하여 코드를 반복적으로 수정함으로써 정확성의 "마지막 단계"를 개선하는 진화적 코딩 에이전트(ECA, Evolutionary Coding Agent). ParEval 벤치마크에서 ParEVO는 전체 스위트에 걸쳐 평균 106배 속도 향상(최대 1,103배)을 달성하고, 복잡한 비정형 그래프 문제에서 13.6배의 견고한 속도 향상을 보이며 최첨단 상용 모델을 능가한다. 또한, 우리의 진화적 접근 방식은 최첨단 전문가 인간 기준선(baseline)과 동등한 성능을 달성하며, 특정 고도 비정형 커널에서 최대 4.1배의 속도 향상을 이룬다. 소스 코드와 데이터셋은 https://github.com/WildAlg/ParEVO에서 확인할 수 있다.