PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.22038v1cs.AR

명령 기반 희소화: 다중 작업 추론 가속기를 위한 작업 조건부 연산 건너뛰기

Sparse by Command: Task-Conditional Compute Skipping for Multi-Task Inference Accelerators

다중 작업 추론 모델은 다양한 작업에 걸쳐 단일 백본(backbone)을 공유하지만, 어떤 작업이 활성화되어 있든 동일한 연산을 수행하여 작업과 무관한 연산에 에너지와 사이클을 낭비한다. 우리는 추론이 시작되기 전에 일반적으로 이용 가능한 작업 명령(task command)이 하드웨어 수준에서 불필요한 연산을 건너뛰는 데 활용할 수 있는 무료 신호를 제공한다는 것을 관찰한다. 우리는 백본과 공동 학습되는 경량 게이팅 네트워크가 작업 입력에 조건부로 타일별 이진 실행 마스크를 예측하는 HW/SW 공동 설계 접근법을 제안한다. 각 타일은 고정된 출력 채널 그룹(가속기의 고유 스케줄링 단위)에 대응하므로, 마스크된 타일을 오버헤드 없이 건너뛸 수 있다. 이는 작업 의존적 연산 감소를 달성하며, 각 명령은 모델 아키텍처나 추론 파이프라인을 변경하지 않고도 네트워크에서 필요한 부분집합만 활성화한다. 우리는 전체 시스템 스택을 공동 설계한다: 희소성 목표 하에서 하드웨어 정렬 타일 마스크를 학습하는 명령 조건부 학습 절차; 명령어가 타일별 비트마스크 필드를 포함하여 소프트웨어 개입 없이 하드웨어가 마스크된 타일을 건너뛸 수 있게 하는 명령어 집합 아키텍처(ISA); 그리고 구성 가능한 병렬성, 이중 버퍼 메모리, 희소 타일 실행을 기본 지원하는 INT8 데이터 경로를 갖춘 타일 기반 추론 가속기. 우리는 AMD/Xilinx Alveo U50 FPGA에 프로토타입을 구현하고 CARLA 자율주행 시뮬레이터의 폐루프(closed-loop) 시각-운동(visuomotor) 주행 작업에서 평가한다. 작업 조건부 희소성은 주행 품질을 유지하면서 FLOPs를 66-76% 감소시킨다. 온디바이스 지연시간은 51-59% 감소하여 9.12 ms에서 3.74-4.44 ms로 줄어들며(2.1-2.4배 가속), 추론당 에너지는 263 mJ에서 108-128 mJ로 감소한다.

arXiv:2606.27743v1cs.IR

자원 적응형 LLM 추론을 위한 엔드-투-엔드 동적 희소성

End-to-End Dynamic Sparsity for Resource-Adaptive LLM Inference

대규모 언어 모델(LLM) 추론은 일반적으로 정적 자원 가정 하에 배포되며, 모델은 런타임 환경과 관계없이 고정된 계산 그래프를 실행한다. 그러나 실제 클라우드 인프라는 본질적으로 동적이며, 변동하는 가용성(예: 스팟 인스턴스 선점)과 계층화된 서비스 품질(QoS) 요구사항이 특징이다. 이러한 불안정한 환경에서 정적 모델은 유연하지 못하다: 자원 제약 하에서는 실패하거나, 중복 연산에 컴퓨팅을 낭비한다. 이 격차를 메우기 위해, 우리는 자원 적응형 추론을 위한 엔드-투-엔드 프레임워크인 Learning to Allocate(L2A)를 제안한다. 입력 난이도에만 조건을 거는 기존 방법과 달리, 우리는 추론을 입력과 런타임 자원 예산 자체 모두에 조건을 거는 제약 할당 문제로 공식화한다. 우리는 LLM에 통합된 경량의 예산 조건형 및 입력 인지 게이팅 네트워크를 도입한다. 이 게이트는 실제 동적 특성이 나타나는 방식에 맞춘 세 축—메모리 및 깊이 압력을 위한 층 건너뛰기, 처리량 경합을 위한 헤드 가지치기, 지연 시간 제약 강화를 위한 추론 토큰 감소—을 따라 작업 성능, 논리적 일관성, 자원 비용을 공동 최적화하는 통합 목적 함수를 통해 학습된다. 이를 통해 모델은 입력 난이도를 넘어 예산 인지 정책을 학습한다: 실시간 자원 동역학에 맞춰 계산 풋프린트를 적응적으로 구성하며, 자원이 허용할 때 추론 깊이를 최대화하고 예산이 줄어들면 엄격한 절약을 강제한다. 단일 L2A 모델은 Llama-3-8B 및 Qwen-3-4B에서 전체 연산-정확도 파레토 프론티어를 추적한다: 최대 34%의 실현 층 희소성에서 GSM8K에서 밀집 기준선 대비 0.6% 이내를 유지하며, 분포 외(out-of-distribution) 작업에서도 제로샷으로 동일한 격차가 유지되는 한편, 모든 정적 또는 휴리스틱 기준선은 별도로 튜닝된 모델을 필요로 하며 비슷한 추론 시간에서도 5-10% 하락한다.