The Speedup Paradox: Rethinking Inference Speed-Quality Trade-off in Embodied Tasks
원문 초록
Embodied foundation models have recently been widely used to improve robot generalization and task success rates. Previous works apply lossy efficient-inference techniques such as quantization, pruning, and asynchronous inference, accepting small action quality degradation in exchange for lower per-step computation cost and inter-action latency. However, unlike traditional static ML tasks, embodied tasks involve repeated interaction with the environment, and task-level performance is determined not only by per-step cost, but also by closed-loop effects unique to embodied execution, which remain insufficiently characterized in current efficient-inference studies. In this work, we propose TISED (\underline{T}ask-level \underline{I}nference \underline{S}peedup \underline{E}ffect \underline{D}ecomposition), an analytical framework that unifies diverse lossy inference optimization techniques and decomposes their effects on static and dynamic tasks, and uncovers some paradoxical effects on task-level performance: (1) on \textit{static tasks}, optimization sometimes can lengthen end-to-end per-task completion time even as per-step latency drops; (2) on \textit{dynamic tasks}, moderate lossy optimization can raise task success rate even above the baseline; and (3) the monotonicity and sweet-spot location of both effects can shift with hardware configuration. Together, our findings provide a new perspective on adapting inference optimization techniques to embodied tasks.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.28529v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Phase-HDC: 이산 위상 학습에서 옵티마이저 히스토리를 그래디언트 임계값으로 대체하기
Phase-HDC: Replacing Optimizer History with Gradient Thresholds in Discrete Phase Learning
컴팩트한 모델을 학습(training)할 때는 종종 모델 저장보다 훨씬 더 많은 메모리가 필요한데, 이는 옵티마이저(optimizer)가 과거 그래디언트(gradient)의 자체 기록을 유지하기 때문입니다. 학습된 매개변수(parameter)가 저비트 각도인 초차원 분류기(hyperdimensional classifier)의 경우(이를 위상 메모리(\emph{phase memory})라 부름), 이러한 기록은 모델 자체보다 몇 배 더 많은 메모리를 차지합니다. 본 연구에서는 오직 모델 자체만을 저장하면서도 이러한 모델을 학습시킬 수 있는지 질문을 던집니다. 제안하는 방법인 Phase-HDC는 현재 그래디언트의 부호와 반대 방향으로, 그리고 해당 그래디언트가 충분히 클 때에만 업데이트당 저장된 각도를 최대 한 단계씩 회전시킵니다. 우리는 이 단순한 규칙이 변경된 모든 매개변수가 고정 비용을 지불하는 1차 손실(loss) 모델의 정확한 해임을 보여줍니다. 업데이트 규칙을 제외한 모든 조건을 동일하게 유지했을 때, Phase-HDC는 6비트 모멘텀을 사용하는 Adam과 동등한 정확도를 유지하면서도 3배 적은 저장 공간을 사용합니다. 11개의 이미지, 테이블형, 텍스트 데이터셋에 걸쳐, 이 방법은 표준 float32 Adam보다 16~23배, 8비트 Adam보다 4~6배 적은 저장 공간을 차지합니다. 이에 따른 대가는 float32 Adam 대비 평균 약 5%p의 정확도 손실이지만, Phase-HDC는 8비트 Adam이 붕괴하는 바이트 수준 텍스트 예측을 포함하여 11개 데이터셋 중 6개에서 8비트 Adam보다 더 높은 정확도를 달성합니다. 계측된 학습 실행 분석은 이러한 결과를 설명해 줍니다. 매개변수가 이산적인 그리드 상에 위치해야 하는 경우, Adam의 모멘텀은 주로 매개변수가 조금이라도 움직일지 여부만을 결정하게 되며, 이는 현재 그래디언트에 대한 임계값을 통해 메모리 없이도 내릴 수 있는 결정입니다. 또한 모멘텀의 거친 양자화(quantization)는 데이터에 드물게 포함된 입력에 대해 이러한 결정을 망가뜨립니다. 저장 공간 절감은 측정된 하드웨어 메모리가 아닌 논리적 상태 기준입니다.
조 단위 규모 전문가 혼합 모델을 위한 하드웨어 네이티브 통합 희소-양자화
Hardware-Native Joint Sparse-Quantization for Trillion-Scale Mixture-of-Experts
전문가 혼합(MoE) 아키텍처를 통해 프론티어 언어 모델을 수조 개 파라미터 규모로 확장할 수 있게 되었지만, 방대한 메모리 사용량과 메모리 대역폭의 한계로 인해 실제 배포에는 제약이 따릅니다. 최신 가속기는 저정밀도 반구조화 희소성을 통해 가중치 저장 공간을 줄이고 처리량을 높여주는 희소 텐서 코어(SpTC)를 제공하지만, 상당한 모델 품질 저하와 그룹화된 희소 GEMM 프리미티브의 부재로 인해 MoE에 이를 활용하는 것은 여전히 어렵습니다. 본 논문에서는 전문가 가중치를 하드웨어 네이티브 저정밀도 희소 표현으로 압축하고 SpTC에서의 실행을 가속하는 엔드투엔드 하드웨어-소프트웨어 통합 설계 프레임워크를 제안합니다. 알고리즘 측면에서, 본 프레임워크는 연속적 재매개변수화를 통해 이산적인 반구조화 서포트 선택을 완화함으로써 라우터 가중치 재구성 목표 하에서 양자화된 가중치와의 미분 가능한 통합 최적화 및 확장 가능한 전문가 병렬 압축을 가능하게 합니다. 시스템 측면에서는 SpTC 상의 저정밀도 희소 MoE 추론에 맞춘 커스텀 그룹화 희소 GEMM 커널을 개발합니다. 300억 개에서 1조 개 파라미터에 이르는 MoE 모델 전반에 걸쳐, 제안하는 프레임워크는 기존 최고 수준(SOTA)의 통합 희소-양자화 정확도를 최대 4.35%p 향상시키면서 원래 모델 성능의 96.09%를 보존합니다. NVIDIA B200 GPU에서 개발한 커널은 벤더 기준선 대비 최대 1.65배 뛰어난 성능을 보이며 서빙 처리량을 1.18배 증가시키고 엔드투엔드 지연 시간을 최대 4.03배 단축합니다. 이러한 결과는 하드웨어-소프트웨어 통합 설계가 확장 가능하고 효율적인 MoE 배포를 향한 실용적인 경로임을 입증합니다.
오프로딩된 가중치에서 더 빠른 LLM 디코딩을 위한 가중치 근사 기반 활성화 희소성
Activation Sparsity with Weight Approximation for Faster LLM Decoding on Offloaded Weights
가중치를 모두 담기에 메모리가 부족한 소비자용(consumer-grade) GPU에 LLM을 배포하면 추론 속도가 지나치게 느려질 수 있는데, 이는 디코딩 과정에서 오프로딩된 가중치를 시스템 RAM이나 플래시 스토리지에서 GPU로 반복적으로 전송해야 하며, 이 전송 대역폭이 로컬 GPU 메모리 접근보다 훨씬 낮기 때문이다. 활성화 희소성(activation sparsity)은 0이거나 0에 가까운 활성화(activation)와 연관된 가중치를 건너뜀으로써 이러한 전송을 줄인다. 그러나 더 많은 활성화 기여분을 생략할수록 모델 품질이 결국 급격히 저하되는데, 이는 작은 크기의 활성화와 연관된 가중치들이 전체적으로 모델 품질에 큰 영향을 미친다는 것을 보여준다. 본 연구에서는 활성화 희소성을 활용할 때 모델 품질과 디코딩 성능 간의 trade-off를 개선한다. 핵심 아이디어는 가중치를 읽을지 여부에 대한 이진 선택을, 완전히 유지하거나, 압축된 가중치 표현(compressed weight representation)을 사용해 근사하거나, 완전히 생략하는 세 가지 옵션으로 대체하는 것이다. SpAx는 0에 가장 가까운 활성화와 연관된 가중치를 건너뛰고, 더 작은 크기의 활성화에 대해서는 근사된 가중치를 읽으며, 가장 큰 크기의 활성화에 대해서는 원본 가중치를 읽는다. 더 작은 크기의 활성화는 근사 가중치로 인해 발생하는 오차를 완화시키며, 압축된 가중치 표현은 전송해야 할 바이트 수를 줄인다. 가중치를 CPU 메모리로 오프로딩한 경우, SpAx는 16비트 가중치에서 평균 3.86배(최대 5.57배), 4비트 가중치에서 평균 2.06배(최대 2.74배)의 디코딩 속도 향상을 달성하며, WikiText-2 퍼플렉시티(perplexity) 증가는 최대 10%에 그친다. 가중치를 플래시 스토리지로 오프로딩한 경우, 속도 향상은 평균 3.31배(최대 4.81배) 및 평균 1.54배(최대 2.03배)이다.
로봇 안내견을 위한 경량 및 자원 효율적 인지
Lightweight and Resource-Efficient Perception for Robotic Guide Dogs
다중 카메라 스트리밍 인지(streaming perception)는 함께 상주하는 워크로드와 공유되는 이기종 엣지 플랫폼에 점차 많이 배포되고 있으나, 가속기 배치는 격리된 단일 스트림 실험과 평균 스트리밍 평균 정밀도(sAP)를 사용하여 평가되는 경우가 많습니다. 단일 GPU-NPU 플랫폼에서 두 개의 엔드투엔드 파이프라인을 사용하여, 본 연구는 격리된 평가가 실제 배포 시점의 배치 순위를 잘못 매길 수 있음을 보여줍니다. 단독 환경에서는 GPU 파이프라인이 선호되지만, GPU에 국한된 자원 경합(contention)으로 인해 마감 시간 초과(deadline miss)가 발생하여 검출 결과가 진부화(stale)되고, GPU가 완전히 포화되기 전에도 선호되는 배치가 뒤바뀔 수 있습니다. NPU 파이프라인은 단독 환경에서 소형 및 중형 객체에 대해 GPU 파이프라인보다 정확도가 낮지만, 대형 객체에서는 거의 대등한 성능을 보입니다. 지연 시간 및 경합 실험에서 가장 큰 절대적 sAP 손실은 대형 객체에서 발생합니다. 4개 스트림 실험에서 선호되는 배치는 어느 경로가 진부화되는지에 따라 달라지며, GPU 측 경합이 증가함에 따라 최적의 배치는 All-GPU에서 All-NPU로 전환됩니다. GPU를 포화시키는 비전-언어(vision-language) 공동 상주 워크로드 환경에서 All-NPU는 All-GPU 대비 최악 스트림 sAP의 $5.2\times$를 달성합니다. 평균 sAP는 특정 단일 스트림의 심각한 성능 저하를 감출 수 있으므로, 평가는 평균 sAP와 함께 경합 스윕(contention sweep), 양쪽 경로의 마감 시간 초과 비율, 그리고 최악 스트림 sAP를 보고해야 합니다.
VisionMX: 비전 모델을 위한 마이크로스케일링 사후 학습 양자화 구현
VisionMX: Unlocking Microscaling Post-Training Quantization for Vision Models
마이크로스케일링(Microscaling, MX) 포맷은 효율적인 학습(training) 및 추론(inference)을 위한 하드웨어 지원 접근법으로 주목받고 있습니다. 이 방식은 저정밀도(low-precision) 요소와 공유 블록 스케일을 결합하지만, 비전 모델에 미치는 영향은 아직 충분히 연구되지 않았습니다. 본 연구에서는 다양한 비전 모델 및 작업 전반에 걸쳐 사후 학습(post-training) MX 양자화(quantization)를 체계적으로 조사합니다. 직접 변환에 대한 분석을 통해 세 가지 오차 원인을 확인했습니다. 즉, 블록 스케일 표현, 일부 소형 합성곱 가중치(weight) 텐서와 비균일 요소 그리드 간의 불량한 정렬, 그리고 비음수 활성화 값에 의한 부호 있는 코드의 불충분한 활용입니다. 이러한 발견을 바탕으로, 유계 가중치 반올림(bounded weight rounding)을 최적화하고 활성화 값에 접을 수 있는 아핀 보정(foldable affine correction)을 적용하는 사후 학습 MX 양자화 방법인 VisionMX를 제안합니다. 여러 MX 스타일 포맷을 사용하여 이미지 분류(image classification), 객체 검출(object detection), 시맨틱 분할(semantic segmentation), 저조도 이미지 향상 작업 전반에서 VisionMX를 평가했습니다. VisionMX는 직접 변환 및 평가된 사후 학습 양자화 기준 모델들을 개선하며, MX 변환에 가장 민감한 아키텍처에서 가장 큰 폭의 성능 복구를 달성합니다.
ShatterQuant: 시스톨릭 트랜스포머 하드웨어 가속기에서 블록 단위 혼합 정밀도를 통한 균일 정밀도의 한계 극복
ShatterQuant: Breaking Uniform Precision with Block-Wise Mixed-Precision on a Systolic Transformer Hardware Accelerator
기존 가속기에서 텐서(tensor) 내 이종 정밀도 지원이 제한적이기 때문에, 신경망(neural network) 양자화(quantization)는 주로 텐서별 정밀도 할당에 국한되어 왔다. 본 논문에서는 가중치(weight) 프로젝션 블록에 독립적인 비트 폭을 할당함으로써 각 텐서 내에서 혼합 정밀도(mixed-precision) 양자화를 가능하게 하는 하드웨어-소프트웨어 통합 설계 프레임워크인 ShatterQuant를 제시한다. ShatterQuant는 정밀도 단위와 PE(Processing Element) 구성을 결합하여 각 정밀도가 유효 블록 높이를 결정하도록 한다. 우리는 (1) 블록 수준의 표준편차와 가중치 민감도를 기반으로 텐서 내 정밀도를 할당하는 하드웨어 인식 사후 학습(post-training) 기법, (2) 1/2/4/8비트 가중치 정밀도, 정밀도 의존적 PE 구성, 블록 재스케일링, 통합된 소프트맥스(softmax) 및 구분적 선형 비선형성을 지원하는 ShatterQuant 트랜스포머 가속기, 그리고 (3) 1 GHz로 동작하는 TSMC 16nm PDK 구현을 통해 모델-하드웨어 트레이드오프를 평가하여 1.5 TOPS, 760 GOPS/$mm^2$ 면적 효율, 2.8 TOPS/W 에너지 효율을 달성한 결과를 소개한다. DeiT 및 ImageNet-1K에서 ShatterQuant는 2비트 더 낮은 유효 비트 폭을 사용하면서도 최신 혼합 정밀도 기법 대비 $3.3\%$ 이내의 정확도를 달성하며, PixelDiT에 대해서는 동등한 수준의 생성 품질을 보여준다. ShatterQuant는 하드웨어-소프트웨어 통합 설계를 통해 미세한 텐서 내 혼합 정밀도가 어떻게 실현될 수 있는지를 입증한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.