비전-언어-액션(VLA) 모델은 구현형 AI(embodied AI)에서 강한 잠재력을 보여왔지만, GPU에서의 높은 추론 지연이 실시간 배포를 제한한다. 기존 가속기(예: Dadu-Corki)는 효율을 개선하지만 VLA 모델을 전정밀(full-precision) 워크로드로 취급하여, 메모리와 연산 모두에서 상당한 중복성을 충분히 활용하지 못한다. 본 논문에서는 가중치 유사성과 실행 동역학(execution dynamics)을 활용하여 VLA 추론을 가속하는 알고리즘-하드웨어 공동 설계 프레임워크인 VQVLA를 제안한다. 먼저 로봇의 실행 상태에 따라 양자화 정밀도를 동적으로 조절하여 메모리 접근을 줄이면서 과제 성공률을 유지하는 모션 인식 벡터 양자화 방식인 MotionVQ를 도입한다. 다음으로 코드북 인덱스 표현(codebook-index representation)에서 동작하는 병합 중심점(merged-centroid) 벡터화 GEMM 패러다임을 제안하여, 공간적 집계(spatial aggregation)와 중심점의 시간적 재사용(temporal reuse)을 통해 중복 곱셈을 제거한다. 이러한 최적화를 구현하기 위해 동적 정밀도 선택과 중심점 재사용 연산을 효율적으로 지원하는 가속기를 설계한다. 실험 결과, VQVLA는 A100 GPU, Dadu-Corki, LUT-DLA, CodeGEMM, ShiftAddLLM 대비 각각 6.5배, 2.8배, 1.9배, 3.3배, 4.3배의 속도 향상을 달성하며 정확도 저하는 미미하다.
긴 컨텍스트 대규모 언어 모델(LLM)의 빠른 채택과 함께, 디코딩 과정에서 지속적으로 증가하는 KV 캐시가 핵심 메모리 병목이 되었다. 이 문제를 해결하기 위해, 우리는 계층적 중요도 인식을 통해 KV 캐시의 중복성을 활용하는 새로운 알고리즘-하드웨어 공동 설계 HiKV를 제안한다. 알고리즘 측면에서 HiKV는 두 가지 세분성에서 KV 캐시를 압축한다. 1단계에서는 고정된 예산 내에서 중요하지 않은 토큰을 제거하고, 2단계에서는 보존된 각 토큰의 중요한 요소만 추가로 로드하여, 단일 세분성에서는 달성할 수 없는 압축률에 도달한다. 아키텍처 측면에서, 우리는 각 단계가 요구하는 서로 다른 정렬 데이터 경로 사이를 전환하는 재구성 가능한 중요도 정렬기를 중심으로 한 전용 가속기를 개발하여, 최소한의 오버헤드로 하나의 회로에서 2단계 가속을 통합한다. 대표적인 LLM에 대한 평가에서 HiKV는 무시할 수 있는 1% 이내의 정확도 손실 범위에서, 기본 KV 캐시 기준선 대비 어텐션 연산에서 최대 7.95배의 속도 향상과 90%의 에너지 절감을 달성한다. 동일 정확도(iso-accuracy) 제약 하에서 HiKV는 최신 중요도 기반 방법들보다 외부 메모리 접근을 추가로 1.82~4.87배 감소시킴으로써 우수한 성능을 보인다. 이러한 이점은 시스템 면적에 단 8%만 추가하는 특화 하드웨어 구성 요소를 통해 가능하다.
비디오 확산 트랜스포머(vDiT)는 고품질 비디오를 생성하지만, 긴 확산 타임스텝과 셀프 어텐션(self-attention) 연산으로 인해 매우 높은 연산 비용을 초래한다. 확산 타임스텝이 줄어들수록 셀프 어텐션의 연산 비용이 지배적인 병목이 된다. 기존 가속화 접근법은 대규모 언어 모델(LLM)의 희소 어텐션(sparse attention) 기법을 대부분 그대로 차용하여, 비디오 데이터의 고유한 시공간(spatiotemporal) 상관관계를 고려하지 못한다. 본 논문은 잠재 공간(latent space)의 채널별(channel-wise) 시공간 상관관계를 활용하여 vDiT의 모든 연산을 가속하는 알고리즘-하드웨어 공동 설계 Kaleido를 제안한다. 이 통찰에 기반하여, 부분 결과를 재사용함으로써 중복 연산을 건너뛰는 경량 채널별 재사용 알고리즘을 제안하며, 기존 방법보다 더 높은 생성 품질(>17 dB)을 유지한다. 이 알고리즘을 효율적으로 지원하기 위해, 재구성 가능한 처리 요소(processing element)와 경량 데이터 디스패처(data dispatcher)를 갖춘 systolic array 유형의 가속기를 설계하여, 재사용 알고리즘이 도입하는 불규칙한 희소성(sparsity)과 데이터 접근 패턴을 완화한다. 세 가지 주류 vDiT 모델에 대한 평가 결과, Kaleido는 최신(state-of-the-art) 가속기 대비 최대 5.9배 속도 향상과 16.0배 에너지 절감을 달성한다.
혼합 정밀도 연산은 지연 시간, 에너지 소비, 메모리 사용량을 줄이기 위한 효과적인 접근으로 심층 신경망(DNN)에 도입되었다. 하지만 혼합 정밀도 네트워크를 다중 정밀도 공간 아키텍처에 효율적으로 매핑하는 것은 여러 과제를 안긴다. 이는 각 층에 적절한 정밀도를 결정하고, 층별 양자화에 대한 정확도 민감도를 아키텍처 이질성 및 시스템 수준 제약과 균형을 맞추며, 이질적인 정밀도 할당의 시스템 수준 비용을 정확하게 추정하는 것을 포함한다. 본 논문은 이러한 과제를 해결하기 위해 설계된 효율적인 방법론인 SEADA를 제안한다. SEADA는 다음을 포함한다: (i) 다중 정밀도 공간 가속기 아키텍처의 구성 가능한 시스템 수준 분석 비용 모델; (ii) DNN 워크로드를 대상 정수 가속기에 근최적 매핑을 식별하는 빠른 매핑 도구; (iii) 혼합 정밀도 실행의 전반적인 이점을 추정하기 위한 부동소수점 층용 분석 모델; (iv) 비트 수준 엔트로피를 기반한 층별 정밀도 선택 방법론으로, 여러 수치 정밀도에 효율적인 할당을 가능하게 한다. SEADA의 효율성은 설계자에게 다중 정밀도 아키텍처의 설계 공간 탐험을 위한 견고한 프레임워크를 제공한다.
엣지 AI 시스템은 엄격한 에너지, 성능, 보안, 프라이버시 제약 조건 하에서 실시간 CNN 추론을 점점 더 요구하고 있습니다. 근사 컴퓨팅(approximate computing)은 신경망 워크로드의 오류 허용성(error resilience)을 활용하여 하드웨어 효율성을 향상시키지만, 대부분의 근사 CNN 가속기는 보안과 프라이버시 인식 엣지 배포를 동시에 고려하지 않습니다. 본 논문은 이종 RV32IMC RISC-V 시스템온칩(SoC)에 통합된 보안 및 프라이버시 인식 근사 CNN 가속 프레임워크인 SPARX를 제안합니다. SPARX는 사용자 정의 RISC-V 명령어 확장, 근사 로그 CNN 가속 유닛, 가벼운 차분 노이즈 기반 프라이버시 엔진, 그리고 챌린지-응답(challenge-response) 인증 메커니즘을 결합합니다. 산술 연산 선택을 안내하기 위해 근사 심각도 지수(Approximation Severity Index, ASI), 근사 효율성(Approximation Efficiency, AE), 근사 품질(Quality of Approximation, QoA), 근사 성능 지수(Approximation Figure-of-Merit, AFOM), 하드웨어 가속 효율성(Hardware Acceleration Efficiency, HAE)을 사용하는 근사 인식 결정 프레임워크를 도입했습니다. 11가지 최신 근사 MAC 아키텍처에 대한 평가 결과, 반복 로그 승수(Iterative Logarithmic Multiplier, ILM)가 가장 적합한 설계로 선정되었으며, 이는 정확한 radix-4 Booth MAC과 비교하여 면적을 51.7%, 전력을 81.5% 감소시키고 처리량을 2.13배 향상시키는 반면, ResNet-20/CIFAR-10 정확도는 2.82%p만 감소시켰습니다. Xilinx VC707 플랫폼에서의 FPGA 구현은 250 MHz에서 58.4 GOPS/W의 에너지 효율을 달성했으며, 28-nm CMOS 물리적 구현은 ASIC 실현 가능성을 검증했습니다.