FrequencyFormer: 주파수 영역 비전 트랜스포머 추론을 위한 공동 설계된 센서-프로세서 파이프라인
FrequencyFormer: A Co-Designed Sensor-to-Processor Pipeline for Frequency-Domain Vision Transformer Inference
센서 엣지 시스템에 비전 트랜스포머(ViT)를 배포하는 것은 온디바이스 연산뿐만 아니라 센서에서 프로세서로 고차원 이미지 데이터를 전송하는 데 필요한 에너지와 대역폭에 의해서도 제한됩니다. 센서 내(in-sensor) 및 센서 근접(near-sensor) 컴퓨팅은 조기 특징 추출을 통해 이 비용을 줄이지만, 기존 방법들은 종종 제한적인 압축만 제공합니다. 우리는 주파수 영역이 시각 정보에 대한 본질적으로 간결한 표현을 제공하며, 센서 레벨에서 활용되어 센서-프로세서 데이터 이동을 줄일 수 있음을 관찰했습니다. 이러한 통찰을 바탕으로, 우리는 효율적인 ViT 추론을 위한 공동 설계된 센서-프로세서 파이프라인인 FrequencyFormer를 제시합니다. FrequencyFormer는 다음을 포함합니다: (1) 224x224 이미지를 간결한 주파수 영역 토큰으로 압축하여 미미한 정확도 손실로 오프칩 데이터 양을 최대 128배 줄이는 멀티스케일 DCT 토크나이저; (2) 고정된 DCT 계수를 활용하여 곱셈 없는, 에너지 및 면적 효율적인 토큰화를 달성하는 LUT 기반 센서 근접 하드웨어 구현; (3) 전송 에너지를 더욱 줄이는 수정된 MIPI 기반 저전력 통신 아키텍처. FrequencyFormer는 표준 ViT 패치 임베딩을 대체할 수 있는 모듈로 작동하며, 분류, 검출, 분할 작업에 걸쳐 사전학습된 백본과 호환성을 유지합니다. 이 파이프라인은 28.8 TOPS/W를 달성하고, 통신 에너지를 230배 줄이며, 전체 센서 측 에너지를 2.22배 절감하여, 주파수 영역 토큰화가 센서 내 ViT 배포를 위한 확장 가능한 기반임을 입증합니다.