임베디드 차량 하드웨어에 배치된 교통 표지 인식(TSR) 시스템은 스트리밍 비디오에서의 프레임 간 예측 불안정성과 지속 운용 시 부하에 따른 처리량 등, 이미지 기반 벤치마크 평가가 포착하지 못하는 배치 효과에 직면한다. 우리는 희소 검출, 다중 객체 추적, 영역 수준 세분류, 그리고 샘플링된 프레임당 0.07~ms만 추가하는 경량 트랙 인식 시간적 안정화 메커니즘을 결합한, NVIDIA Jetson Orin Nano 기반 TSR용 연속 엣지 추론 시스템 Edge-TSR을 제안한다. INTSD 벤치마크의 원본 비디오로 평가한 결과, 최신 TSR 모델은 이미지 기반 평가에서 스트리밍 평가로 옮겨갈 때 mAP@50이 20-30 퍼센트 포인트 하락함을 확인했다. Edge-TSR은 평가된 모든 기준선 중 최고의 스트리밍 분류 성능을 달성하며, 시간적 안정화는 프레임별 추론 대비 정확도를 10.58 퍼센트 포인트 향상시킨다. 우리는 샘플링 간격과 네 가지 주행 조건에 걸쳐 지연 시간, 처리량, 열 특성을 분석하여, 처리량이 부하에 비례하며(분류 영역당 20 ms) 매 프레임 추론이 열 스로틀링이 아니라 처리량에 의해 제한됨을 보인다. 55분, 26 km의 차량 배치 실험은 클라우드 오프로딩 없이 안전한 열 한계 내에서 16.18 FPS의 지속적인 온라인 운용이 가능함을 보여 준다. 또한 주석이 달린 50,732 프레임의 스트리밍 평가 데이터셋과 전체 구현을 공개한다.
엣지 배포(edge deployment)는 낮은 지연 시간, 데이터 보안, 또는 제한된 연결성이 핵심 요구사항인 산업용 머신 비전 시스템에서 흔히 선호되는 솔루션이다. 엣지 디바이스에서의 추론을 최적화하기 위한 여러 프레임워크가 존재하지만, 산업 배포 조건에서의 추론 시간 성능을 체계적으로 비교한 연구는 상대적으로 드물다. 본 연구에서는 산업 환경의 머신 비전 추론에 널리 사용되는 네 가지 접근 방식, 즉 순수 PyTorch, ONNX Runtime, OpenVINO, TensorRT에 대한 비교 연구를 제시한다. 평가는 추론 시간에 초점을 맞추며, 여러 CPU 및 GPU 기반 하드웨어 플랫폼을 대상으로 하고, 기존 합성곱 신경망과 트랜스포머 기반 비전 모델을 모두 포함한다. 평가된 하드웨어 플랫폼과 모델에 대한 결과, OpenVINO는 CPU에서 가장 낮은 추론 시간을 달성한 반면, TensorRT는 GPU에서 가장 낮은 추론 시간을 달성하였다. 단, TensorRT는 본 연구에서 고려된 트랜스포머 기반 모델에 대해 순수 PyTorch를 능가하지 못하였다.
에너지 효율적인 에지 추론을 위해서는 연산 비용, 메모리 트래픽, 하드웨어 오버헤드를 줄여야 한다. 본 논문은 에지 효율 신경망을 위한 NVFP4 LUT 기반 추론에 대한 어블레이션 중심 연구를 제시한다. 제안된 NVLUT 프레임워크는 4비트 NVFP4 활성화, 2단계 스케일링, LUT 기반 가수(mantissa) 연산, 전압 스케일 저장, 선택적 ECC 보호를 결합한다. 곱셈은 부호, 지수, 가수 경로로 분해되며, 부호는 XOR 논리, 지수는 정수 덧셈, 가수 곱셈은 컴팩트 LUT 접근으로 대체된다. NVFP4 활성화는 FP8 블록 스케일과 FP32 텐서 스케일을 갖는 FP4 데이터를 사용한다. 6개의 에지 효율 모델에 걸쳐 블록 크기 어블레이션 결과, B = 16이 실용적인 정확도/저장 트레이드오프를 제공하며 N = 4096에서 입력당 4.5078비트만 필요함을 보여준다. 가중치 정밀도 어블레이션은 동일한 NVFP4 활성화 경로에서 FP8 및 FP16 가중치가 FP4 가중치 대비 미미한 이득만 제공함을 보여준다. 순수 비스케일 FP4와 비교했을 때, 재학습 없는 NVFP4는 활성화 동적 범위를 복원하여 상당한 정확도를 회복하며, 재학습을 적용한 NVFP4는 모델 전반에서 최고 정확도를 달성한다. 하드웨어 분석 결과 NVLUT는 ECC 및 전압 스케일링이 적용된 기존 LUT 대비 최대 26.85배, 혼합 전압 동작에서는 최대 22.85배의 에너지 절감을 달성한다. 면적은 각각 최대 2.21배 및 1.52배 감소한다. 이러한 결과는 선택적 신뢰성 보호를 갖춘 NVFP4 2단계 스케일링이 강건하고 저에너지 에지 추론을 가능하게 함을 보여준다.