arXiv:2107.03964

Enhancing Video Analytics Accuracy via Real-time Automated Camera Parameter Tuning

Sibendu Paul, Kunal Rao, Giuseppe Coviello, Murugan Sankaradas, Oliver Po, Y. Charlie Hu, Srimat T. Chakradhar

제출 2021-07-08

원문 초록

In Video Analytics Pipelines (VAP), Analytics Units (AUs) such as object detection and face recognition running on remote servers critically rely on surveillance cameras to capture high-quality video streams in order to achieve high accuracy. Modern IP cameras come with a large number of camera parameters that directly affect the quality of the video stream capture. While a few of such parameters, e.g., exposure, focus, white balance are automatically adjusted by the camera internally, the remaining ones are not. We denote such camera parameters as non-automated (NAUTO) parameters. In this paper, we first show that environmental condition changes can have significant adverse effect on the accuracy of insights from the AUs, but such adverse impact can potentially be mitigated by dynamically adjusting NAUTO camera parameters in response to changes in environmental conditions. We then present CamTuner, to our knowledge, the first framework that dynamically adapts NAUTO camera parameters to optimize the accuracy of AUs in a VAP in response to adverse changes in environmental conditions. CamTuner is based on SARSA reinforcement learning and it incorporates two novel components: a light-weight analytics quality estimator and a virtual camera that drastically speed up offline RL training. Our controlled experiments and real-world VAP deployment show that compared to a VAP using the default camera setting, CamTuner enhances VAP accuracy by detecting 15.9% additional persons and 2.6%-4.2% additional cars (without any false positives) in a large enterprise parking lot and 9.7% additional cars in a 5G smart traffic intersection scenario, which enables a new usecase of accurate and reliable automatic vehicle collision prediction (AVCP). CamTuner opens doors for new ways to significantly enhance video analytics accuracy beyond incremental improvements from refining deep-learning models.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.22750v1cs.CV공통 태그 Object Detection, Face Recognition

견고한 강의실 출석을 향하여: 얼굴 검출 및 인식 모델의 종합 평가

Towards Robust Classroom Attendance: A Comprehensive Evaluation of Face Detection and Recognition Models

수기 출석 방식(종이나 명부 기반 시스템 등)은 시간이 많이 걸리고, 오류를 유발할 수 있으며, 위조하기 쉽다. 얼굴 인식은 더 신뢰할 수 있지만, 조명 및 기타 조건이 달라질 수 있는 강의실 환경에서는 자주 어려움을 겪는다. 얼굴 인식 데이터셋은 통제된 환경을 위해 설계되어 강의실에서 실제로 마주치는 어려움을 반영하지 못한다. 이를 해결하기 위해 얼굴 검출 및 인식 작업을 위해 16,234개의 얼굴 샘플로 구성된 새로운 얼굴 검출 및 인식 데이터셋인 Visage Face 데이터셋을 제안한다. 사진은 다양한 각도와 조명 조건에서 촬영되었으며, 학생들이 다양한 표정을 보이고 일부 얼굴은 실제 상황을 반영하기 위해 부분적으로 가려져 있다. YOLO 기반 시스템으로 얼굴을 검출하고, LVFace, QCFace, FaceLiVTv2, TopoFR, EdgeFace, TransFace, GhostFaceNets 등 7개의 고급 얼굴 인식 모델을 13가지 구성으로 테스트하였다. 이 중 FaceLiVTv2-M이 Top-1/Top-5 정확도 99.75%와 추론 시간 6.459 ms로 최고 성능을 보였다. 이러한 결과는 Visage Face Dataset이 강의실 출석을 위한 얼굴 인식에 있어 현실적이고 도전적인 벤치마크임을 보여준다.

arXiv:2607.11419v1cs.CV공통 태그 Object Detection, Face Recognition

원격 신분증 홀로그램 탐지를 위한 비디오 트랜스포머

Video Transformer for Remote Identity Document Hologram Detection

신분증(ID Document)을 활용한 원격 신원 인증은 수년간 주요 과제로 남아 있다. 딥페이크(DeepFake)의 등장과 AI 기반 도구의 발전으로 사기꾼들이 위조 신분증을 제작하기 쉬워졌다. 신분증의 진위 확인은 원격 인증 보안화에 있어 핵심 요소가 되었으며, 행정 및 거래 프로세스의 디지털화가 가속화됨에 따라 이러한 필요성은 더욱 커지고 있다. 광범위한 접근성을 보장하기 위해 시스템은 모바일 기기로 촬영한 영상만을 기반으로 동작해야 한다. 이러한 특수한 상황에서 신분증 진위 확인은 적외선 센서 등 특수 장비가 필요한 보안 요소가 많아 실질적인 도전 과제다. 활용도는 낮지만 유망한 보안 요소 중 홀로그래픽 인쇄(holographic printing)는 특별한 위치를 차지한다. 위조가 어렵고 조명에 따라 독특한 시각적 효과를 나타내어, 스마트폰 카메라로 촬영한 영상에서 탐지 가능하면서도 모방하기 어렵다. 본 논문에서는 원격 신분증 검증 시스템(RIDVS, Remote Identity Document Verification System)과 스마트폰으로 촬영한 일반 영상에서 홀로그램을 탐지하기 위한 비디오 트랜스포머 기반 접근법을 제안한다. 제안 시스템은 스마트폰 기반 촬영 후 서버 측 검증을 수행하도록 설계되었다. 홀로그램 탐지 방법은 관련 연구 도메인에서 이미 검증된 견고한 모델을 기반으로 한다. 제안 방법이 기존 최신 기술(SotA) 방법들을 능가함을 입증하며, 중소 규모 데이터셋으로 학습하더라도 거의 완벽한 정확도를 달성한다. 특히 최고 성능의 MIDV-Holo 기준선 대비 재현율 +26.86%, 정확도 +17.93%의 향상을 보고한다. 본 연구는 학습 샘플과 컴퓨팅 자원 모두에서 모델의 경량화(frugality) 적응성을 평가하는 다수의 실험을 포함한다.

arXiv:2607.14445v2cs.CV공통 태그 Object Detection

Cotton-SF YOLO: 복잡한 밭 환경에서 초기 면화 봉오리 검출을 위한 구조 및 주파수 단서 학습

Cotton-SF YOLO: Learning Structural and Frequency Cues for Early Cotton Square Detection in Complex Field Environments

면화 봉오리는 면화의 초기 생식 성장을 나타내는 중요한 표현형 지표이며, 면화 봉오리의 자동 현장 검출은 면화 생육 모니터링 및 정밀 재배 관리에 중요한 근거를 제공한다. 그러나 복잡한 밭 환경에서의 초기 면화 봉오리 검출은 여전히 충분히 탐구되지 않았는데, 면화 봉오리는 크기가 작고, 자주 가려지며, 쉽게 흐려지고, 조명 변화의 영향을 받으며, 주변 면화 잎과의 대비가 낮기 때문이다. 이러한 과제를 해결하기 위해, 우리는 자연 현장 조건에서의 면화 봉오리 검출을 위해 YOLO26m 기반의 과제 지향형 프레임워크인 Cotton-SF YOLO를 제안한다. 작고 불규칙한 면화 봉오리 경계의 인식을 개선하기 위해, 검출기에 Dynamic Snake Convolution을 도입하여 변형 가능한 가장자리 특징의 적응적 추출을 가능하게 한다. 또한, C2f 구조에 스펙트럼 강화를 통합하여 주파수 영역 특징 변조 모듈을 설계하는데, 이는 주파수 영역 표현을 재조정하고 판별적인 가장자리 및 텍스처 단서를 강화하는 동시에 복잡한 면화 잎 배경으로부터의 간섭을 줄인다. 수동으로 주석이 달린 면화 봉오리를 포함하여 새롭게 구축하고 주석을 부여한 현장 데이터셋에서 학습 및 평가한 결과, 제안 모델은 mAP$_{50}$, mAP$_{50:95}$, 재현율 값으로 각각 0.8196, 0.4942, 0.7939를 달성하여 기준선 YOLO26m 대비 각각 1.25%, 3.45%, 2.96% 향상되었다. 소거(ablation) 실험 및 시각화는 구조 및 주파수 단서의 상보적 효과로 최상의 성능이 달성됨을 보여준다.

arXiv:2609.07780v3cs.CV공통 태그 Object Detection

DroneGround: 합성 데이터와 그라운디드 비전-언어 모델을 활용한 오픈 보캐블러리 드론 탑재체 특성 분석

DroneGround: Open-Vocabulary Drone Payload Characterization Using Synthetic Data and Grounded Vision-Language Models

자동화된 드론 감시는 공공 안전, 중요 인프라 보호 및 제한 공역 모니터링을 위해 점점 더 중요해지고 있습니다. 기존의 비전 기반 시스템은 드론 탐지 및 추적에서 뛰어난 성능을 달성하지만, 원거리 촬영 조건에서는 주석이 달린 실제 데이터셋의 부족과 배포 시 직면하는 상당한 분포 변화(distribution shift)로 인해 신뢰할 수 있는 탑재체(payload) 특성 분석이 여전히 매우 어려운 과제로 남아 있습니다. 기존 접근법들은 탑재체 특성 분석을 닫힌 집합(closed-set) 객체 검출 문제로 정식화하여, 이전에 보지 못한 탑재체를 인식하고 학습 분포를 넘어 일반화하는 능력을 제한합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Unreal Engine 5와 Cosys-AirSim을 사용하여 사실적인(photorealistic) 합성 드론-탑재체 데이터셋을 생성하고, 강력한 오픈 보캐블러리(open-vocabulary) 탑재체 분석을 위한 2단계 프레임워크인 DroneGround(Grounded Vision-Language Payload Characterization)를 제안합니다. DroneGround는 먼저 YOLO26s 검출기를 사용하여 드론의 위치를 특정하고 드론 중심의 이미지 크롭을 추출한 다음, LoRA 파인튜닝된 PaliGemma 비전-언어 모델을 활용해 탐지된 드론 및 부착된 탑재체에 대한 시맨틱 설명을 생성함으로써 사전에 정의된 범주를 넘어서는 오픈 보캐블러리 탑재체 특성 분석을 가능하게 합니다. 또한 폐색 기반 그라운딩(grounding) 모듈은 생성된 설명에 기여하는 이미지 영역을 식별하여 해석 가능한 탑재체 위치 추정 기능을 제공합니다. 합성 및 실제 드론 영상 모두에 대한 광범위한 실험을 통해 DroneGround가 합성-실제(synthetic-to-real) 분포 변화 하에서 견고성을 크게 향상시켜 F1-점수를 82.5%에서 96.3%로 높여 기존의 닫힌 집합 탑재체 검출기를 능가하는 동시에, 이전에 보지 못한 탑재체 범주에 대해서도 훨씬 더 우수한 일반화 성능(F1 80.4% 대 42.7%)을 달성함을 입증합니다. 데이터셋과 코드는 요청 시 공개될 예정입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.