arXiv:2312.16771

Scale-Aware Crowd Count Network with Annotation Error Correction

Yi-Kuan Hsieh, Jun-Wei Hsieh, Yu-Chee Tseng, Ming-Ching Chang, Li Xin

제출 2023-12-28

원문 초록

Traditional crowd counting networks suffer from information loss when feature maps are downsized through pooling layers, leading to inaccuracies in counting crowds at a distance. Existing methods often assume correct annotations during training, disregarding the impact of noisy annotations, especially in crowded scenes. Furthermore, the use of a fixed Gaussian kernel fails to account for the varying pixel distribution with respect to the camera distance. To overcome these challenges, we propose a Scale-Aware Crowd Counting Network (SACC-Net) that introduces a ``scale-aware'' architecture with error-correcting capabilities of noisy annotations. For the first time, we {\bf simultaneously} model labeling errors (mean) and scale variations (variance) by spatially-varying Gaussian distributions to produce fine-grained heat maps for crowd counting. Furthermore, the proposed adaptive Gaussian kernel variance enables the model to learn dynamically with a low-rank approximation, leading to improved convergence efficiency with comparable accuracy. The performance of SACC-Net is extensively evaluated on four public datasets: UCF-QNRF, UCF CC 50, NWPU, and ShanghaiTech A-B. Experimental results demonstrate that SACC-Net outperforms all state-of-the-art methods, validating its effectiveness in achieving superior crowd counting accuracy.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2403.09281v3cs.CV공통 태그 Crowd Counting공식 코드 · Papers with Code

CLIP-EBC: 개선된 블록별 분류를 통해 정확한 계수가 가능한 CLIP

CLIP-EBC: CLIP Can Count Accurately through Enhanced Blockwise Classification

본 논문에서는 정확한 군중 밀도 추정을 위한 최초의 완전한 CLIP 기반 모델인 CLIP-EBC를 제안합니다. CLIP 모델은 제로샷(zero-shot) 이미지 분류와 같은 인식 태스크에서 뛰어난 성과를 보여주었으나, 계수(counting)와 같은 회귀 문제를 인식 태스크로 변환하는 데 따르는 본질적인 어려움으로 인해 계수 태스크에서의 잠재력은 거의 탐색되지 않았습니다. 본 연구에서는 이미지로부터 군중 규모를 추정하는 태스크에 특히 초점을 맞추어 CLIP의 계수 능력을 탐구하고 개선합니다. 기존의 분류 기반 군중 계수 프레임워크는 계수 값을 인접한 실수형 빈(bin)으로 양자화하고 분류 오차에만 집중하는 등 심각한 한계를 가집니다. 이러한 방식은 인접 경계 근처에서의 레이블 모호성과 부정확한 계수 값 예측을 초래합니다. 따라서 기존 프레임워크에 CLIP을 직접 적용하면 차선의 성능을 보일 수 있습니다. 이러한 문제를 해결하기 위해, 먼저 개선된 블록별 분류(EBC, Enhanced Blockwise Classification) 프레임워크를 제안합니다. 이전 방법들과 달리 EBC는 정수형 빈을 사용하여 빈 경계 근처의 모호성을 효과적으로 줄입니다. 또한 밀도 맵(density map) 기반의 회귀 손실을 도입하여 계수 값 예측 정확도를 향상합니다. 백본에 구애받지 않는(backbone-agnostic) EBC 프레임워크 내에서, 해당 태스크에 CLIP의 인식 기능을 완전히 활용하는 CLIP-EBC를 소개합니다. 광범위한 실험을 통해 EBC의 효과와 CLIP-EBC의 경쟁력 있는 성능을 입증합니다. 구체적으로, 제안하는 EBC 프레임워크는 UCF-QNRF 데이터셋에서 기존 분류 기반 방법들의 성능을 최대 44.5% 향상하며, CLIP-EBC는 NWPU-Crowd 테스트 세트에서 MAE 58.2, RMSE 268.5를 기록하여 이전 최고 성능 방법인 STEERER 대비 각각 8.6% 및 13.3% 향상된 SOTA(state-of-the-art) 성능을 달성합니다. 코드와 가중치는 https://github.com/Yiming-M/CLIP-EBC 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.