arXiv:2308.09887

Calibrating Uncertainty for Semi-Supervised Crowd Counting

Chen Li, Xiaoling Hu, Shahira Abousamra, Chao Chen

제출 2023-08-19

원문 초록

Semi-supervised crowd counting is an important yet challenging task. A popular approach is to iteratively generate pseudo-labels for unlabeled data and add them to the training set. The key is to use uncertainty to select reliable pseudo-labels. In this paper, we propose a novel method to calibrate model uncertainty for crowd counting. Our method takes a supervised uncertainty estimation strategy to train the model through a surrogate function. This ensures the uncertainty is well controlled throughout the training. We propose a matching-based patch-wise surrogate function to better approximate uncertainty for crowd counting tasks. The proposed method pays a sufficient amount of attention to details, while maintaining a proper granularity. Altogether our method is able to generate reliable uncertainty estimation, high quality pseudolabels, and achieve state-of-the-art performance in semisupervised crowd counting.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2403.09281v3cs.CV공통 태그 Crowd Counting공식 코드 · Papers with Code

CLIP-EBC: 개선된 블록별 분류를 통해 정확한 계수가 가능한 CLIP

CLIP-EBC: CLIP Can Count Accurately through Enhanced Blockwise Classification

본 논문에서는 정확한 군중 밀도 추정을 위한 최초의 완전한 CLIP 기반 모델인 CLIP-EBC를 제안합니다. CLIP 모델은 제로샷(zero-shot) 이미지 분류와 같은 인식 태스크에서 뛰어난 성과를 보여주었으나, 계수(counting)와 같은 회귀 문제를 인식 태스크로 변환하는 데 따르는 본질적인 어려움으로 인해 계수 태스크에서의 잠재력은 거의 탐색되지 않았습니다. 본 연구에서는 이미지로부터 군중 규모를 추정하는 태스크에 특히 초점을 맞추어 CLIP의 계수 능력을 탐구하고 개선합니다. 기존의 분류 기반 군중 계수 프레임워크는 계수 값을 인접한 실수형 빈(bin)으로 양자화하고 분류 오차에만 집중하는 등 심각한 한계를 가집니다. 이러한 방식은 인접 경계 근처에서의 레이블 모호성과 부정확한 계수 값 예측을 초래합니다. 따라서 기존 프레임워크에 CLIP을 직접 적용하면 차선의 성능을 보일 수 있습니다. 이러한 문제를 해결하기 위해, 먼저 개선된 블록별 분류(EBC, Enhanced Blockwise Classification) 프레임워크를 제안합니다. 이전 방법들과 달리 EBC는 정수형 빈을 사용하여 빈 경계 근처의 모호성을 효과적으로 줄입니다. 또한 밀도 맵(density map) 기반의 회귀 손실을 도입하여 계수 값 예측 정확도를 향상합니다. 백본에 구애받지 않는(backbone-agnostic) EBC 프레임워크 내에서, 해당 태스크에 CLIP의 인식 기능을 완전히 활용하는 CLIP-EBC를 소개합니다. 광범위한 실험을 통해 EBC의 효과와 CLIP-EBC의 경쟁력 있는 성능을 입증합니다. 구체적으로, 제안하는 EBC 프레임워크는 UCF-QNRF 데이터셋에서 기존 분류 기반 방법들의 성능을 최대 44.5% 향상하며, CLIP-EBC는 NWPU-Crowd 테스트 세트에서 MAE 58.2, RMSE 268.5를 기록하여 이전 최고 성능 방법인 STEERER 대비 각각 8.6% 및 13.3% 향상된 SOTA(state-of-the-art) 성능을 달성합니다. 코드와 가중치는 https://github.com/Yiming-M/CLIP-EBC 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.