arXiv:2105.10926

Rethinking Global Context in Crowd Counting

Guolei Sun, Yun Liu, Thomas Probst, Danda Pani Paudel, Nikola Popovic, Luc van Gool

제출 2021-05-23

원문 초록

This paper investigates the role of global context for crowd counting. Specifically, a pure transformer is used to extract features with global information from overlapping image patches. Inspired by classification, we add a context token to the input sequence, to facilitate information exchange with tokens corresponding to image patches throughout transformer layers. Due to the fact that transformers do not explicitly model the tried-and-true channel-wise interactions, we propose a token-attention module (TAM) to recalibrate encoded features through channel-wise attention informed by the context token. Beyond that, it is adopted to predict the total person count of the image through regression-token module (RTM). Extensive experiments on various datasets, including ShanghaiTech, UCF-QNRF, JHU-CROWD++ and NWPU, demonstrate that the proposed context extraction techniques can significantly improve the performance over the baselines.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2403.09281v3cs.CV공통 태그 Crowd Counting공식 코드 · Papers with Code

CLIP-EBC: 개선된 블록별 분류를 통해 정확한 계수가 가능한 CLIP

CLIP-EBC: CLIP Can Count Accurately through Enhanced Blockwise Classification

본 논문에서는 정확한 군중 밀도 추정을 위한 최초의 완전한 CLIP 기반 모델인 CLIP-EBC를 제안합니다. CLIP 모델은 제로샷(zero-shot) 이미지 분류와 같은 인식 태스크에서 뛰어난 성과를 보여주었으나, 계수(counting)와 같은 회귀 문제를 인식 태스크로 변환하는 데 따르는 본질적인 어려움으로 인해 계수 태스크에서의 잠재력은 거의 탐색되지 않았습니다. 본 연구에서는 이미지로부터 군중 규모를 추정하는 태스크에 특히 초점을 맞추어 CLIP의 계수 능력을 탐구하고 개선합니다. 기존의 분류 기반 군중 계수 프레임워크는 계수 값을 인접한 실수형 빈(bin)으로 양자화하고 분류 오차에만 집중하는 등 심각한 한계를 가집니다. 이러한 방식은 인접 경계 근처에서의 레이블 모호성과 부정확한 계수 값 예측을 초래합니다. 따라서 기존 프레임워크에 CLIP을 직접 적용하면 차선의 성능을 보일 수 있습니다. 이러한 문제를 해결하기 위해, 먼저 개선된 블록별 분류(EBC, Enhanced Blockwise Classification) 프레임워크를 제안합니다. 이전 방법들과 달리 EBC는 정수형 빈을 사용하여 빈 경계 근처의 모호성을 효과적으로 줄입니다. 또한 밀도 맵(density map) 기반의 회귀 손실을 도입하여 계수 값 예측 정확도를 향상합니다. 백본에 구애받지 않는(backbone-agnostic) EBC 프레임워크 내에서, 해당 태스크에 CLIP의 인식 기능을 완전히 활용하는 CLIP-EBC를 소개합니다. 광범위한 실험을 통해 EBC의 효과와 CLIP-EBC의 경쟁력 있는 성능을 입증합니다. 구체적으로, 제안하는 EBC 프레임워크는 UCF-QNRF 데이터셋에서 기존 분류 기반 방법들의 성능을 최대 44.5% 향상하며, CLIP-EBC는 NWPU-Crowd 테스트 세트에서 MAE 58.2, RMSE 268.5를 기록하여 이전 최고 성능 방법인 STEERER 대비 각각 8.6% 및 13.3% 향상된 SOTA(state-of-the-art) 성능을 달성합니다. 코드와 가중치는 https://github.com/Yiming-M/CLIP-EBC 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.