arXiv:2007.06334

Active Crowd Counting with Limited Supervision

Zhen Zhao, Miaojing Shi, Xiaoxiao Zhao, Li Li

제출 2020-07-13

원문 초록

To learn a reliable people counter from crowd images, head center annotations are normally required. Annotating head centers is however a laborious and tedious process in dense crowds. In this paper, we present an active learning framework which enables accurate crowd counting with limited supervision: given a small labeling budget, instead of randomly selecting images to annotate, we first introduce an active labeling strategy to annotate the most informative images in the dataset and learn the counting model upon them. The process is repeated such that in every cycle we select the samples that are diverse in crowd density and dissimilar to previous selections. In the last cycle when the labeling budget is met, the large amount of unlabeled data are also utilized: a distribution classifier is introduced to align the labeled data with unlabeled data; furthermore, we propose to mix up the distribution labels and latent representations of data in the network to particularly improve the distribution alignment in-between training samples. We follow the popular density estimation pipeline for crowd counting. Extensive experiments are conducted on standard benchmarks i.e. ShanghaiTech, UCF CC 50, MAll, TRANCOS, and DCC. By annotating limited number of images (e.g. 10% of the dataset), our method reaches levels of performance not far from the state of the art which utilize full annotations of the dataset.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10396v2cs.CV공통 태그 Density Estimation, Crowd Counting

가우시안 밀도 스플래팅 네트워크

Gaussian Density Splatting Network

본 논문에서는 새로운 군중 계수(crowd counting) 접근 방식인 가우시안 밀도 스플래팅 네트워크(Gaussian Density Splatting Network, GDSNet)를 제안합니다. 기존의 격자 기반 밀도 맵에 의존하여 공간 해상도에 민감한 방법들과 달리, GDSNet은 군중을 연속적인 2D 가우시안 프리미티브(Gaussian primitives)의 중첩으로 표현합니다. 제안하는 접근 방식은 두 가지 핵심 기여를 기반으로 구축되었습니다. 첫째, 가우시안 파라미터 예측을 구조화하기 위해 제어점(control-point) 기반 피팅 메커니즘을 도입합니다. 제어점 세트는 국소 영역을 정의하도록 적응형으로 할당되며, 각 프리미티브의 파라미터를 회귀하기 위해 해당 영역에서 특징을 풀링합니다. 둘째, 각 프리미티브를 기하학적 파라미터와 스칼라 밀도 질량(density mass)으로 매개변수화하여 미분 가능한 가우시안 스플래팅 프레임워크를 계수 태스크에 맞게 조정합니다. 이러한 정식화를 통해 미분 가능하게 렌더링된 밀도 맵의 공간 매칭을 거쳐 네트워크를 엔드투엔드로 학습(training)할 수 있으며, 국소 밀도 지도(supervision)와 전역 계수 최적화(optimization)를 자연스럽게 모두 제공합니다. 4개의 표준 벤치마크(benchmark)에 대한 광범위한 평가(evaluation)에서 GDSNet은 기존 최고 수준(state-of-the-art)의 성능을 일관되게 능가함을 보여줍니다. 코드는 https://github.com/infinite0522/GDSNet-Gaussian-Density-Splatting-Network 에서 확인할 수 있습니다.

arXiv:2609.23012v1cs.CV공통 태그 Density Estimation, Crowd Counting

CrowdCue: 비전-언어 군중 계수를 위한 전문가-단서 조건화

CrowdCue: Specialist-Cue Conditioning for Vision-Language Crowd Counting

생성형 비전-언어 모델(VLM)은 하나의 모델이 군중 수와 장면에 대한 자연어 설명을 모두 생성하는 계수 패러다임을 제공하지만, 이들의 순수 계수 정확도는 100만 개 미만의 매개변수를 가진 전문가 회귀 모델 수준에 머물러 있습니다. 여기서 핵심적인 미해결 과제는 사전학습된 전문가의 보조 가이드가 VLM을 유의미한 수준으로 끌어올릴 수 있는지, 그리고 그 가이드를 어떤 채널을 통해 전달하는 것이 최적인지 여부입니다. 본 연구에서는 네 가지 널리 사용되는 군중 계수 벤치마크(ShanghaiTech A 및 B, UCF-QNRF, NWPU-Crowd)에서 Qwen2.5-VL-7B를 평가합니다. 제로샷 프롬프팅은 파싱 가능한 계수 값을 거의 생성하지 못하므로, LoRA 지도 미세조정을 통해 전체 MAE 81.64의 기준선을 확립했습니다. P2PNet에서 파생된 밀도 히트맵을 보조 시각적 신호로 조건화하는 방식은 테스트한 모든 인코딩에서 실패했으며, 적대적 교체 프로토콜을 통해 모델이 히트맵을 읽기는 하지만 이를 역효과가 나도록 적용함을 확인했습니다. 이에 따라 본 연구는 동일한 전문가의 이미 통합된 정수 계수 값을 이산 기호로서 VLM에 제공하는 접근 방식인 CrowdCue를 제안합니다. 텍스트 채널 변형은 MAE 72.04에 도달했습니다. 정수를 인쇄된 숫자로 렌더링하여 두 번째 이미지로 제공하는 시각적 채널 변형은 본 논문에서 가장 우수한 결과인 MAE 62.65에 도달하며, 단서를 제공한 전문가 단독 성능(동일 분할 기준 84.45)을 크게 앞질렀습니다. 본 연구에서 다룬 후기 융합 VLM에서 구속 제약이 되는 것은 채널 자체가 아니라 전문가 신호가 전달되는 추상화 수준입니다.

arXiv:2606.18566v1cs.CV공통 태그 Density Estimation, Crowd Counting

저조도 군집 계수를 위한 멀티 모달 하이퍼 그래프 융합

Multi-Modal Hyper-Graph Fusion for Low-Light Crowd Counting

군집 계수는 컴퓨터 비전(computer vision)의 기본적인 과제입니다. 그러나 실제 세계에서의 실용적 중요성에도 불구하고, 저조도 환경에서의 군집 계수는 아직까지 거의 탐구되지 않았습니다. 기존 방법들은 주로 조명이 충분한 장면에 초점을 맞추거나 단일 모달 Red-Green-Blue (RGB) 표현에 의존하는데, 이는 극심한 어둠과 복잡한 비균일 조명 하에서는 종종 신뢰할 수 없게 됩니다. 이 문제를 해결하기 위해, 우리는 두 개의 합성 데이터셋(dataset)인 SHA_Dark와 SHB_Dark, 그리고 실제 세계 벤치마크(benchmark)인 LC-Crowd (Low-light Crowd Dataset)로 구성된 세 가지 새로운 저조도 군집 계수 벤치마크를 구축했습니다. Retinex 기반 물리적 모델링에서 영감을 받아, 저조도 조건에서 내재적 반사율(intrinsic reflectance) 표현을 향상시키기 위해 깊이(depth)와 Canny 에지(edge) 단서를 보완적인 기하학적 및 구조적 사전(priors)으로 도입했습니다. 우리는 RGB 외관, 깊이 기하학, 에지 구조 단서를 통합된 하이퍼 그래프 내의 노드로 공식화하고, 동적 하이퍼에지(hyperedge) 구성 및 메시지 전달(message passing)을 통해 그들의 고차원(high-order) 보완적 관계를 명시적으로 포착하는 멀티 모달 하이퍼 그래프 융합 모듈을 제안합니다. 또한, 밀집 예측(dense prediction)에서 계산을 적응적으로 할당하기 위해, 앵커 인식(anchor-aware) 추정 및 적응형 직사각형 윈도우(window) 모델링을 통해 정보가 풍부한 영역에 계산을 집중시키는 변형 가능한 직사각형 희소 어텐션(Deformable Rectangular Sparse Attention, DRSA) 모듈을 제안합니다. 이러한 설계를 바탕으로, 우리는 견고한 저조도 군집 계수를 위한 통합된 저조도 계수 네트워크(Low-Light Counting Network, LCNet)를 개발했습니다. 세 가지 벤치마크에 대한 광범위한 실험을 통해, 제안된 방법이 기존 최첨단(SOTA) 방법들 대비 최상의 전반적인 성능을 달성함을 입증했습니다. 코드는 보충 자료에 포함되어 있습니다. 데이터셋은 논문 수락 후 공개될 예정입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.