arXiv:2302.05374

LCDnet: A Lightweight Crowd Density Estimation Model for Real-time Video Surveillance

Muhammad Asif Khan, Hamid Menouar, Ridha Hamila

제출 2023-02-10

원문 초록

Automatic crowd counting using density estimation has gained significant attention in computer vision research. As a result, a large number of crowd counting and density estimation models using convolution neural networks (CNN) have been published in the last few years. These models have achieved good accuracy over benchmark datasets. However, attempts to improve the accuracy often lead to higher complexity in these models. In real-time video surveillance applications using drones with limited computing resources, deep models incur intolerable higher inference delay. In this paper, we propose (i) a Lightweight Crowd Density estimation model (LCDnet) for real-time video surveillance, and (ii) an improved training method using curriculum learning (CL). LCDnet is trained using CL and evaluated over two benchmark datasets i.e., DroneRGBT and CARPK. Results are compared with existing crowd models. Our evaluation shows that the LCDnet achieves a reasonably good accuracy while significantly reducing the inference time and memory requirement and thus can be deployed over edge devices with very limited computing resources.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10396v2cs.CV공통 태그 Density Estimation, Crowd Counting

가우시안 밀도 스플래팅 네트워크

Gaussian Density Splatting Network

본 논문에서는 새로운 군중 계수(crowd counting) 접근 방식인 가우시안 밀도 스플래팅 네트워크(Gaussian Density Splatting Network, GDSNet)를 제안합니다. 기존의 격자 기반 밀도 맵에 의존하여 공간 해상도에 민감한 방법들과 달리, GDSNet은 군중을 연속적인 2D 가우시안 프리미티브(Gaussian primitives)의 중첩으로 표현합니다. 제안하는 접근 방식은 두 가지 핵심 기여를 기반으로 구축되었습니다. 첫째, 가우시안 파라미터 예측을 구조화하기 위해 제어점(control-point) 기반 피팅 메커니즘을 도입합니다. 제어점 세트는 국소 영역을 정의하도록 적응형으로 할당되며, 각 프리미티브의 파라미터를 회귀하기 위해 해당 영역에서 특징을 풀링합니다. 둘째, 각 프리미티브를 기하학적 파라미터와 스칼라 밀도 질량(density mass)으로 매개변수화하여 미분 가능한 가우시안 스플래팅 프레임워크를 계수 태스크에 맞게 조정합니다. 이러한 정식화를 통해 미분 가능하게 렌더링된 밀도 맵의 공간 매칭을 거쳐 네트워크를 엔드투엔드로 학습(training)할 수 있으며, 국소 밀도 지도(supervision)와 전역 계수 최적화(optimization)를 자연스럽게 모두 제공합니다. 4개의 표준 벤치마크(benchmark)에 대한 광범위한 평가(evaluation)에서 GDSNet은 기존 최고 수준(state-of-the-art)의 성능을 일관되게 능가함을 보여줍니다. 코드는 https://github.com/infinite0522/GDSNet-Gaussian-Density-Splatting-Network 에서 확인할 수 있습니다.

arXiv:2609.23012v1cs.CV공통 태그 Density Estimation, Crowd Counting

CrowdCue: 비전-언어 군중 계수를 위한 전문가-단서 조건화

CrowdCue: Specialist-Cue Conditioning for Vision-Language Crowd Counting

생성형 비전-언어 모델(VLM)은 하나의 모델이 군중 수와 장면에 대한 자연어 설명을 모두 생성하는 계수 패러다임을 제공하지만, 이들의 순수 계수 정확도는 100만 개 미만의 매개변수를 가진 전문가 회귀 모델 수준에 머물러 있습니다. 여기서 핵심적인 미해결 과제는 사전학습된 전문가의 보조 가이드가 VLM을 유의미한 수준으로 끌어올릴 수 있는지, 그리고 그 가이드를 어떤 채널을 통해 전달하는 것이 최적인지 여부입니다. 본 연구에서는 네 가지 널리 사용되는 군중 계수 벤치마크(ShanghaiTech A 및 B, UCF-QNRF, NWPU-Crowd)에서 Qwen2.5-VL-7B를 평가합니다. 제로샷 프롬프팅은 파싱 가능한 계수 값을 거의 생성하지 못하므로, LoRA 지도 미세조정을 통해 전체 MAE 81.64의 기준선을 확립했습니다. P2PNet에서 파생된 밀도 히트맵을 보조 시각적 신호로 조건화하는 방식은 테스트한 모든 인코딩에서 실패했으며, 적대적 교체 프로토콜을 통해 모델이 히트맵을 읽기는 하지만 이를 역효과가 나도록 적용함을 확인했습니다. 이에 따라 본 연구는 동일한 전문가의 이미 통합된 정수 계수 값을 이산 기호로서 VLM에 제공하는 접근 방식인 CrowdCue를 제안합니다. 텍스트 채널 변형은 MAE 72.04에 도달했습니다. 정수를 인쇄된 숫자로 렌더링하여 두 번째 이미지로 제공하는 시각적 채널 변형은 본 논문에서 가장 우수한 결과인 MAE 62.65에 도달하며, 단서를 제공한 전문가 단독 성능(동일 분할 기준 84.45)을 크게 앞질렀습니다. 본 연구에서 다룬 후기 융합 VLM에서 구속 제약이 되는 것은 채널 자체가 아니라 전문가 신호가 전달되는 추상화 수준입니다.

arXiv:2606.18566v1cs.CV공통 태그 Density Estimation, Crowd Counting

저조도 군집 계수를 위한 멀티 모달 하이퍼 그래프 융합

Multi-Modal Hyper-Graph Fusion for Low-Light Crowd Counting

군집 계수는 컴퓨터 비전(computer vision)의 기본적인 과제입니다. 그러나 실제 세계에서의 실용적 중요성에도 불구하고, 저조도 환경에서의 군집 계수는 아직까지 거의 탐구되지 않았습니다. 기존 방법들은 주로 조명이 충분한 장면에 초점을 맞추거나 단일 모달 Red-Green-Blue (RGB) 표현에 의존하는데, 이는 극심한 어둠과 복잡한 비균일 조명 하에서는 종종 신뢰할 수 없게 됩니다. 이 문제를 해결하기 위해, 우리는 두 개의 합성 데이터셋(dataset)인 SHA_Dark와 SHB_Dark, 그리고 실제 세계 벤치마크(benchmark)인 LC-Crowd (Low-light Crowd Dataset)로 구성된 세 가지 새로운 저조도 군집 계수 벤치마크를 구축했습니다. Retinex 기반 물리적 모델링에서 영감을 받아, 저조도 조건에서 내재적 반사율(intrinsic reflectance) 표현을 향상시키기 위해 깊이(depth)와 Canny 에지(edge) 단서를 보완적인 기하학적 및 구조적 사전(priors)으로 도입했습니다. 우리는 RGB 외관, 깊이 기하학, 에지 구조 단서를 통합된 하이퍼 그래프 내의 노드로 공식화하고, 동적 하이퍼에지(hyperedge) 구성 및 메시지 전달(message passing)을 통해 그들의 고차원(high-order) 보완적 관계를 명시적으로 포착하는 멀티 모달 하이퍼 그래프 융합 모듈을 제안합니다. 또한, 밀집 예측(dense prediction)에서 계산을 적응적으로 할당하기 위해, 앵커 인식(anchor-aware) 추정 및 적응형 직사각형 윈도우(window) 모델링을 통해 정보가 풍부한 영역에 계산을 집중시키는 변형 가능한 직사각형 희소 어텐션(Deformable Rectangular Sparse Attention, DRSA) 모듈을 제안합니다. 이러한 설계를 바탕으로, 우리는 견고한 저조도 군집 계수를 위한 통합된 저조도 계수 네트워크(Low-Light Counting Network, LCNet)를 개발했습니다. 세 가지 벤치마크에 대한 광범위한 실험을 통해, 제안된 방법이 기존 최첨단(SOTA) 방법들 대비 최상의 전반적인 성능을 달성함을 입증했습니다. 코드는 보충 자료에 포함되어 있습니다. 데이터셋은 논문 수락 후 공개될 예정입니다.

arXiv:2505.23527v4cs.LG공통 태그 Density Estimation공식 코드 · Papers with Code

정규화 흐름은 연속 제어에 유능한 모델이다

Normalizing Flows are Capable Models for Continuous Control

현대 강화학습(RL) 알고리즘은 트랜스포머, 에너지 기반 모델, diffusion/flow 기반 모델과 같은 강력한 확률 모델을 활용함으로써 성공을 거두었다. 이를 위해 RL 연구자들은 이러한 모델을 알고리즘에 맞추는 대가를 자주 감수한다. diffusion 모델은 표현력이 뛰어나지만 미분 방정식을 풀어야 한다는 점 때문에 계산 비용이 크고, autoregressive 트랜스포머 모델은 확장성은 있지만 일반적으로 이산 표현을 학습해야 한다. 반면 정규화 흐름(NF)은 미분 방정식을 풀거나 autoregressive 아키텍처 없이도 우도와 샘플링을 가능하게 하므로 매력적인 대안으로 보인다. 그러나 RL에서의 잠재력은 정규화 흐름이 충분한 표현력을 갖추지 못한다는 지배적인 믿음 때문인지 제한적인 주목만 받아왔다. 우리는 그렇지 않음을 보인다. NF의 최근 연구를 기반으로, 우리는 RL 알고리즘에 원활하게 통합되어 정책(policy), Q-함수(Q-function), 점유도(occupancy measure) 역할을 하는 단일 NF 아키텍처를 제안한다. 우리의 접근은 훨씬 더 단순한 알고리즘으로 이어지며, 모방 학습(imitation learning), 오프라인 RL, 목표 조건 RL(goal-conditioned RL), 비지도 RL에서 더 높은 성능을 달성한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.