arXiv:2304.11779

Now You See Me: Robust approach to Partial Occlusions

Karthick Prasad Gunasekaran, Nikita Jaiman

제출 2023-04-24

원문 초록

Occlusions of objects is one of the indispensable problems in Computer vision. While Convolutional Neural Net-works (CNNs) provide various state of the art approaches for regular image classification, they however, prove to be not as effective for the classification of images with partial occlusions. Partial occlusion is scenario where an object is occluded partially by some other object/space. This problem when solved,holds tremendous potential to facilitate various scenarios. We in particular are interested in autonomous driving scenario and its implications in the same. Autonomous vehicle research is one of the hot topics of this decade, there are ample situations of partial occlusions of a driving sign or a person or other objects at different angles. Considering its prime importance in situations which can be further extended to video analytics of traffic data to handle crimes, anticipate income levels of various groups etc.,this holds the potential to be exploited in many ways. In this paper, we introduce our own synthetically created dataset by utilising Stanford Car Dataset and adding occlusions of various sizes and nature to it. On this created dataset, we conducted a comprehensive analysis using various state of the art CNN models such as VGG-19, ResNet 50/101, GoogleNet, DenseNet 121. We further in depth study the effect of varying occlusion proportions and nature on the performance of these models by fine tuning and training these from scratch on dataset and how is it likely to perform when trained in different scenarios, i.e., performance when training with occluded images and unoccluded images, which model is more robust to partial occlusions and soon.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24193v1cs.CV공통 태그 Autonomous Driving, Image Classification

안전한 보행자-차량 상호작용을 위한 경량 보행자 머리 방향 인식 네트워크

Lightweight Pedestrian Head-Orientation Recognition Network for Safe Pedestrian-Vehicle Interaction

보행자 머리 방향 인식은 보행자의 주의를 파악하고 잠재적인 횡단 행동을 예측하는 데 유용한 단서를 제공함으로써 자율주행에서 중요한 역할을 한다. 그러나 실제 교통 상황에서 보행자의 머리 영역이 저해상도로 촬영되는 경우가 많아 신뢰할 수 있는 인식은 여전히 어려운 과제로 남아 있다. 이러한 문제를 해결하기 위해, 우리는 보행자 머리 방향 인식을 위한 경량의 저해상도 머리 방향 합성곱 신경망(Low-Resolution Head Orientation Convolutional Neural Network, LRHO-CNN)을 제안한다. 우리는 여러 공개 데이터셋에서 보행자 머리 이미지를 추출하고 이를 8개의 방향 범주로 수동으로 주석 처리하여 새로운 데이터셋을 구축한다. 수집된 이미지는 데이터 다양성을 높이고 조명 및 이미지 품질의 변화를 더 잘 반영하기 위해 체계적으로 전처리 및 증강된다. 실험 분석에서는 LRHO-CNN을 세 가지 파인튜닝된 기준선 모델인 ResNet-18, ResNet-34, VGG-16과 비교한다. 그 결과 LRHO-CNN이 평가된 모델 중 가장 높은 분류 정확도를 달성함을 보여준다. LRHO-CNN은 JAAD 및 PIE 데이터셋에서 추가로 평가되어 실제 교통 상황에서 보행자 머리 방향을 인식하는 데 효과적임을 입증하며, 후속 보행자 행동 및 의도 예측을 지원할 수 있는 유용한 머리 방향 단서를 제공한다.

arXiv:2607.23979v1cs.CV공통 태그 Autonomous Driving, Image Classification

세밀한 타이어 패턴 인식을 위한 상호 모달리티 신뢰와 경량 재구성 정규화

Mutual Modality Trust with Lightweight Reconstruction Regularization for Fine-grained Tire Pattern Recognition

시각적 타이어 인식은 차량 안전 모니터링, 자율주행 인식, 자동차 정비 자동화를 위한 핵심 지원 기술이다. 기존의 세밀한 타이어 인식 기법은 세 가지 두드러진 한계를 갖는다. 단 하나의 시각적 소스에만 의존하는 경향이 있고, 미세한 트레드 질감 추출을 위해 공간 및 주파수 단서를 공동으로 모델링할 능력이 부족하며, 주석이 달린 타이어 이미지가 제한적일 때 심각한 과적합을 겪는다. 본 논문은 인식 성능 향상을 위해 이중 분기 독립 추론과 향상된 특징 융합을 결합한 경량의 세밀한 타이어 패턴 인식 방법을 제안한다. 해당 프레임워크는 각각 타이어 표면과 트레드 홈에 특화된 두 개의 작업 전문 분기를 사용하여 모달리티별 판별 특징을 추출한다. 각 분기는 독립적으로 예측을 수행하며, 분기 간 특징 융합은 상호 모달리티 신뢰(Mutual Modality Trust, M$^2$T)를 활용하여 두 모달리티 간 상보적 특징 강화를 실현한다. 또한 주파수 영역 계층적 가이던스 모듈을 설계하였으며, 이는 대역통과 필터(bandpass filter)를 활용해 특징 맵을 고주파 및 저주파 성분으로 분해하고 세밀한 층 간 특징 변조를 가능하게 한다. 또한 경량 재구성 정규화(Lightweight Reconstruction Regularization, LR$^2$)를 도입하여 특징 임베딩 내 풍부한 내재 정보를 보존하고, 제한된 라벨 학습 데이터 하에서 특징 안정성과 인식 견고성을 크게 향상시킨다. 아울러 세밀한 타이어 트레드 인식을 위해 표면-홈 다중 소스 데이터셋 MTire299를 구축하였으며, 이는 299개 카테고리와 총 14795쌍의 이미지 샘플을 포함한다. 두 공개 타이어 데이터셋에서 수행한 광범위한 실험을 통해 제안 알고리즘의 우수성과 효과를 검증하였다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.