arXiv:1808.02246

SAM-RCNN: Scale-Aware Multi-Resolution Multi-Channel Pedestrian Detection

Tianrui Liu, Mohamed Elmikaty, Tania Stathaki

제출 2018-08-07

원문 초록

Convolutional neural networks (CNN) have enabled significant improvements in pedestrian detection owing to the strong representation ability of the CNN features. Recently, aggregating features from multiple layers of a CNN has been considered as an effective approach, however, the same approach regarding feature representation is used for detecting pedestrians of varying scales. Consequently, it is not guaranteed that the feature representation for pedestrians of a particular scale is optimised. In this paper, we propose a Scale-Aware Multi-resolution (SAM) method for pedestrian detection which can adaptively select multi-resolution convolutional features according to pedestrian sizes. The proposed SAM method extracts the appropriate CNN features that have strong representation ability as well as sufficient feature resolution, given the size of the pedestrian candidate output from a region proposal network. Moreover, we propose an enhanced SAM method, termed as SAM+, which incorporates complementary features channels and achieves further performance improvement. Evaluations on the challenging Caltech and KITTI pedestrian benchmarks demonstrate the superiority of our proposed method.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2404.10034v3cs.CV공통 태그 Region Proposal공식 코드 · Papers with Code

약지도 객체 위치 추정 평가를 위한 현실적인 프로토콜

A Realistic Protocol for Evaluation of Weakly Supervised Object Localization

약지도 객체 위치 추정(Weakly Supervised Object Localization, WSOL)은 전역 클래스 수준 레이블만을 사용하여 분류 및 위치 추정(LOC)을 위한 심층 학습 모델을 학습할 수 있게 한다. 학습 중 경계 상자(bounding box, bbox) 지도 정보의 부재는 하이퍼파라미터 튜닝, 모델 선택, 평가 측면에서 문헌상 여러 과제를 야기한다. WSOL 방법들은 모델 선택을 위해 경계 상자 어노테이션이 포함된 검증 세트에, 그리고 위치 추정 맵으로부터 경계 상자를 생성하기 위한 임계값 추정에 경계 상자 어노테이션이 포함된 테스트 세트에 의존한다. 그러나 이 접근 방식은 실제 환경에서 해당 어노테이션을 일반적으로 구할 수 없다는 점에서 WSOL 설정과 부합하지 않는다. 초기 실증 분석에서는 모델 선택과 임계값 추정을 각각 클래스 레이블과 이미지 자체에만 의존할 경우, 수동 경계 상자 어노테이션을 사용하는 경우에 비해 위치 추정 성능이 크게 저하됨을 확인하였다. 이는 최적의 모델 성능을 위해 경계 상자 레이블을 활용하는 것의 중요성을 강조한다. 본 논문에서는 수동 경계 상자 어노테이션 없이 위치 추정 정보를 제공하는 새로운 WSOL 평가 프로토콜을 제안한다. 구체적으로, Selective Search, CLIP, RPN과 같은 사전학습된 기성 영역 제안(region proposal) 방법으로부터 노이즈가 포함된 의사 경계 상자(pseudo-box)를 생성하여 모델 선택에 활용하였다. 이러한 경계 상자는 위치 추정 맵에서 임계값을 추정하는 데에도 사용되어 테스트 세트 경계 상자 어노테이션의 필요성을 우회한다. 도전적인 자연 이미지 및 의료 이미지 데이터셋에서 여러 WSOL 방법으로 수행한 실험 결과, 제안하는 의사 경계 상자를 검증에 활용하면 모델 선택과 임계값 추정이 용이해지며, 검증 세트에서 GT 경계 상자로 선택하고 테스트 세트에서 임계값을 추정한 모델과 비슷한 위치 추정 성능을 달성함을 보였다. 또한 클래스 수준 레이블로 선택한 후 위치 추정 맵만으로 동적 임계값을 적용한 모델보다 우수한 성능을 나타냈다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.