arXiv:2210.04303

Are All Vision Models Created Equal? A Study of the Open-Loop to Closed-Loop Causality Gap

Mathias Lechner, Ramin Hasani, Alexander Amini, Tsun-Hsuan Wang, Thomas A. Henzinger, Daniela Rus

제출 2022-10-09

원문 초록

There is an ever-growing zoo of modern neural network models that can efficiently learn end-to-end control from visual observations. These advanced deep models, ranging from convolutional to patch-based networks, have been extensively tested on offline image classification and regression tasks. In this paper, we study these vision architectures with respect to the open-loop to closed-loop causality gap, i.e., offline training followed by an online closed-loop deployment. This causality gap typically emerges in robotics applications such as autonomous driving, where a network is trained to imitate the control commands of a human. In this setting, two situations arise: 1) Closed-loop testing in-distribution, where the test environment shares properties with those of offline training data. 2) Closed-loop testing under distribution shifts and out-of-distribution. Contrary to recently reported results, we show that under proper training guidelines, all vision models perform indistinguishably well on in-distribution deployment, resolving the causality gap. In situation 2, We observe that the causality gap disrupts performance regardless of the choice of the model architecture. Our results imply that the causality gap can be solved in situation one with our proposed training guideline with any modern network architecture, whereas achieving out-of-distribution generalization (situation two) requires further investigations, for instance, on data diversity rather than the model architecture.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24193v1cs.CV공통 태그 Autonomous Driving, Image Classification

안전한 보행자-차량 상호작용을 위한 경량 보행자 머리 방향 인식 네트워크

Lightweight Pedestrian Head-Orientation Recognition Network for Safe Pedestrian-Vehicle Interaction

보행자 머리 방향 인식은 보행자의 주의를 파악하고 잠재적인 횡단 행동을 예측하는 데 유용한 단서를 제공함으로써 자율주행에서 중요한 역할을 한다. 그러나 실제 교통 상황에서 보행자의 머리 영역이 저해상도로 촬영되는 경우가 많아 신뢰할 수 있는 인식은 여전히 어려운 과제로 남아 있다. 이러한 문제를 해결하기 위해, 우리는 보행자 머리 방향 인식을 위한 경량의 저해상도 머리 방향 합성곱 신경망(Low-Resolution Head Orientation Convolutional Neural Network, LRHO-CNN)을 제안한다. 우리는 여러 공개 데이터셋에서 보행자 머리 이미지를 추출하고 이를 8개의 방향 범주로 수동으로 주석 처리하여 새로운 데이터셋을 구축한다. 수집된 이미지는 데이터 다양성을 높이고 조명 및 이미지 품질의 변화를 더 잘 반영하기 위해 체계적으로 전처리 및 증강된다. 실험 분석에서는 LRHO-CNN을 세 가지 파인튜닝된 기준선 모델인 ResNet-18, ResNet-34, VGG-16과 비교한다. 그 결과 LRHO-CNN이 평가된 모델 중 가장 높은 분류 정확도를 달성함을 보여준다. LRHO-CNN은 JAAD 및 PIE 데이터셋에서 추가로 평가되어 실제 교통 상황에서 보행자 머리 방향을 인식하는 데 효과적임을 입증하며, 후속 보행자 행동 및 의도 예측을 지원할 수 있는 유용한 머리 방향 단서를 제공한다.

arXiv:2607.23979v1cs.CV공통 태그 Autonomous Driving, Image Classification

세밀한 타이어 패턴 인식을 위한 상호 모달리티 신뢰와 경량 재구성 정규화

Mutual Modality Trust with Lightweight Reconstruction Regularization for Fine-grained Tire Pattern Recognition

시각적 타이어 인식은 차량 안전 모니터링, 자율주행 인식, 자동차 정비 자동화를 위한 핵심 지원 기술이다. 기존의 세밀한 타이어 인식 기법은 세 가지 두드러진 한계를 갖는다. 단 하나의 시각적 소스에만 의존하는 경향이 있고, 미세한 트레드 질감 추출을 위해 공간 및 주파수 단서를 공동으로 모델링할 능력이 부족하며, 주석이 달린 타이어 이미지가 제한적일 때 심각한 과적합을 겪는다. 본 논문은 인식 성능 향상을 위해 이중 분기 독립 추론과 향상된 특징 융합을 결합한 경량의 세밀한 타이어 패턴 인식 방법을 제안한다. 해당 프레임워크는 각각 타이어 표면과 트레드 홈에 특화된 두 개의 작업 전문 분기를 사용하여 모달리티별 판별 특징을 추출한다. 각 분기는 독립적으로 예측을 수행하며, 분기 간 특징 융합은 상호 모달리티 신뢰(Mutual Modality Trust, M$^2$T)를 활용하여 두 모달리티 간 상보적 특징 강화를 실현한다. 또한 주파수 영역 계층적 가이던스 모듈을 설계하였으며, 이는 대역통과 필터(bandpass filter)를 활용해 특징 맵을 고주파 및 저주파 성분으로 분해하고 세밀한 층 간 특징 변조를 가능하게 한다. 또한 경량 재구성 정규화(Lightweight Reconstruction Regularization, LR$^2$)를 도입하여 특징 임베딩 내 풍부한 내재 정보를 보존하고, 제한된 라벨 학습 데이터 하에서 특징 안정성과 인식 견고성을 크게 향상시킨다. 아울러 세밀한 타이어 트레드 인식을 위해 표면-홈 다중 소스 데이터셋 MTire299를 구축하였으며, 이는 299개 카테고리와 총 14795쌍의 이미지 샘플을 포함한다. 두 공개 타이어 데이터셋에서 수행한 광범위한 실험을 통해 제안 알고리즘의 우수성과 효과를 검증하였다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.