arXiv:2211.12324

Pushing the Limits of Asynchronous Graph-based Object Detection with Event Cameras

Daniel Gehrig, Davide Scaramuzza

제출 2022-11-22

원문 초록

State-of-the-art machine-learning methods for event cameras treat events as dense representations and process them with conventional deep neural networks. Thus, they fail to maintain the sparsity and asynchronous nature of event data, thereby imposing significant computation and latency constraints on downstream systems. A recent line of work tackles this issue by modeling events as spatiotemporally evolving graphs that can be efficiently and asynchronously processed using graph neural networks. These works showed impressive computation reductions, yet their accuracy is still limited by the small scale and shallow depth of their network, both of which are required to reduce computation. In this work, we break this glass ceiling by introducing several architecture choices which allow us to scale the depth and complexity of such models while maintaining low computation. On object detection tasks, our smallest model shows up to 3.7 times lower computation, while outperforming state-of-the-art asynchronous methods by 7.4 mAP. Even when scaling to larger model sizes, we are 13% more efficient than state-of-the-art while outperforming it by 11.5 mAP. As a result, our method runs 3.7 times faster than a dense graph neural network, taking only 8.4 ms per forward pass. This opens the door to efficient, and accurate object detection in edge-case scenarios.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22325v1cs.CV공통 태그 Object Detection, Graph Neural Network

기하학적 2D 장면 그래프 생성

Geometric 2D Scene Graph Generation

소비재 생산 공정에서 조립 지침은 계획뿐 아니라 생산 공정 실행에도 필수적이다. 로봇공학에서도 마찬가지로, 조립 로봇이 부품들이 어떻게 맞물리고 조립될 수 있는지 이해하는 것이 중요하다. 이러한 작업을 지원하기 위해, 우리는 부품 간 조립 관계를 표현하고 특성화하기 위한 장면 그래프(scene graph) 구성 방법을 제안한다. 우리 접근법은 의미(semantic) 데이터에 의존하지 않으며 매우 작은 데이터셋을 처리할 수 있다. 이를 실현하기 위해 Faster R-CNN 모델의 출력을 사용하여 기하학적 표현을 생성하고, 이를 트랜스포머 아키텍처로 처리하여 인접 행렬(adjacency matrix)을 생성한다. 이 행렬은 어텐션 그래프 합성곱 네트워크(attentional graph convolutional network, aGCN) 아키텍처 기반 메시지 패싱(message passing)을 사용하는 쌍대(Siamese) 네트워크의 입력으로 사용되어 부품 간 연결을 특성화한다. 우리는 운송 수단으로 조립할 수 있는 장난감 모델 부품으로 구성된 연구용 데이터셋에서 방법을 검증한다.

arXiv:2607.21243v1cs.CV공통 태그 object-detection, Object Detection

탐지기는 잘못된 것을 학습한다: 물리적으로 실현 가능한 공격에 대항하는 단축 경로 저항적 적대적 학습

Detectors Learn the Wrong Thing: Shortcut-Resistant Adversarial Training Against Physically Realizable Attacks

AI 기반 시각 지각 시스템이 지능형 교통 인프라 및 자율주행 차량 관련 응용에 점점 더 배치되고 있다. 그러나 물리적으로 실현 가능한 적대적 외형은 이러한 안전성(safety)에 중요한 시스템에 상당한 신뢰성 과제를 제기한다. 적대적 학습(adversarial training)은 효과적이지만, 적대적 텍스처와 양성 person 인스턴스 간의 반복적 공발생은 탐지기가 텍스처 자체를 객체 존재의 증거로 취급하게 만들어 패치 텍스처 단축 경로(shortcut)를 형성할 수 있다. 탐지기는 그러면 텍스처를 대상에 대한 증거로 취급하여, 텍스처만 있는 입력에서 오탐을 유발하고 교차 공격 일반화를 약화시킬 수 있다. 우리는 탐지기가 적대적 텍스처를 독립적인 판단 단서로 사용하는 것을 방지하는 인스턴스 수준 대조(contrastive) 적대적 학습 프레임워크인 InsCAT를 제안한다. SICA는 적대적 person 특징(feature)을 대응하는 clean 특징과 정렬하고 텍스처만 있는 음성(negative) 샘플과 분리하며, ROPO와 Guard는 온라인 공격 압력을 유지하고 학습을 조율한다. 렌더링된 nuScenes, INRIAPerson, 인쇄 의류, 세 가지 탐지기 계열에서 독립적으로 생성된 8개의 공격 텍스처를 평가한다. InsCAT은 렌더링된 nuScenes에서 평균 공격 AP 82.3%를 달성하여, 가장 강한 기준선보다 11.1포인트 높다. AT-Mix 대비 텍스처 FPR은 46.9%에서 7.3%로 감소한다. 물리적 테스트는 F1 점수 96.6%와 FPR 1.8%를 산출한다. 별도로 학습된 탐지기에서의 일관된 성능 향상은 직접 추론으로 아키텍처 전반에 걸친 적용 가능성을 보여준다. 결과는 견고한(robust) 물리적 탐지가 대상 관련 증거를 보존하면서 적대적 텍스처가 독립적인 판단 단서가 되는 것을 방지하는 데 달려 있음을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.