arXiv:2206.12714

Defending Multimodal Fusion Models against Single-Source Adversaries

Karren Yang, Wan-Yi Lin, Manash Barman, Filipe Condessa, Zico Kolter

제출 2022-06-25

원문 초록

Beyond achieving high performance across many vision tasks, multimodal models are expected to be robust to single-source faults due to the availability of redundant information between modalities. In this paper, we investigate the robustness of multimodal neural networks against worst-case (i.e., adversarial) perturbations on a single modality. We first show that standard multimodal fusion models are vulnerable to single-source adversaries: an attack on any single modality can overcome the correct information from multiple unperturbed modalities and cause the model to fail. This surprising vulnerability holds across diverse multimodal tasks and necessitates a solution. Motivated by this finding, we propose an adversarially robust fusion strategy that trains the model to compare information coming from all the input sources, detect inconsistencies in the perturbed modality compared to the other modalities, and only allow information from the unperturbed modalities to pass through. Our approach significantly improves on state-of-the-art methods in single-source robustness, achieving gains of 7.8-25.2% on action recognition, 19.7-48.2% on object detection, and 1.6-6.7% on sentiment analysis, without degrading performance on unperturbed (i.e., clean) data.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.23431v1cs.CV공통 태그 Object Detection, Action Recognition

HOIBlender: 효율적 사람-객체 상호작용 검출을 위한 경량 검출과 비전-언어 사전지식의 블렌딩

HOIBlender: Blending Lightweight Detection with Vision-Language Priors for Efficient Human-Object Interaction Detection

사람-객체 상호작용(HOI) 검출은 상호작용하는 사람-객체 쌍을 그라운딩(grounding)하고 이들을 연결하는 동사를 인식해야 하며, 종종 심각한 롱테일(long-tail) 감독 하에서 수행된다. 최근 방법들은 더 강한 검출기와 비전-언어 사전지식으로 정확도를 높이지만, 많은 방법이 여전히 검출기 위에 무거운 트랜스포머 인코더, 복잡한 디노이징 스케줄, 또는 사후(post-hoc) 의미적 보정을 쌓아 올린다. 본 논문은 핵심 설계 원칙인 블렌딩에서 이름을 따온 효율적 HOI 검출기 \textbf{HOIBlender}를 제안한다. 검출기로 그라운딩된 시각 토큰, 공간적 주체-객체 추론, BLIP-2 의미 사전지식을 하나의 경량 디코딩 파이프라인 안에서 블렌딩한다. HOIBlender는 DINOv2 백본을 갖춘 RF-DETR/LW-DETR 스타일 기반 위에 구축되며, 다중 스케일 프로젝터에서 top-$K$ 이미지 조건부 토큰을 주체 및 객체 후보로 직접 선택하여, 이전 HOI 방법들이 유지하던 전용 인코더 단계를 제거한다. 이중 단계 디코더는 먼저 사람-객체 기하를 안정화한 뒤, 점진적 BLIP-2 사전지식 융합을 통해 동사 및 HOI 분류를 수행하며, 롱테일 카테고리를 위해 분류기 가중치는 BLIP-2 텍스트 임베딩(embedding)으로 초기화한다. 그룹 쿼리(grouped-query) 학습은 추론(inference) 비용을 늘리지 않으면서 최적화(optimization)를 더 풍부하게 한다. 세 가지 모델 규모(Nano, Small, 2XL)에 걸쳐 HOIBlender는 HICO-DET에서 SOV-STG-VLA 및 Hybrid-SOV-VLA를 일관되게 능가하며, 경쟁력 있는 지연(latency)과 매개변수 예산을 유지하면서 단 $9$회 학습 epoch만으로 Default Full mAP $44.49$에 도달한다. 이러한 결과는 경량 검출, 구조화된 공간-의미 디코딩, 깊이 통합된 비전-언어 사전지식을 단일의 효율적 HOI 파이프라인으로 블렌딩할 수 있음을 보여준다.

arXiv:2607.21243v1cs.CV공통 태그 object-detection, Object Detection

탐지기는 잘못된 것을 학습한다: 물리적으로 실현 가능한 공격에 대항하는 단축 경로 저항적 적대적 학습

Detectors Learn the Wrong Thing: Shortcut-Resistant Adversarial Training Against Physically Realizable Attacks

AI 기반 시각 지각 시스템이 지능형 교통 인프라 및 자율주행 차량 관련 응용에 점점 더 배치되고 있다. 그러나 물리적으로 실현 가능한 적대적 외형은 이러한 안전성(safety)에 중요한 시스템에 상당한 신뢰성 과제를 제기한다. 적대적 학습(adversarial training)은 효과적이지만, 적대적 텍스처와 양성 person 인스턴스 간의 반복적 공발생은 탐지기가 텍스처 자체를 객체 존재의 증거로 취급하게 만들어 패치 텍스처 단축 경로(shortcut)를 형성할 수 있다. 탐지기는 그러면 텍스처를 대상에 대한 증거로 취급하여, 텍스처만 있는 입력에서 오탐을 유발하고 교차 공격 일반화를 약화시킬 수 있다. 우리는 탐지기가 적대적 텍스처를 독립적인 판단 단서로 사용하는 것을 방지하는 인스턴스 수준 대조(contrastive) 적대적 학습 프레임워크인 InsCAT를 제안한다. SICA는 적대적 person 특징(feature)을 대응하는 clean 특징과 정렬하고 텍스처만 있는 음성(negative) 샘플과 분리하며, ROPO와 Guard는 온라인 공격 압력을 유지하고 학습을 조율한다. 렌더링된 nuScenes, INRIAPerson, 인쇄 의류, 세 가지 탐지기 계열에서 독립적으로 생성된 8개의 공격 텍스처를 평가한다. InsCAT은 렌더링된 nuScenes에서 평균 공격 AP 82.3%를 달성하여, 가장 강한 기준선보다 11.1포인트 높다. AT-Mix 대비 텍스처 FPR은 46.9%에서 7.3%로 감소한다. 물리적 테스트는 F1 점수 96.6%와 FPR 1.8%를 산출한다. 별도로 학습된 탐지기에서의 일관된 성능 향상은 직접 추론으로 아키텍처 전반에 걸친 적용 가능성을 보여준다. 결과는 견고한(robust) 물리적 탐지가 대상 관련 증거를 보존하면서 적대적 텍스처가 독립적인 판단 단서가 되는 것을 방지하는 데 달려 있음을 보여준다.

arXiv:2607.14675v1cs.RO공통 태그 Object Detection, Action Recognition

로봇을 위한 지능형 클라우드-엣지 멀티모달 상호작용 시스템

An Intelligent-Cloud Edge Multimodal Interaction System for Robots

복잡한 환경에서의 견고한 인간-로봇 상호작용은 제한된 온보드 컴퓨팅 자원 하에서 정확한 제스처 인식, 의미론적 장면 이해, 그리고 신뢰할 수 있는 작업 계획을 필요로 한다. 본 논문은 향상된 YOLO 기반 제스처 검출기를 조율된 대규모 언어 모델(LLM) 및 비전-언어 모델(VLM) 에이전트와 통합하는 클라우드-엣지 멀티모달 상호작용 프레임워크를 제시한다. 제안된 검출기는 neck에 Convolutional Block Attention Module(CBAM)을 통합하고, 기준선 바운딩 박스 회귀 목적 함수를 Distance-IoU(DIoU) 손실로 대체한다. 이러한 수정은 복잡한 배경에서 작거나 부분적으로 가려진 제스처에 대한 특징 구별과 위치 추정을 개선한다. 클라우드 층은 제스처 검출, 장면 이해, 멀티모달 융합, 행동 계획을 수행하고, TonyPi 로봇은 로컬에서 데이터 수집, 통신, 행동 실행, 피드백을 처리한다. 공개 제스처 데이터셋과 사용자 정의 데이터셋에 대한 실험 결과, YOLO-DC는 각각 98.9% 및 95.0%의 정밀도와 90.7% 및 92.7%의 [email omitted] 달성한다. 시스템 수준 평가에서는 단일 행동, 복합 행동, 시각 의존 작업에 대해 각각 95%, 88%, 82%의 성공률을 보인다. 30명 참가자 평가에서는 전체 평균 만족도 점수가 5점 만점에 3.69점이다. 이러한 결과는 자원 제약 환경에서의 로봇 상호작용을 위해 정교화된 제스처 검출과 멀티모달 에이전트를 결합하는 것의 타당성을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.