Dangerous Cloaking: Natural Trigger based Backdoor Attacks on Object Detectors in the Physical World
원문 초록
Deep learning models have been shown to be vulnerable to recent backdoor attacks. A backdoored model behaves normally for inputs containing no attacker-secretly-chosen trigger and maliciously for inputs with the trigger. To date, backdoor attacks and countermeasures mainly focus on image classification tasks. And most of them are implemented in the digital world with digital triggers. Besides the classification tasks, object detection systems are also considered as one of the basic foundations of computer vision tasks. However, there is no investigation and understanding of the backdoor vulnerability of the object detector, even in the digital world with digital triggers. For the first time, this work demonstrates that existing object detectors are inherently susceptible to physical backdoor attacks. We use a natural T-shirt bought from a market as a trigger to enable the cloaking effect--the person bounding-box disappears in front of the object detector. We show that such a backdoor can be implanted from two exploitable attack scenarios into the object detector, which is outsourced or fine-tuned through a pretrained model. We have extensively evaluated three popular object detection algorithms: anchor-based Yolo-V3, Yolo-V4, and anchor-free CenterNet. Building upon 19 videos shot in real-world scenes, we confirm that the backdoor attack is robust against various factors: movement, distance, angle, non-rigid deformation, and lighting. Specifically, the attack success rate (ASR) in most videos is 100% or close to it, while the clean data accuracy of the backdoored model is the same as its clean counterpart. The latter implies that it is infeasible to detect the backdoor behavior merely through a validation set. The averaged ASR still remains sufficiently high to be 78% in the transfer learning attack scenarios evaluated on CenterNet. See the demo video on https://youtu.be/Q3HOF4OobbY.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LENS-GRF: 여드름 중증도 등급 분류 및 다중 평가자 임상 오라클 분석을 위한 게이트 잔차 융합 기반 순열 불변 병변 근거 네트워크
LENS-GRF: Permutation-Invariant Lesion Evidence Network with Gated Residual Fusion for Acne Severity Grading and Multi-Rater Clinical Oracle Analysis
생성적 증강을 통한 AI 테스트 및 평가(T&E)의 의미적 커버리지 개선
Improving Semantic Coverage in AI Test & Evaluation through Generative Augmentation
AI 모델의 테스트 및 평가(T&E)에서 평가자는 일반적으로 홀드아웃(held-out) 테스트 데이터셋에만 접근할 수 있으며, 학습 데이터나 그 의미적 구성에 대한 정보는 알지 못한다. 시간대, 날씨, 장면 위치와 같은 핵심 입력 조건이 이 테스트 데이터셋에서 충분히 표현되지 않으면, 이러한 의미적 커버리지 격차로 인해 T&E 결과가 오도될 수 있다. 우리는 이러한 의미적 요인에 대한 정답 레이블 없이도 이를 탐지하고 채울 수 있는 3단계 생성형 AI 파이프라인을 제안한다. 첫 번째 단계에서는 비전-언어 모델(VLM)이 의미적 요인에 대해 제로샷 이진 레이블링을 수행하고, 임베딩 공간 클러스터링 단계를 통해 어떤 의미적 요인이 하위(downstream) 모델 동작에 가장 큰 영향을 미치는지 식별한다. 두 번째 단계에서는 디퓨전 기반 이미지-투-이미지(image-to-image) 모델이 기존에 충분히 표현된 이미지를 과소 표현된 의미 도메인으로 변환하여, 장면 내용은 보존하면서 고수준의 외형(appearance)만을 증강한다. 세 번째 단계에서는 증강된 이미지 임베딩에 대한 통계적 분석을 통해, 합성 이미지를 반영하기 전에 그것이 데이터셋 커버리지를 개선하는지 검증한다. 중요한 점은, 합성 데이터는 오직 테스트 세트를 보강하는 데에만 사용되며 T&E를 위한 모델 재학습은 수행하지 않는다는 것이다. 우리는 주간/야간 의미 격차 상황에서 이미지 분류와 객체 검출 양쪽에 대해 전체 파이프라인을 검증하였으며, 증강된 테스트 데이터셋이 누락된 의미적 요인에 노출된 모델과 그렇지 않은 모델을 더 잘 구별해내어, 완전히 커버리지를 갖춘 이상적인 데이터셋의 결론에 더 가까운 T&E 결론을 산출함을 보였다. 코드는 https://github.com/Hashe037/DEDUCE 에서 확인할 수 있다.
올빼미를 넘어서: 잠재의식적 학습은 학습된 능력과 백도어를 전이할 수 있다
Beyond Owls: Subliminal Learning Can Transfer Learned Capabilities and Backdoors
잠재의식적 학습(subliminal learning, SL)에서는 교사 모델(teacher model)이 해당 특성과 의미적으로 무관한 데이터에 대한 지식 증류(distillation)를 통해 학생 모델(student model)로 특성을 전달한다. 지금까지 SL은 동물(예: 올빼미)에 대한 선호도나 악의적인 페르소나와 같이 제한된 범위의 특성에 대해서만 입증되었다. 이러한 특성들은 단순한 프롬프트(prompt)나 조향(steering)을 통해서도 유도될 수 있다. 그렇다면 SL은 더 복잡한 특성을 포함하여 더 넓은 범위의 특성도 전이할 수 있을까? 만약 그렇다면, 지식 증류는 감지되지 않은 채 미묘한 형태의 정렬 불일치(misalignment)(예: 보상 추구, 음모 꾸미기, 비밀스런 충성도)를 전이할 수 있을 것이다. 이를 위해, 본 연구에서는 SL이 무작위로 초기화된 MLP의 출력을 예측하는 새로운 능력을 전이할 수 있는지 테스트한다. 무관한 텍스트로 증류한 후, 학생 모델은 교사 모델에는 미치지 못하지만 해당 작업에서 상당한 성능을 달성한다. 우리는 직접 최적화된 조향 벡터(steering vector)가 분포 내(in-distribution)에서는 SL과 일치하지만, 분포 외(out-of-distribution)에서는 일반화 성능이 더 떨어진다는 점을 발견했다. 다음으로, SL이 백도어(backdoor)를 전이할 수 있는지 테스트한다. 프롬프트에 여성 이름이 포함되어 있을 때 프랑스어로 답변하도록 교사 모델을 파인튜닝한 다음, 이름도 프랑스어도 포함되지 않은 숫자 시퀀스로 지식 증류를 수행한다. 학생 모델은 백도어를 부분적으로 획득하여, 남성 이름이 포함된 프롬프트의 0.0%와 비교해 여성 이름이 포함된 프롬프트의 23.5%에서 프랑스어로 응답했다. 마지막으로, SL이 에이전트 기반 체스 환경(environment)에서 해킹 성향을 전이할 수 있는지 테스트한다. 조향된 해커 교사 모델의 숫자 시퀀스를 바탕으로 학생 모델을 파인튜닝했다. 학생 모델은 파인튜닝되지 않은 모델의 10.9%와 비교해 58.3%의 에피소드에서 해킹을 수행했다. 따라서 본 연구는 SL이 능력, 백도어, 해킹 성향을 전이할 수 있음을 보여준다. 전이 정도는 설정에 민감하다. 여러 실험에서 로짓(logit) 증류를 사용하거나 LoRA를 어텐션(attention) 레이어로 제한함으로써 전이가 더욱 강화되었다.
의약품 식별을 위한 생성적 특징 증강 기반 하이브리드 머신러닝 보조 라만 분광법
Hybrid Machine Learning-Assisted Raman Spectroscopy with Generative Feature Augmentation for Pharmaceutical Identification
의약품 잔류물의 신속하고 신뢰성 있는 식별은 공중보건을 보호하고 식품 안전을 보장하며 실용적인 라만(Raman) 기반 스크리닝을 가능하게 하는 데 중요하다. 본 연구에서는 심층 스펙트럼 특징 추출, 생성 모델, 전통적인 머신러닝 분류기를 결합한 하이브리드 라만 분광법 프레임워크인 HyMLRaman을 제안하여 아목시실린(amoxicillin), 클로람페니콜(chloramphenicol), 시프로플록사신(ciprofloxacin), 테트라사이클린(tetracycline), 이부프로펜(ibuprofen), 파라세타몰(paracetamol)을 포함한 6종의 의약품 화합물을 식별한다. 라만 스펙트럼은 스펙트럼 이미지로 변환되어 여러 심층 신경망 백본(backbone)으로 인코딩되며, 이 중 EfficientNet-B3가 가장 효과적인 표현을 제공한다. 이렇게 얻어진 1536차원 임베딩은 SVM, KNN, 로지스틱 회귀(logistic regression), 랜덤 포레스트(random forest), XGBoost, ANN을 포함한 다운스트림 분류기를 계층화 10-폴드 교차 검증(stratified 10-fold cross-validation) 방식으로 학습시키는 데 사용된다. 하이브리드 EfficientNet-B3-SVM 구성은 96.31%의 정확도와 96.36%의 매크로-F1(macro-F1) 점수를 달성하여 가장 우수한 기준선 성능을 보이며, 단독 CNN 기준선을 능가한다. 제한된 데이터 조건을 해결하기 위해, PCA로 차원을 축소한 EfficientNet-B3 잠재 공간(latent space)에서 DDPM 기반 특징 증강이라는 생성 모델을 도입한다. 저데이터(low-data) 어블레이션(ablation) 결과는 DDPM 증강이 선택적인 이점을 제공하며, 특히 학습 데이터 비율이 줄어든 상황에서 KNN에 효과적이지만 그 효과는 분류기에 따라 달라짐을 보여준다. 마지막으로, 애플리케이션 수준의 라만 의약품 분석기(Raman Pharmaceutical Analyzer)는 학습된 모델을 대화형 라만 분석 워크플로우에 통합할 수 있음을 보여준다. 이러한 결과는 HyMLRaman이 신속한 라만 기반 의약품 스크리닝을 위한 실용적이고 해석 가능한 방법을 제공함을 시사한다.
저배율 두피 이미지 기반 안드로겐성 탈모증 평가를 위한 AI 기반 다단계 접근법
An AI-Based Multi-Stage Approach for Androgenetic Alopecia Assessment from Low-Magnification Scalp Images
안드로겐성 탈모증(AGA)은 패턴화된 모낭 소형화, 단일 모발 모낭군(FU) 증가, 모간 직경 변화를 특징으로 합니다. 본 연구에서는 모낭군 위치 추정, 서열형 가시 모간 수 계수, 캘리브레이션된 모간 너비 추정, 부위별 집계, 해석 가능한 규칙 층(layer)을 결합한 자동화된 정량적 두피 분석 및 임상 의사결정 지원 프레임워크를 제시합니다. 임상 코호트는 243명의 환자(AGA 127명, 비AGA 116명)로 구성되었으며, 컴퓨터 비전(CV) 실험에는 전문가가 주석을 추가한 160명의 환자, 2,400장의 모발경 검사 이미지, 약 158,000개의 모낭군 주석이 활용되었습니다. 환자 비중복 평가에서 YOLOv8m은 테스트 [email omitted]=0.920 및 재현율(recall)=0.860을 달성하였고, 서포트 맵 채널을 갖춘 EfficientNet-B5는 전문가 바운딩 박스 기준 87.0%의 계수 정확도(매크로 F1=0.85)를 달성했습니다. 별도의 500개 이미지 세트에 대해 검출기가 생성한 박스를 기반으로 엔드투엔드 처리를 수행한 결과, 인간 전문가 주석 대비 모낭 검출 MAE 6.56, 모낭 분류(classification) MAE 16.59를 기록했습니다. 본 시스템은 피부과 전문의의 판독을 대체하기보다 보조하도록 고안되었습니다.
FUSEye: 중첩 뷰와 제로 초기화 어댑터를 활용한 경량 학습 어안 객체 탐지
FUSEye: Training-Light Fisheye Detection with Overlapping Views and Zero-Initialized Adapters
어안 렌즈(fisheye) 카메라는 이동 로봇에게 단일 센서 기반의 저비용 주변 시야를 제공하지만, 실무에서 흔히 재사용되는 COCO 사전학습 탐지기는 이러한 카메라에서 제대로 작동하지 않는다. 강한 방사 왜곡(radial distortion)이 국소적 이미지 구조를 뒤틀리게 하고 경계부 압축으로 인해 객체가 거의 보이지 않는 크기로 줄어들기 때문이다. 전체 미세조정(fine-tuning)을 수행하면 이러한 격차를 크게 줄일 수 있지만 대량의 어안 라벨과 연산 자원이 필요하다. 본 논문에서는 백본(backbone)이 동결된 COCO 사전학습 초대형 YOLO26 탐지기(YOLO26-x)를 어안 탐지기로 전환하는 경량 학습 프레임워크인 FUSEye를 제안한다. FUSEye는 삽입된 모듈과 사전학습된 탐지 헤드를 업데이트하면서 약 22만 7천 개의 새로운 파라미터만을 추가한다. 또한 인과적으로 연결된 세 가지 수준에서 전이 격차를 해결한다. 입력 수준에서는 중첩 그리드 뷰 생성 및 박스 재매핑(GridViews)을 통해 압축된 경계 영역을 확대한다. 특징(feature) 수준에서는 제로 초기화 잔차 어댑터(Z-Adapters)가 왜곡으로 인해 유발된 특징 불일치를 교정한다. 결정 수준에서는 학습된 교차 투영 일치도 융합(AgreeFusion)을 통해 여러 뷰에 걸쳐 일관된 근거로 뒷받침되는 경우에만 낮은 신뢰도의 탐지 결과를 승격시킨다. WoodScape 서라운드 뷰 어안 벤치마크에서 FUSEye는 YOLO26-x의 mAP50을 0.148에서 0.266으로 끌어올렸으며 전체 미세조정 정확도의 84.3%를 유지했다. 나아가 라벨링된 학습 이미지의 25%만 무작위로 사용했을 때도 0.2597 mAP50을 달성하여 전체 라벨 사용 성능의 97.6%를 보존했다. 또한 FUSEye는 YOLOv8부터 YOLO11까지의 탐지기 성능을 일관되게 향상시켜 이 기법이 아키텍처에 구애받지 않음을 보였다. 소스 코드는 https://github.com/Su-wenya/FUSEye 에서 공개될 예정이다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.