Robustness and invariance properties of image classifiers
원문 초록
Deep neural networks have achieved impressive results in many image classification tasks. However, since their performance is usually measured in controlled settings, it is important to ensure that their decisions remain correct when deployed in noisy environments. In fact, deep networks are not robust to a large variety of semantic-preserving image modifications, even to imperceptible image changes known as adversarial perturbations. The poor robustness of image classifiers to small data distribution shifts raises serious concerns regarding their trustworthiness. To build reliable machine learning models, we must design principled methods to analyze and understand the mechanisms that shape robustness and invariance. This is exactly the focus of this thesis. First, we study the problem of computing sparse adversarial perturbations. We exploit the geometry of the decision boundaries of image classifiers for computing sparse perturbations very fast, and reveal a qualitative connection between adversarial examples and the data features that image classifiers learn. Then, to better understand this connection, we propose a geometric framework that connects the distance of data samples to the decision boundary, with the features existing in the data. We show that deep classifiers have a strong inductive bias towards invariance to non-discriminative features, and that adversarial training exploits this property to confer robustness. Finally, we focus on the challenging problem of generalization to unforeseen corruptions of the data, and we propose a novel data augmentation scheme for achieving state-of-the-art robustness to common corruptions of the images. Overall, our results contribute to the understanding of the fundamental mechanisms of deep image classifiers, and pave the way for building more reliable machine learning systems that can be deployed in real-world environments.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
IPCL: Iterative Pseudo-Supervised Contrastive Learning to Improve Self-Supervised Feature Representation
DGSSC: A Deep Generative Spectral-Spatial Classifier for Imbalanced Hyperspectral Imagery
DocXClassifier: High Performance Explainable Deep Network for Document Image Classification
생성적 증강을 통한 AI 테스트 및 평가(T&E)의 의미적 커버리지 개선
Improving Semantic Coverage in AI Test & Evaluation through Generative Augmentation
AI 모델의 테스트 및 평가(T&E)에서 평가자는 일반적으로 홀드아웃(held-out) 테스트 데이터셋에만 접근할 수 있으며, 학습 데이터나 그 의미적 구성에 대한 정보는 알지 못한다. 시간대, 날씨, 장면 위치와 같은 핵심 입력 조건이 이 테스트 데이터셋에서 충분히 표현되지 않으면, 이러한 의미적 커버리지 격차로 인해 T&E 결과가 오도될 수 있다. 우리는 이러한 의미적 요인에 대한 정답 레이블 없이도 이를 탐지하고 채울 수 있는 3단계 생성형 AI 파이프라인을 제안한다. 첫 번째 단계에서는 비전-언어 모델(VLM)이 의미적 요인에 대해 제로샷 이진 레이블링을 수행하고, 임베딩 공간 클러스터링 단계를 통해 어떤 의미적 요인이 하위(downstream) 모델 동작에 가장 큰 영향을 미치는지 식별한다. 두 번째 단계에서는 디퓨전 기반 이미지-투-이미지(image-to-image) 모델이 기존에 충분히 표현된 이미지를 과소 표현된 의미 도메인으로 변환하여, 장면 내용은 보존하면서 고수준의 외형(appearance)만을 증강한다. 세 번째 단계에서는 증강된 이미지 임베딩에 대한 통계적 분석을 통해, 합성 이미지를 반영하기 전에 그것이 데이터셋 커버리지를 개선하는지 검증한다. 중요한 점은, 합성 데이터는 오직 테스트 세트를 보강하는 데에만 사용되며 T&E를 위한 모델 재학습은 수행하지 않는다는 것이다. 우리는 주간/야간 의미 격차 상황에서 이미지 분류와 객체 검출 양쪽에 대해 전체 파이프라인을 검증하였으며, 증강된 테스트 데이터셋이 누락된 의미적 요인에 노출된 모델과 그렇지 않은 모델을 더 잘 구별해내어, 완전히 커버리지를 갖춘 이상적인 데이터셋의 결론에 더 가까운 T&E 결론을 산출함을 보였다. 코드는 https://github.com/Hashe037/DEDUCE 에서 확인할 수 있다.
의약품 식별을 위한 생성적 특징 증강 기반 하이브리드 머신러닝 보조 라만 분광법
Hybrid Machine Learning-Assisted Raman Spectroscopy with Generative Feature Augmentation for Pharmaceutical Identification
의약품 잔류물의 신속하고 신뢰성 있는 식별은 공중보건을 보호하고 식품 안전을 보장하며 실용적인 라만(Raman) 기반 스크리닝을 가능하게 하는 데 중요하다. 본 연구에서는 심층 스펙트럼 특징 추출, 생성 모델, 전통적인 머신러닝 분류기를 결합한 하이브리드 라만 분광법 프레임워크인 HyMLRaman을 제안하여 아목시실린(amoxicillin), 클로람페니콜(chloramphenicol), 시프로플록사신(ciprofloxacin), 테트라사이클린(tetracycline), 이부프로펜(ibuprofen), 파라세타몰(paracetamol)을 포함한 6종의 의약품 화합물을 식별한다. 라만 스펙트럼은 스펙트럼 이미지로 변환되어 여러 심층 신경망 백본(backbone)으로 인코딩되며, 이 중 EfficientNet-B3가 가장 효과적인 표현을 제공한다. 이렇게 얻어진 1536차원 임베딩은 SVM, KNN, 로지스틱 회귀(logistic regression), 랜덤 포레스트(random forest), XGBoost, ANN을 포함한 다운스트림 분류기를 계층화 10-폴드 교차 검증(stratified 10-fold cross-validation) 방식으로 학습시키는 데 사용된다. 하이브리드 EfficientNet-B3-SVM 구성은 96.31%의 정확도와 96.36%의 매크로-F1(macro-F1) 점수를 달성하여 가장 우수한 기준선 성능을 보이며, 단독 CNN 기준선을 능가한다. 제한된 데이터 조건을 해결하기 위해, PCA로 차원을 축소한 EfficientNet-B3 잠재 공간(latent space)에서 DDPM 기반 특징 증강이라는 생성 모델을 도입한다. 저데이터(low-data) 어블레이션(ablation) 결과는 DDPM 증강이 선택적인 이점을 제공하며, 특히 학습 데이터 비율이 줄어든 상황에서 KNN에 효과적이지만 그 효과는 분류기에 따라 달라짐을 보여준다. 마지막으로, 애플리케이션 수준의 라만 의약품 분석기(Raman Pharmaceutical Analyzer)는 학습된 모델을 대화형 라만 분석 워크플로우에 통합할 수 있음을 보여준다. 이러한 결과는 HyMLRaman이 신속한 라만 기반 의약품 스크리닝을 위한 실용적이고 해석 가능한 방법을 제공함을 시사한다.
감각 정렬 수용영역의 계산적 가치는 신경 세포 표현력에 의존한다
The Computational Value of Sensory-Aligned Receptive Fields Depends on Neuronal Expressivity
생물학적 감각 신경세포는 주파수, 운동 방향, 망막 위치와 같은 유의미한 자극 좌표를 따라 조직화된 선택적 수용영역(receptive field)을 갖습니다. 단순 신경세포에 대한 계산 연구들이 여러 모달리티(modality)에 걸쳐 보여주었듯이, 이러한 구조는 효율적 부호화(efficient coding)와 활동, 연결성 및 배선에 대한 생물학적 제약 조건에서 비롯되었을 수 있습니다. 이는 다음과 같은 질문을 제기합니다. 구조화된 수용영역이 자원 효율성 자체를 넘어 계산적 이점을 제공하는가, 그리고 개별 신경세포의 표현력이 매우 높을 때도 이 이점이 유지되는가? 우리는 신경세포의 복잡도와 피드포워드(feed-forward) 수용영역의 구성을 독립적으로 변경할 수 있는 Expressive Leaky Memory 신경세포의 순환 신경망에서 이 질문을 다룹니다. 청각 및 이벤트 기반 시각 분류(classification) 태스크 전반에 걸쳐, 태스크 관련 감각 좌표와 정렬된 수용영역은 예산이 일치된(budget-matched) 무작위 수용영역에 비해 테스트 정확도를 향상시킵니다. 이러한 이점은 감각 좌표가 뒤섞이거나 수용영역이 태스크와 무관한 좌표를 따를 때 사라지며, 이는 그 이점이 제한된 연결성 자체보다는 태스크 기하학(task geometry)과의 정렬에서 비롯됨을 보여줍니다. 신경세포 복잡도가 증가하면 구조화된 수용영역의 성능상 이점이 감소합니다. 마지막으로, 일반적인 시냅스 희소성(sparsity) 정규화(regularization)는 입력 선택성을 유도하고 성능을 부분적으로 회복하지만, 명시적으로 구조화된 수용영역보다는 실질적으로 낮은 수준에 머물러 있어, 희소성만으로는 태스크 정렬 수용영역의 완전한 계산적 이점을 회복하기에 불충분함을 시사합니다. 종합하면, 우리의 결과는 적절한 수용영역이 희소성 자체를 넘어선 계산적 사전 분포(computational prior) 역할을 할 수 있으며, 그 가치는 개별 신경세포의 계산적 표현력에 따라 달라짐을 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.