arXiv:2210.11095

Iterative collaborative routing among equivariant capsules for transformation-robust capsule networks

Sai Raam Venkataraman, S. Balasubramanian, R. Raghunatha Sarma

제출 2022-10-20

원문 초록

Transformation-robustness is an important feature for machine learning models that perform image classification. Many methods aim to bestow this property to models by the use of data augmentation strategies, while more formal guarantees are obtained via the use of equivariant models. We recognise that compositional, or part-whole structure is also an important aspect of images that has to be considered for building transformation-robust models. Thus, we propose a capsule network model that is, at once, equivariant and compositionality-aware. Equivariance of our capsule network model comes from the use of equivariant convolutions in a carefully-chosen novel architecture. The awareness of compositionality comes from the use of our proposed novel, iterative, graph-based routing algorithm, termed Iterative collaborative routing (ICR). ICR, the core of our contribution, weights the predictions made for capsules based on an iteratively averaged score of the degree-centralities of its nearest neighbours. Experiments on transformed image classification on FashionMNIST, CIFAR-10, and CIFAR-100 show that our model that uses ICR outperforms convolutional and capsule baselines to achieve state-of-the-art performance.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13697v1cs.CV공통 태그 Data Augmentation, Image Classification

생성적 증강을 통한 AI 테스트 및 평가(T&E)의 의미적 커버리지 개선

Improving Semantic Coverage in AI Test & Evaluation through Generative Augmentation

AI 모델의 테스트 및 평가(T&E)에서 평가자는 일반적으로 홀드아웃(held-out) 테스트 데이터셋에만 접근할 수 있으며, 학습 데이터나 그 의미적 구성에 대한 정보는 알지 못한다. 시간대, 날씨, 장면 위치와 같은 핵심 입력 조건이 이 테스트 데이터셋에서 충분히 표현되지 않으면, 이러한 의미적 커버리지 격차로 인해 T&E 결과가 오도될 수 있다. 우리는 이러한 의미적 요인에 대한 정답 레이블 없이도 이를 탐지하고 채울 수 있는 3단계 생성형 AI 파이프라인을 제안한다. 첫 번째 단계에서는 비전-언어 모델(VLM)이 의미적 요인에 대해 제로샷 이진 레이블링을 수행하고, 임베딩 공간 클러스터링 단계를 통해 어떤 의미적 요인이 하위(downstream) 모델 동작에 가장 큰 영향을 미치는지 식별한다. 두 번째 단계에서는 디퓨전 기반 이미지-투-이미지(image-to-image) 모델이 기존에 충분히 표현된 이미지를 과소 표현된 의미 도메인으로 변환하여, 장면 내용은 보존하면서 고수준의 외형(appearance)만을 증강한다. 세 번째 단계에서는 증강된 이미지 임베딩에 대한 통계적 분석을 통해, 합성 이미지를 반영하기 전에 그것이 데이터셋 커버리지를 개선하는지 검증한다. 중요한 점은, 합성 데이터는 오직 테스트 세트를 보강하는 데에만 사용되며 T&E를 위한 모델 재학습은 수행하지 않는다는 것이다. 우리는 주간/야간 의미 격차 상황에서 이미지 분류와 객체 검출 양쪽에 대해 전체 파이프라인을 검증하였으며, 증강된 테스트 데이터셋이 누락된 의미적 요인에 노출된 모델과 그렇지 않은 모델을 더 잘 구별해내어, 완전히 커버리지를 갖춘 이상적인 데이터셋의 결론에 더 가까운 T&E 결론을 산출함을 보였다. 코드는 https://github.com/Hashe037/DEDUCE 에서 확인할 수 있다.

arXiv:2610.02224v1cs.LG공통 태그 Data Augmentation, Image Classification

의약품 식별을 위한 생성적 특징 증강 기반 하이브리드 머신러닝 보조 라만 분광법

Hybrid Machine Learning-Assisted Raman Spectroscopy with Generative Feature Augmentation for Pharmaceutical Identification

의약품 잔류물의 신속하고 신뢰성 있는 식별은 공중보건을 보호하고 식품 안전을 보장하며 실용적인 라만(Raman) 기반 스크리닝을 가능하게 하는 데 중요하다. 본 연구에서는 심층 스펙트럼 특징 추출, 생성 모델, 전통적인 머신러닝 분류기를 결합한 하이브리드 라만 분광법 프레임워크인 HyMLRaman을 제안하여 아목시실린(amoxicillin), 클로람페니콜(chloramphenicol), 시프로플록사신(ciprofloxacin), 테트라사이클린(tetracycline), 이부프로펜(ibuprofen), 파라세타몰(paracetamol)을 포함한 6종의 의약품 화합물을 식별한다. 라만 스펙트럼은 스펙트럼 이미지로 변환되어 여러 심층 신경망 백본(backbone)으로 인코딩되며, 이 중 EfficientNet-B3가 가장 효과적인 표현을 제공한다. 이렇게 얻어진 1536차원 임베딩은 SVM, KNN, 로지스틱 회귀(logistic regression), 랜덤 포레스트(random forest), XGBoost, ANN을 포함한 다운스트림 분류기를 계층화 10-폴드 교차 검증(stratified 10-fold cross-validation) 방식으로 학습시키는 데 사용된다. 하이브리드 EfficientNet-B3-SVM 구성은 96.31%의 정확도와 96.36%의 매크로-F1(macro-F1) 점수를 달성하여 가장 우수한 기준선 성능을 보이며, 단독 CNN 기준선을 능가한다. 제한된 데이터 조건을 해결하기 위해, PCA로 차원을 축소한 EfficientNet-B3 잠재 공간(latent space)에서 DDPM 기반 특징 증강이라는 생성 모델을 도입한다. 저데이터(low-data) 어블레이션(ablation) 결과는 DDPM 증강이 선택적인 이점을 제공하며, 특히 학습 데이터 비율이 줄어든 상황에서 KNN에 효과적이지만 그 효과는 분류기에 따라 달라짐을 보여준다. 마지막으로, 애플리케이션 수준의 라만 의약품 분석기(Raman Pharmaceutical Analyzer)는 학습된 모델을 대화형 라만 분석 워크플로우에 통합할 수 있음을 보여준다. 이러한 결과는 HyMLRaman이 신속한 라만 기반 의약품 스크리닝을 위한 실용적이고 해석 가능한 방법을 제공함을 시사한다.

arXiv:2609.24193v1cs.CV공통 태그 Data Augmentation, Image Classification

안전한 보행자-차량 상호작용을 위한 경량 보행자 머리 방향 인식 네트워크

Lightweight Pedestrian Head-Orientation Recognition Network for Safe Pedestrian-Vehicle Interaction

보행자 머리 방향 인식은 보행자의 주의를 파악하고 잠재적인 횡단 행동을 예측하는 데 유용한 단서를 제공함으로써 자율주행에서 중요한 역할을 한다. 그러나 실제 교통 상황에서 보행자의 머리 영역이 저해상도로 촬영되는 경우가 많아 신뢰할 수 있는 인식은 여전히 어려운 과제로 남아 있다. 이러한 문제를 해결하기 위해, 우리는 보행자 머리 방향 인식을 위한 경량의 저해상도 머리 방향 합성곱 신경망(Low-Resolution Head Orientation Convolutional Neural Network, LRHO-CNN)을 제안한다. 우리는 여러 공개 데이터셋에서 보행자 머리 이미지를 추출하고 이를 8개의 방향 범주로 수동으로 주석 처리하여 새로운 데이터셋을 구축한다. 수집된 이미지는 데이터 다양성을 높이고 조명 및 이미지 품질의 변화를 더 잘 반영하기 위해 체계적으로 전처리 및 증강된다. 실험 분석에서는 LRHO-CNN을 세 가지 파인튜닝된 기준선 모델인 ResNet-18, ResNet-34, VGG-16과 비교한다. 그 결과 LRHO-CNN이 평가된 모델 중 가장 높은 분류 정확도를 달성함을 보여준다. LRHO-CNN은 JAAD 및 PIE 데이터셋에서 추가로 평가되어 실제 교통 상황에서 보행자 머리 방향을 인식하는 데 효과적임을 입증하며, 후속 보행자 행동 및 의도 예측을 지원할 수 있는 유용한 머리 방향 단서를 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.