Single-image driven 3d viewpoint training data augmentation for effective wine label recognition
원문 초록
Confronting the critical challenge of insufficient training data in the field of complex image recognition, this paper introduces a novel 3D viewpoint augmentation technique specifically tailored for wine label recognition. This method enhances deep learning model performance by generating visually realistic training samples from a single real-world wine label image, overcoming the challenges posed by the intricate combinations of text and logos. Classical Generative Adversarial Network (GAN) methods fall short in synthesizing such intricate content combination. Our proposed solution leverages time-tested computer vision and image processing strategies to expand our training dataset, thereby broadening the range of training samples for deep learning applications. This innovative approach to data augmentation circumvents the constraints of limited training resources. Using the augmented training images through batch-all triplet metric learning on a Vision Transformer (ViT) architecture, we can get the most discriminative embedding features for every wine label, enabling us to perform one-shot recognition of existing wine labels in the training classes or future newly collected wine labels unavailable in the training. Experimental results show a significant increase in recognition accuracy over conventional 2D data augmentation techniques.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ECAPA-TDNN 임베딩의 초구면 기하 이해와 제로샷 음성 변환에 미치는 영향
Understanding Hyperspherical Geometry of ECAPA-TDNN Embedding and Its Impact on Zero-Shot Voice Conversion
각도 마진(angular-margin) 화자 인코더는 음성 변환에 널리 쓰이지만, 분류기 프로토타입(classifier prototype)의 기하는 여전히 잘 알려져 있지 않다. 본 연구는 ECAPA-TDNN 분류기 프로토타입을 단위 초구면(unit hypersphere) 위의 점으로 분석하고, 회전 불변(rotation-invariant) 각 통계와 전역·지역 유효 차원(effective dimensionality) 지표를 함께 사용해 그 배치를 특성화한다. 분석 결과, 표준 학습(training)은 각 집중(angular concentration)과 유효 차원의 큰 폭 감소를 유발할 수 있음을 보인다. 이에 대응해, 분류기 프로토타입에 더 균일한 초구면(hyperspherical) 커버리지를 유도하기 위해 두 가지 기하적 정규ization(regularization) 전략(hinged Riesz log-energy, 유효 차원 최대화)을 적용해 조사한다. 그 결과 프로토타입 집합은 더 높은 유효 차원과 개선된 등방성(isotropy)을 보이며, 화자 인식(speaker recognition) 성능에는 구성에 따른 영향이 있다. 해당 ECAPA-TDNN 모델을 Fast-VGAN의 화자 인코더로 사용할 때, 정규화된 시스템은 제로샷 음성 변환(zero-shot voice conversion)에서도 견고성이 향상되며, 특히 이전에 보지 못한 화자에서 두드러진다.
IG-GAN: 내재 기하학 기반 공기역학 데이터 생성을 위한 생성적 적대 신경망
IG-GAN: A Generative Adversarial Network for Aerodynamic Data Generation Based on Intrinsic Geometry
기존 생성 모델들은 평탄한 유클리드 공간에서 데이터 분포를 학습한다. 그러나 실세계의 대부분의 데이터는 고차원 유클리드 공간에 내재된 다양체(manifold)이다. 이에 우리는 공기역학 분야의 데이터 생성을 위한 내재 기하학 기반 생성적 적대 신경망(IG-GAN)을 제안한다. IG-GAN의 생성자는 공기역학 데이터를 베지에 곡면(Bézier surfaces)으로 구성된 조각별 매끄러운 다양체로 표현하며, 각 베지에 곡면의 계수를 학습하여 복수의 베지에 곡면을 자동으로 매끄러운 다양체로 결합한다. IG-GAN의 판별자는 방사 기저 함수(RBF) 기반 판별자(RBF-D)이다. 실험 결과, IG-GAN은 세 가지 베이스라인 대비 더 낮은 예측 평균 제곱 오차(MSE)를 달성하였다. 구체적으로, Burgers' equation 데이터셋에서 IG-GAN은 최신 기법인 SSL-트랜스포머 대비 속도 u의 예측 MSE를 97.41% 감소시켰다. 또한 ONERA M6 항공기 데이터셋에서 IG-GAN은 SSL-트랜스포머 대비 9개 공기역학 계수의 전체 MSE를 82.95% 감소시켰다.
커넥티드 자율주행 차량을 위한 증강된 3D 포인트 클라우드 공공 데이터셋에 대한 포이즈닝 공격의 운영적 영향 평가
Assessing the Operational Impact of Poisoning Attacks over Augmented 3D Point Cloud Public Datasets for Connected and Autonomous Vehicles
공공 데이터셋에 대한 포이즈닝 공격은 다음과 같은 주요 우려를 야기한다: (i) 오염된 데이터를 학습에 사용할 때 인식된 객체의 오분류, (ii) 학습된 모델에 특정 조건이 적용될 때 이후 트리거될 수 있는 백도어 임베딩. 데이터 증강 모델에 대한 포이즈닝의 영향은 불명확하다. 데이터 증강이 포이즈닝 공격 성공의 가능도를 낮추기는 하지만, 몇 가지 유효한 의문점이 남는다. 데이터 증강이 포이즈닝 공격의 영향을 변화시키는가? 오염된 샘플의 수 또는 주입된 백도어를 증가시킬 수 있는가? 본 논문에서는 이러한 의문들 중 일부를 탐구한다. 오염된 3D 포인트 클라우드 데이터셋을 증강할 때의 효과를 평가하고, 생성적 적대 신경망(GAN) 기법을 데이터 증강 처리의 구체적 사례로 활용하여 포이즈닝이 증강 기법의 정화(sanitizing) 특성을 회피할 수 있음을 검증한다. 또한 포이즈닝이 증강된 데이터셋 전반에 걸쳐 전파되어 범용 분류기의 최종 의사 결정을 교란시킨다는 점도 검증한다. 모든 실험 자료(도구, 데이터셋, 분류기 포함)는 재현성을 높이고 이 주제에 대한 추가 연구를 촉진하기 위해 공개적으로 제공된다.
다중 기관 데이터셋에 걸친 유방촬영술 석회화 분류를 위한 비지도 도메인 적응
Unsupervised Domain Adaptation for Calcification Classification in Mammography Across Multi-Site Datasets
심층 학습(deep learning) 기반 컴퓨터 보조 진단(CAD) 시스템은 유방암 진단, 특히 유방촬영술의 분류 작업에서 높은 성능을 보여왔다. 그러나 다중 기관 데이터셋 간의 도메인 이동(domain shift)은 여전히 과제로 남아 있으며, 특히 모델이 미지의 도메인에 적용될 때 두드러진다. 본 연구에서는 다중 기관 유방촬영술 데이터셋에 걸쳐 악성 대 양성 유방 질환 분류를 개선하기 위한 석회화 분류 프레임워크를 제안하였다. 이 프레임워크는 두 가지 구성 요소로 이루어진다: (1) 추가 어노테이션 없이 제조사별 및 촬영 기법별 학습 샘플을 생성하기 위해 스타일 전이 모델(AdaIN 및 CycleGAN)을 기반으로 한 비지도 도메인 적응 모듈, 그리고 (2) Swin Transformer V2를 백본으로 사용하는 지도 분류 모듈. 제안한 방법을 세 가지 데이터셋에서 평가하였다: OPTIMAM(영국 국민보건서비스; n=2994)에 대한 교차 검증, 이후 EMBED(에모리 대학교; n=125) 및 Duke Calcification Dataset v1(n=788)에 대한 외부 검증. 이 데이터셋들은 여러 제조사를 포함하며, 전장 디지털 유방촬영술(full-field digital mammography)과 디지털 유방 단층합성술(digital breast tomosynthesis)에서 파생된 합성 2D 이미지를 모두 포함한다. 제안된 프레임워크는 EMBED(AUC 0.68에서 0.72)와 Duke Calcification Dataset(AUC 0.68에서 0.73) 모두에서 교차 기관 성능을 향상시켰다. 이러한 결과는 도메인 적응이 도메인 이동을 줄이고 다중 기관 데이터셋에 걸친 석회화 분류의 일반화를 개선할 수 있음을 보여준다.
MABLE: 임베딩 및 그래프 메트릭 학습을 위한 양방향 립시츠 디코딩을 적용한 마스크드 오토인코딩
MABLE: Masked Autoencoding with Bi-Lipschitz Decoding for Embeddings and Graph Metric Learning
우리는 대규모 이종 그래프에서 노드 및 그래프 임베딩을 학습하기 위한 자기지도 프레임워크인 MABLE(Masked Autoencoding with Bi-Lipschitz Decoding for Embeddings and Graph Metric Learning)을 제안하며, 여기서는 지리공간 광물 탐험 데이터를 대상으로 이를 실증한다. MABLE은 마스크 재구성과, 매칭된 증강 뷰를 정렬하면서 동시에 쌍을 이루지 않는 임베딩을 충분히 분산시키는 고정된 코사인 유사도 손실을 결합한다. 양방향 립시츠 특징 디코더는 각 노드 임베딩의 저차원 재구성 구성요소를 특징 유사도와 결부시키고, 매칭된 노드 일관성은 그래프 풀링에 사용되는 나머지 컨텍스트를 형성한다. 립시츠 제어 풀링은 유지된 노드 임베딩의 섭동 하에서 그래프 수준 표현의 안정화를 돕고, 증강 정렬은 마스킹, 노드 드롭, 샘플링 변이에 대한 강건성을 학습시킨다. 지역 구리 및 광역 아라비안 실드(Arabian Shield) 연구에 걸쳐, MABLE 임베딩은 보완적인 다운스트림 신호를 제공하고, 학습된 판별자나 하드 네거티브 선택 없이 가설 생성을 위한 일관된 임베딩 기반 레이어를 생성한다.
보수적 피험자 불변 EMG 기반 제스처 인식
Conservative Subject Invariant EMG-based Gesture Recognition
교차 피험자 일반화는 표면 근전도(sEMG) 기반 제스처 인식에서 근본적인 과제로 남아 있다. 심층 학습(deep learning) 방법이 피험자 내 성능을 향상시켰지만, 이러한 방법들은 피험자별 데이터에 의존하는 경우가 많으며 불변성과 판별력 사이의 균형을 맞추는 데 어려움을 겪는다. 본 연구에서는 피험자 불변 sEMG 제스처 인식을 위한 보수적 다목적 학습 프레임워크를 제안한다. 제안된 모델은 제스처 분류(classification), 그래디언트(gradient) 역전을 통한 적대적 피험자 혼동, 그리고 판별적이고 피험자 불변적인 표현을 장려하기 위한 트리플릿 기반 메트릭 학습을 공동으로 최적화하는 멀티헤드 아키텍처를 채택한다. 최적화 안정성을 높이기 위해, 학습 중 보조 목적 함수들의 상대적 크기에 따라 이를 동적으로 균형 조정하는 Lipschitz 영감 적응적 가중치 메커니즘을 도입한다. 제안된 방법은 두 벤치마크 데이터셋(UCI EMG(36명 피험자, 6가지 제스처) 및 NinaPro DB5(10명 피험자, 10가지 제스처))에서 평가된다. UCI EMG 데이터셋에서 본 방법은 최신 방법이 보고한 78.2%와 비교하여 84.48%의 정확도를 달성한다. NinaPro DB5에서는 41.30% 대비 61.44%의 정확도를 달성하며, 이는 49%의 상대적 향상에 해당한다. 또한 제안된 프레임워크는 교차 피험자 예측 분산을 줄이고 보다 구조화된 잠재 표현을 생성한다. 이러한 결과는 적응적 다목적 최적화를 통해 불변성과 판별력을 공동으로 강제하는 것이 sEMG 기반 제스처 인식 시스템에서 보다 안정적인 학습과 향상된 교차 피험자 일반화로 이어짐을 시사한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.