Scale Calibrated Training: Improving Generalization of Deep Networks via Scale-Specific Normalization
원문 초록
Standard convolutional neural networks(CNNs) require consistent image resolutions in both training and testing phase. However, in practice, testing with smaller image sizes is necessary for fast inference. We show that trivially evaluating low-resolution images on networks trained with high-resolution images results in a catastrophic accuracy drop in standard CNN architectures. We propose a novel training regime called Scale calibrated Training(SCT) which allows networks to learn from various scales of input simultaneously. By taking advantages of SCT, single network can provide decent accuracy at test time in response to multiple test scales. In our analysis, we surprisingly find that vanilla batch normalization can lead to sub-optimal performance in SCT. Therefore, a novel normalization scheme called Scale-Specific Batch Normalization is equipped to SCT in replacement of batch normalization. Experiment results show that SCT improves accuracy of single Resnet-50 on ImageNet by 1.7% and 11.5% accuracy when testing on image sizes of 224 and 128 respectively.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
생성적 증강을 통한 AI 테스트 및 평가(T&E)의 의미적 커버리지 개선
Improving Semantic Coverage in AI Test & Evaluation through Generative Augmentation
AI 모델의 테스트 및 평가(T&E)에서 평가자는 일반적으로 홀드아웃(held-out) 테스트 데이터셋에만 접근할 수 있으며, 학습 데이터나 그 의미적 구성에 대한 정보는 알지 못한다. 시간대, 날씨, 장면 위치와 같은 핵심 입력 조건이 이 테스트 데이터셋에서 충분히 표현되지 않으면, 이러한 의미적 커버리지 격차로 인해 T&E 결과가 오도될 수 있다. 우리는 이러한 의미적 요인에 대한 정답 레이블 없이도 이를 탐지하고 채울 수 있는 3단계 생성형 AI 파이프라인을 제안한다. 첫 번째 단계에서는 비전-언어 모델(VLM)이 의미적 요인에 대해 제로샷 이진 레이블링을 수행하고, 임베딩 공간 클러스터링 단계를 통해 어떤 의미적 요인이 하위(downstream) 모델 동작에 가장 큰 영향을 미치는지 식별한다. 두 번째 단계에서는 디퓨전 기반 이미지-투-이미지(image-to-image) 모델이 기존에 충분히 표현된 이미지를 과소 표현된 의미 도메인으로 변환하여, 장면 내용은 보존하면서 고수준의 외형(appearance)만을 증강한다. 세 번째 단계에서는 증강된 이미지 임베딩에 대한 통계적 분석을 통해, 합성 이미지를 반영하기 전에 그것이 데이터셋 커버리지를 개선하는지 검증한다. 중요한 점은, 합성 데이터는 오직 테스트 세트를 보강하는 데에만 사용되며 T&E를 위한 모델 재학습은 수행하지 않는다는 것이다. 우리는 주간/야간 의미 격차 상황에서 이미지 분류와 객체 검출 양쪽에 대해 전체 파이프라인을 검증하였으며, 증강된 테스트 데이터셋이 누락된 의미적 요인에 노출된 모델과 그렇지 않은 모델을 더 잘 구별해내어, 완전히 커버리지를 갖춘 이상적인 데이터셋의 결론에 더 가까운 T&E 결론을 산출함을 보였다. 코드는 https://github.com/Hashe037/DEDUCE 에서 확인할 수 있다.
의약품 식별을 위한 생성적 특징 증강 기반 하이브리드 머신러닝 보조 라만 분광법
Hybrid Machine Learning-Assisted Raman Spectroscopy with Generative Feature Augmentation for Pharmaceutical Identification
의약품 잔류물의 신속하고 신뢰성 있는 식별은 공중보건을 보호하고 식품 안전을 보장하며 실용적인 라만(Raman) 기반 스크리닝을 가능하게 하는 데 중요하다. 본 연구에서는 심층 스펙트럼 특징 추출, 생성 모델, 전통적인 머신러닝 분류기를 결합한 하이브리드 라만 분광법 프레임워크인 HyMLRaman을 제안하여 아목시실린(amoxicillin), 클로람페니콜(chloramphenicol), 시프로플록사신(ciprofloxacin), 테트라사이클린(tetracycline), 이부프로펜(ibuprofen), 파라세타몰(paracetamol)을 포함한 6종의 의약품 화합물을 식별한다. 라만 스펙트럼은 스펙트럼 이미지로 변환되어 여러 심층 신경망 백본(backbone)으로 인코딩되며, 이 중 EfficientNet-B3가 가장 효과적인 표현을 제공한다. 이렇게 얻어진 1536차원 임베딩은 SVM, KNN, 로지스틱 회귀(logistic regression), 랜덤 포레스트(random forest), XGBoost, ANN을 포함한 다운스트림 분류기를 계층화 10-폴드 교차 검증(stratified 10-fold cross-validation) 방식으로 학습시키는 데 사용된다. 하이브리드 EfficientNet-B3-SVM 구성은 96.31%의 정확도와 96.36%의 매크로-F1(macro-F1) 점수를 달성하여 가장 우수한 기준선 성능을 보이며, 단독 CNN 기준선을 능가한다. 제한된 데이터 조건을 해결하기 위해, PCA로 차원을 축소한 EfficientNet-B3 잠재 공간(latent space)에서 DDPM 기반 특징 증강이라는 생성 모델을 도입한다. 저데이터(low-data) 어블레이션(ablation) 결과는 DDPM 증강이 선택적인 이점을 제공하며, 특히 학습 데이터 비율이 줄어든 상황에서 KNN에 효과적이지만 그 효과는 분류기에 따라 달라짐을 보여준다. 마지막으로, 애플리케이션 수준의 라만 의약품 분석기(Raman Pharmaceutical Analyzer)는 학습된 모델을 대화형 라만 분석 워크플로우에 통합할 수 있음을 보여준다. 이러한 결과는 HyMLRaman이 신속한 라만 기반 의약품 스크리닝을 위한 실용적이고 해석 가능한 방법을 제공함을 시사한다.
안전한 보행자-차량 상호작용을 위한 경량 보행자 머리 방향 인식 네트워크
Lightweight Pedestrian Head-Orientation Recognition Network for Safe Pedestrian-Vehicle Interaction
보행자 머리 방향 인식은 보행자의 주의를 파악하고 잠재적인 횡단 행동을 예측하는 데 유용한 단서를 제공함으로써 자율주행에서 중요한 역할을 한다. 그러나 실제 교통 상황에서 보행자의 머리 영역이 저해상도로 촬영되는 경우가 많아 신뢰할 수 있는 인식은 여전히 어려운 과제로 남아 있다. 이러한 문제를 해결하기 위해, 우리는 보행자 머리 방향 인식을 위한 경량의 저해상도 머리 방향 합성곱 신경망(Low-Resolution Head Orientation Convolutional Neural Network, LRHO-CNN)을 제안한다. 우리는 여러 공개 데이터셋에서 보행자 머리 이미지를 추출하고 이를 8개의 방향 범주로 수동으로 주석 처리하여 새로운 데이터셋을 구축한다. 수집된 이미지는 데이터 다양성을 높이고 조명 및 이미지 품질의 변화를 더 잘 반영하기 위해 체계적으로 전처리 및 증강된다. 실험 분석에서는 LRHO-CNN을 세 가지 파인튜닝된 기준선 모델인 ResNet-18, ResNet-34, VGG-16과 비교한다. 그 결과 LRHO-CNN이 평가된 모델 중 가장 높은 분류 정확도를 달성함을 보여준다. LRHO-CNN은 JAAD 및 PIE 데이터셋에서 추가로 평가되어 실제 교통 상황에서 보행자 머리 방향을 인식하는 데 효과적임을 입증하며, 후속 보행자 행동 및 의도 예측을 지원할 수 있는 유용한 머리 방향 단서를 제공한다.
손으로 그린 기하학적 도형의 실시간 인식을 위한 경량 합성곱 신경망
A Lightweight Convolutional Neural Network for Real-Time Recognition of Hand-Drawn Geometric Shapes
손으로 그린 기하학적 도형을 인식하는 것은 스케치 인식의 기초적인 하위 문제로, 교육, 인간-컴퓨터 상호작용(HCI), 다이어그램 디지털화 등에 응용될 수 있다. 본 논문에서는 소형 합성곱 신경망(CNN)을 사용하여 원, 정사각형, 직사각형, 삼각형의 네 가지 기본 손그림 기하학적 도형을 인식하는 데스크톱 애플리케이션의 설계, 구현 및 평가를 제시한다. 라벨링된 28x28 픽셀 크기의 도형 이미지 2,000개로 구성된 데이터셋을 독립적으로 수집하여 공개하였다. 분류기는 맥스 풀링을 포함하는 3개의 합성곱 블록(16, 32, 64개 필터), 모델 내 데이터 증강 단계(무작위 좌우 반전, 회전 및 확대), 드롭아웃 정규화가 적용된 128개 유닛의 완전 연결층, 그리고 4방향 선형 출력층으로 구성되어 총 97,956개의 학습 가능한 파라미터를 가진다. 해당 신경망은 로짓(logits)에서 직접 계산되는 희소 범주형 교차 엔트로피(sparse categorical cross-entropy) 목적 함수를 바탕으로 Adam 옵티마이저를 통해 학습된다. 80/20의 학습-검증 분할에서 이 모델은 0.1437의 검증 손실과 함께 94.80%의 학습 정확도 및 96.01%의 검증 정확도를 달성한다. Tkinter 기반 그래픽 인터페이스를 통해 사용자는 마우스로 도형을 그리고 신뢰도 점수와 함께 즉각적인 클래스 예측 결과를 확인할 수 있다. 본 연구에서는 이 시스템을 보다 광범위한 스케치 및 도형 인식 문헌에 위치시키고, 관련 손그림 도형 분류 연구들과 정확도를 비교하며, 소규모 단일 기여자 데이터셋에 내재된 한계점을 논의한다. 재현성을 지원하기 위해 전체 소스 코드, 학습된 모델, 클래스별 데이터셋을 공개한다.
문법서를 활용한 저자원 기계 번역용 합성 데이터 생성의 요인 실험 연구
A Factorial Study of Synthetic Data Generation for Low-Resource Machine Translation using Grammar Books
대부분의 위기 언어는 기술 문법서가 존재함에도 불구하고 기계 번역에 필요한 병렬 데이터가 부족하다. 본 연구는 대규모 언어 모델(LLM)을 사용하여 문법서에서 문법 규칙, 예문, 어휘집을 추출하고 미세조정용 합성 병렬 코퍼스를 생성하는 파이프라인을 제안한다. 이는 기존 연구처럼 추론 시점에 문법 내용을 프롬프트에 제공하는 방식과는 다르다. 유형론적으로 다양한 세 저자원 언어—Kalamang(파푸아어), Tuatschin(로망스어), Mandan(수어)—에서 검증한 결과, 합성 데이터 미세조정은 Kalamang에서 75%, Tuatschin에서 59%의 설정에서 시드 데이터 기준선 대비 개선을 보였으며, 최적의 경우 ChrF++는 각각 +8.8, +5.3, +3.3만큼 향상되었다. 목표 품사, 검색 세분성, 샘플 규모를 달리한 96개 설정에 대한 체계적인 요인 실험을 통해, 어떤 요인 조합이 성능 향상을 이끌고 어디에서 효과가 한계에 이르는지 밝혔다. 이 결과는 정적 언어학 문헌을 기계 번역 미세조정에 재활용할 수 있음을 보여 주며, 극도로 자원이 부족한 언어를 위한 번역 도구 구축이라는 실용적 경로를 제시한다.
구조 보존이 심층 학습 기반 레이저 스펙클 재료 분류에서 데이터 증강을 좌우한다
Structural Preservation Governs Data Augmentation in Deep Learning-Based Laser Speckle Material Classification
데이터 증강은 이미지 분류에서 일반화를 개선하기 위해 일상적으로 사용되지만, 표준 정책의 전제는 코히런트(coherent) 영상과 잘 맞지 않는다. 레이저 스펙클 패턴은 일반적인 텍스처가 아니며, 코히런트 간섭에서 발생하고 변별적 정보는 구조화된 확률적 공간 및 주파수 통계에 의해 전달된다. 본 연구는 SensiCut 데이터셋에서 제어된 증강 perturbation이 스펙클 기반 재료 분류에 어떻게 영향을 미치는지 검토한다. 회전, Gaussian blur, 독립 Gaussian 노이즈, 공간적으로 상관된 스펙클 인식 노이즈, 강도 jitter, 공간 마스킹으로 구성된 파라미터형 증강 프레임워크 하에서 ResNet18과 EfficientNet-B0를 학습하고, 세 개의 무작위 시드에 대해 평균한 macro F1-score로 테스트 성능을 평가한다. 각 아키텍처에 대해 별도의 최소자승(ordinary least squares) 모델이 증강 파라미터와 성능을 연결한다. 두 모델 모두에서 Gaussian blur는 강한 부정적 효과를 나타낸다(p < 0.001). 이는 저역 통과 필터링이 재료 변별에 유용한 고주파 구조를 억제함을 시사한다. 독립적인 픽셀 단위 노이즈도 마찬가지로 해롭다(EfficientNet-B0에서 p = 0.003, ResNet18에서 p = 0.001). 이는 국소 공간 코히런스의 파괴와 일치한다. 대조적으로, 공간적으로 상관된 perturbation은 유의한 양의 계수를 산출한다(EfficientNet-B0에서 p = 0.004, ResNet18에서 p = 0.001). 이는 변동성이 스펙클 조직을 보존할 때 견고성을 개선할 수 있음을 보여준다. 적합된 모델은 성능 변동의 상당한 비율을 설명한다(EfficientNet-B0에서 R2 = 0.796, ResNet18에서 R2 = 0.879). 이러한 결과는 레이저 스펙클 영상에서 증강 효과가 perturbation 크기보다 구조 보존에 의해 주로 결정됨을 보여준다. 이 발견은 코히런트 광학 센싱을 위한 물리 인식(physics-aware) 증강 설계를 촉진한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.