arXiv:2601.15212v2 cs.LG

ZENITH: Automated Gradient Norm Informed Stochastic Optimization

Dhrubo Saha

제출 2026-01-21

원문 초록

Training deep computer vision models requires manual oversight or hyperparameter tuning of the learning rate (LR) schedule. While existing adaptive optimizers schedule the LR automatically, they suffer from computational and memory overhead, incompatibility with regularization, and suboptimal LR choices. In this work, we introduce the ZENITH (Zero-overhead Evolution using Norm-Informed Training History) optimizer, which adapts the LR using the temporal evolution of the gradient norm. Image classification experiments spanning 6 CNN architectures and 6 benchmarks demonstrate that ZENITH achieves higher test accuracy in lower wall-clock time than baselines. It also yielded superior mAP in object detection, keypoint detection, and instance segmentation on MS COCO using the R-CNN family of models. Furthermore, its compatibility with regularization enables even better generalization.

요약

ZENITH는 학습률(learning rate) 스케줄의 수동 조정 없이 그래디언트 노름(gradient norm)의 시간적 변화를 추적하여 학습률을 자동으로 조정하는 옵티마이저로, 슬라이딩 윈도우 기반의 롤링 평균과 역대 최대 노름 대비 현재 노름의 비율을 이용해 스케일 불변적이고 정규화와도 호환되는 학습률 적응 메커니즘을 제안한다. 6개의 CNN 아키텍처와 6개의 이미지 분류 벤치마크, MS COCO 검출·분할 과제에서 기존 방법 대비 짧은 학습 시간 내에 더 높은 성능을 달성하며 수렴 보장도 이론적으로 증명하였다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2601.15212v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03218v1cs.CV공통 태그 Object Detection, Image Classification, Computational Efficiency

VisionMX: 비전 모델을 위한 마이크로스케일링 사후 학습 양자화 구현

VisionMX: Unlocking Microscaling Post-Training Quantization for Vision Models

마이크로스케일링(Microscaling, MX) 포맷은 효율적인 학습(training) 및 추론(inference)을 위한 하드웨어 지원 접근법으로 주목받고 있습니다. 이 방식은 저정밀도(low-precision) 요소와 공유 블록 스케일을 결합하지만, 비전 모델에 미치는 영향은 아직 충분히 연구되지 않았습니다. 본 연구에서는 다양한 비전 모델 및 작업 전반에 걸쳐 사후 학습(post-training) MX 양자화(quantization)를 체계적으로 조사합니다. 직접 변환에 대한 분석을 통해 세 가지 오차 원인을 확인했습니다. 즉, 블록 스케일 표현, 일부 소형 합성곱 가중치(weight) 텐서와 비균일 요소 그리드 간의 불량한 정렬, 그리고 비음수 활성화 값에 의한 부호 있는 코드의 불충분한 활용입니다. 이러한 발견을 바탕으로, 유계 가중치 반올림(bounded weight rounding)을 최적화하고 활성화 값에 접을 수 있는 아핀 보정(foldable affine correction)을 적용하는 사후 학습 MX 양자화 방법인 VisionMX를 제안합니다. 여러 MX 스타일 포맷을 사용하여 이미지 분류(image classification), 객체 검출(object detection), 시맨틱 분할(semantic segmentation), 저조도 이미지 향상 작업 전반에서 VisionMX를 평가했습니다. VisionMX는 직접 변환 및 평가된 사후 학습 양자화 기준 모델들을 개선하며, MX 변환에 가장 민감한 아키텍처에서 가장 큰 폭의 성능 복구를 달성합니다.

arXiv:2610.13697v1cs.CV공통 태그 Object Detection, Image Classification

생성적 증강을 통한 AI 테스트 및 평가(T&E)의 의미적 커버리지 개선

Improving Semantic Coverage in AI Test & Evaluation through Generative Augmentation

AI 모델의 테스트 및 평가(T&E)에서 평가자는 일반적으로 홀드아웃(held-out) 테스트 데이터셋에만 접근할 수 있으며, 학습 데이터나 그 의미적 구성에 대한 정보는 알지 못한다. 시간대, 날씨, 장면 위치와 같은 핵심 입력 조건이 이 테스트 데이터셋에서 충분히 표현되지 않으면, 이러한 의미적 커버리지 격차로 인해 T&E 결과가 오도될 수 있다. 우리는 이러한 의미적 요인에 대한 정답 레이블 없이도 이를 탐지하고 채울 수 있는 3단계 생성형 AI 파이프라인을 제안한다. 첫 번째 단계에서는 비전-언어 모델(VLM)이 의미적 요인에 대해 제로샷 이진 레이블링을 수행하고, 임베딩 공간 클러스터링 단계를 통해 어떤 의미적 요인이 하위(downstream) 모델 동작에 가장 큰 영향을 미치는지 식별한다. 두 번째 단계에서는 디퓨전 기반 이미지-투-이미지(image-to-image) 모델이 기존에 충분히 표현된 이미지를 과소 표현된 의미 도메인으로 변환하여, 장면 내용은 보존하면서 고수준의 외형(appearance)만을 증강한다. 세 번째 단계에서는 증강된 이미지 임베딩에 대한 통계적 분석을 통해, 합성 이미지를 반영하기 전에 그것이 데이터셋 커버리지를 개선하는지 검증한다. 중요한 점은, 합성 데이터는 오직 테스트 세트를 보강하는 데에만 사용되며 T&E를 위한 모델 재학습은 수행하지 않는다는 것이다. 우리는 주간/야간 의미 격차 상황에서 이미지 분류와 객체 검출 양쪽에 대해 전체 파이프라인을 검증하였으며, 증강된 테스트 데이터셋이 누락된 의미적 요인에 노출된 모델과 그렇지 않은 모델을 더 잘 구별해내어, 완전히 커버리지를 갖춘 이상적인 데이터셋의 결론에 더 가까운 T&E 결론을 산출함을 보였다. 코드는 https://github.com/Hashe037/DEDUCE 에서 확인할 수 있다.

arXiv:2610.02421v1cs.CV공통 태그 Object Detection, Image Classification

저배율 두피 이미지 기반 안드로겐성 탈모증 평가를 위한 AI 기반 다단계 접근법

An AI-Based Multi-Stage Approach for Androgenetic Alopecia Assessment from Low-Magnification Scalp Images

안드로겐성 탈모증(AGA)은 패턴화된 모낭 소형화, 단일 모발 모낭군(FU) 증가, 모간 직경 변화를 특징으로 합니다. 본 연구에서는 모낭군 위치 추정, 서열형 가시 모간 수 계수, 캘리브레이션된 모간 너비 추정, 부위별 집계, 해석 가능한 규칙 층(layer)을 결합한 자동화된 정량적 두피 분석 및 임상 의사결정 지원 프레임워크를 제시합니다. 임상 코호트는 243명의 환자(AGA 127명, 비AGA 116명)로 구성되었으며, 컴퓨터 비전(CV) 실험에는 전문가가 주석을 추가한 160명의 환자, 2,400장의 모발경 검사 이미지, 약 158,000개의 모낭군 주석이 활용되었습니다. 환자 비중복 평가에서 YOLOv8m은 테스트 [email omitted]=0.920 및 재현율(recall)=0.860을 달성하였고, 서포트 맵 채널을 갖춘 EfficientNet-B5는 전문가 바운딩 박스 기준 87.0%의 계수 정확도(매크로 F1=0.85)를 달성했습니다. 별도의 500개 이미지 세트에 대해 검출기가 생성한 박스를 기반으로 엔드투엔드 처리를 수행한 결과, 인간 전문가 주석 대비 모낭 검출 MAE 6.56, 모낭 분류(classification) MAE 16.59를 기록했습니다. 본 시스템은 피부과 전문의의 판독을 대체하기보다 보조하도록 고안되었습니다.

arXiv:2610.03013v1cs.CV공통 태그 Instance Segmentation, Object Detection

RYOPO: 엔드투엔드 범주 수준 객체 포즈 추정의 실시간화

RYOPO: Bringing End-to-End Category-Level Object Pose Estimation into Real Time

범주 수준(category-level) 객체 포즈 추정은 알려진 범주 내에서 보지 못한 인스턴스의 회전, 평행 이동 및 미터 단위 크기를 예측합니다. 많은 고정밀 RGB-D 방식은 외부 인스턴스 분할과 크롭 기반 포즈 추정에 의존하므로, 별도의 단계와 객체 수에 의존하는 처리 비용이 발생하여 실시간 추론(inference)을 저해합니다. 정확한 포즈 추정을 실시간으로 구현하기 위해, 본 논문에서는 엔드투엔드로 학습 가능한 쿼리 기반 RGB-D 세트 예측기인 RYOPO를 제시합니다. RYOPO는 명시적인 CAD 기반 형상 사전 정보나 별도로 학습된 인스턴스 분할기 없이도 객체를 공동으로 검출 및 분할하고 이들의 9-DoF 포즈를 추정합니다. 공유된 이미지 및 씬 인코딩은 객체별 크롭 인코딩의 반복을 방지합니다. 쿼리 조건부 기하학 경로는 관측된 3D 포인트 및 RGB 특징을 객체 쿼리와 연결하고 공유된 씬 컨텍스트를 통합합니다. 객체 중심 리파인먼트는 도출된 포인트 기술자를 활용하여 포즈 조건부 교차 어텐션(cross-attention)과 순환 잔차 보정을 통해 명시적 포즈 상태를 업데이트합니다. NOCS 데이터셋에서 RYOPO는 기존에 발표된 RGB-D 공동 검출 및 포즈 추정 결과를 크게 개선합니다. 또한 REAL275 및 HouseCat6D의 전 객체 평가에서 2단계 방식들과 비교해 경쟁력 있는 성능을 달성하는 동시에, RTX A6000에서 31.8 FPS로 실시간 풀프레임 포즈 추정을 가능하게 합니다. 프로젝트 페이지: https://yopo-series.github.io/RYOPO-project-page/.

arXiv:2610.03051v1cs.CV공통 태그 Instance Segmentation, Object Detection

BeeWhere: 행동 효과 정량화를 위한 뒤영벌 군집 인스턴스 세분화

BeeWhere: Segmenting Bumble Bee Colonies to Quantify Behavioral Effects

사회성 벌은 전 세계적으로 생물다양성과 농작물 수분을 지원하며 집단 행동 연구를 위한 중요한 모델 시스템 역할을 하는 핵심 화분 매개자이지만, 밀집되고 가림이 많은 둥지 환경에서는 개체 및 군집 수준의 행동을 대규모로 측정하기 어렵습니다. 기존의 모니터링 워크플로는 개체 식별을 유지하기 위해 기준 마커(예: ArUco) 태그를 사용하지만, 태그 기반 추적은 마커가 가려질 경우 실패할 수 있으며 신체 범위, 공간적 맥락, 태그가 부착되지 않은 개체에 대한 정보가 제한적이라는 단점이 있습니다. 본 논문에서는 고해상도 군집 이미지 및 비디오에서 뒤영벌의 행동을 정량화하기 위해 ArUco 검출과 딥러닝 기반 인스턴스 세분화(instance segmentation)를 결합한 AI 보조 어노테이션 및 분석 워크플로인 BeeWhere를 제안합니다. 동부호박벌(Bombus impatiens) 마이크로군집을 테스트 케이스로 활용하여 8,443개의 벌 인스턴스가 포함된 483개 프레임을 어노테이션했습니다. 추가로 꽃가루 덩어리, 둥지 구조, 챔버 경계를 어노테이션하고 후속 행동 분석을 위한 YOLO 인스턴스 세분화 모델을 학습(training)했습니다. 인스턴스 세분화를 통해 신체 윤곽을 기반으로 최근접 이웃 거리, 둥지 구조와의 근접도, 둥지 내 공간 점유율, 시간 경과에 따른 검출 수 등 중요한 행동 지표를 정량화할 수 있습니다. 네오니코티노이드계 살충제 노출이 행동에 미치는 영향을 평가하는 탐색적 검증(validation) 연구에서 태그 기반 추적에 BeeWhere 모델을 적용했습니다. BeeWhere는 특히 벌이 부분적으로 가려지거나 까다로운 이미징 조건일 때 태그 기반 추적 대비 검출률을 높였으며, 태그 기반 추적만으로는 포착하지 못했던 처리군 관련 벌들의 공간적 조직 변화도 포착했습니다. 이러한 결과는 인스턴스 세분화가 까다로운 군집 환경에서도 행동학적으로 유의미한 신호를 복원함으로써 기준 마커 기반 추적을 상호보완할 수 있음을 시사합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.