arXiv:1812.00123

Snapshot Distillation: Teacher-Student Optimization in One Generation

Chenglin Yang, Lingxi Xie, Chi Su, Alan L. Yuille

제출 2018-12-01

원문 초록

Optimizing a deep neural network is a fundamental task in computer vision, yet direct training methods often suffer from over-fitting. Teacher-student optimization aims at providing complementary cues from a model trained previously, but these approaches are often considerably slow due to the pipeline of training a few generations in sequence, i.e., time complexity is increased by several times. This paper presents snapshot distillation (SD), the first framework which enables teacher-student optimization in one generation. The idea of SD is very simple: instead of borrowing supervision signals from previous generations, we extract such information from earlier epochs in the same generation, meanwhile make sure that the difference between teacher and student is sufficiently large so as to prevent under-fitting. To achieve this goal, we implement SD in a cyclic learning rate policy, in which the last snapshot of each cycle is used as the teacher for all iterations in the next cycle, and the teacher signal is smoothed to provide richer information. In standard image classification benchmarks such as CIFAR100 and ILSVRC2012, SD achieves consistent accuracy gain without heavy computational overheads. We also verify that models pre-trained with SD transfers well to object detection and semantic segmentation in the PascalVOC dataset.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03218v1cs.CV공통 태그 Semantic Segmentation, Object Detection, Image Classification

VisionMX: 비전 모델을 위한 마이크로스케일링 사후 학습 양자화 구현

VisionMX: Unlocking Microscaling Post-Training Quantization for Vision Models

마이크로스케일링(Microscaling, MX) 포맷은 효율적인 학습(training) 및 추론(inference)을 위한 하드웨어 지원 접근법으로 주목받고 있습니다. 이 방식은 저정밀도(low-precision) 요소와 공유 블록 스케일을 결합하지만, 비전 모델에 미치는 영향은 아직 충분히 연구되지 않았습니다. 본 연구에서는 다양한 비전 모델 및 작업 전반에 걸쳐 사후 학습(post-training) MX 양자화(quantization)를 체계적으로 조사합니다. 직접 변환에 대한 분석을 통해 세 가지 오차 원인을 확인했습니다. 즉, 블록 스케일 표현, 일부 소형 합성곱 가중치(weight) 텐서와 비균일 요소 그리드 간의 불량한 정렬, 그리고 비음수 활성화 값에 의한 부호 있는 코드의 불충분한 활용입니다. 이러한 발견을 바탕으로, 유계 가중치 반올림(bounded weight rounding)을 최적화하고 활성화 값에 접을 수 있는 아핀 보정(foldable affine correction)을 적용하는 사후 학습 MX 양자화 방법인 VisionMX를 제안합니다. 여러 MX 스타일 포맷을 사용하여 이미지 분류(image classification), 객체 검출(object detection), 시맨틱 분할(semantic segmentation), 저조도 이미지 향상 작업 전반에서 VisionMX를 평가했습니다. VisionMX는 직접 변환 및 평가된 사후 학습 양자화 기준 모델들을 개선하며, MX 변환에 가장 민감한 아키텍처에서 가장 큰 폭의 성능 복구를 달성합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.