← Knowledge Distillation
Papers with Code · CC BY-SA 4.0

CIFAR-100

아카이브 평가 27건 · 마지막 적재/변경

평가 기록

과거 수집 기록이며 최신 순위가 아닙니다. 데이터셋 버전·split·실험 조건과 지표 방향이 검증되지 않은 결과는 직접 비교할 수 없습니다. 날짜는 논문 날짜이며 최신 평가일을 뜻하지 않습니다.

표가 화면보다 넓으면 좌우로 스크롤하여 논문과 구현 링크를 확인하세요.

원본 기록 순서 · 순위 미부여
모델원본 지표·값논문구현
SRD (T:resnet-32x4, S:shufflenet-v2)
Top-1 Accuracy (%)
79.86
Understanding the Role of the Projector in Knowledge Distillation
2023-03-20
코드 1 · 코드 2 · 코드 3 · 코드 4
shufflenet-v2(T:resnet-32x4, S:shufflenet-v2)
Top-1 Accuracy (%)
78.76
Logit Standardization in Knowledge Distillation
2024-03-03
코드 1
MV-MR (T: CLIP/ViT-B-16 S: resnet50)
Top-1 Accuracy (%)
78.6
MV-MR: multi-views and multi-representations for self-supervised learning and knowledge distillation
2023-03-21
코드 1
resnet8x4 (T: resnet32x4 S: resnet8x4)
Top-1 Accuracy (%)
78.28
Logit Standardization in Knowledge Distillation
2024-03-03
코드 1
resnet8x4 (T: resnet32x4 S: resnet8x4 [modified])
Top-1 Accuracy (%)
78.08
Knowledge Distillation with the Reused Teacher Classifier
2022-03-26
코드 1
ReviewKD++(T:resnet-32x4, S:shufflenet-v2)
Top-1 Accuracy (%)
77.93
Improving Knowledge Distillation via Regularizing Feature Norm and Direction
2023-05-26
코드 1
ReviewKD++(T:resnet-32x4, S:shufflenet-v1)
Top-1 Accuracy (%)
77.68
Improving Knowledge Distillation via Regularizing Feature Norm and Direction
2023-05-26
코드 1
resnet8x4 (T: resnet32x4 S: resnet8x4)
Top-1 Accuracy (%)
77.50
LumiNet: The Bright Side of Perceptual Knowledge Distillation
2023-10-05
코드 1
resnet8x4 (T: resnet32x4 S: resnet8x4)
Top-1 Accuracy (%)
76.68
Information Theoretic Representation Distillation
2021-12-01
코드 1
resnet8x4 (T: resnet32x4 S: resnet8x4)
Top-1 Accuracy (%)
76.31
Knowledge Distillation from A Stronger Teacher
2022-05-21
코드 1 · 코드 2 · 코드 3
DKD++(T:resnet-32x4, S:resnet-8x4)
Top-1 Accuracy (%)
76.28
Improving Knowledge Distillation via Regularizing Feature Norm and Direction
2023-05-26
코드 1
resnet8x4 (T: resnet32x4 S: resnet8x4)
Top-1 Accuracy (%)
76.15
Wasserstein Contrastive Representation Distillation
2020-12-15
연결 없음
ReviewKD++(T:WRN-40-2, S:WRN-40-1)
Top-1 Accuracy (%)
75.66
Improving Knowledge Distillation via Regularizing Feature Norm and Direction
2023-05-26
코드 1
resnet8x4 (T: resnet32x4 S: resnet8x4)
Top-1 Accuracy (%)
75.63
Distilling Knowledge via Knowledge Review
2021-04-19
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7
resnet8x4 (T: resnet32x4 S: resnet8x4)
Top-1 Accuracy (%)
75.51
Contrastive Representation Distillation
2019-10-23
코드 1 · 코드 2 · 코드 3 · 코드 4
vgg8 (T:vgg13 S:vgg8)
Top-1 Accuracy (%)
74.93
Information Theoretic Representation Distillation
2021-12-01
코드 1
vgg8 (T:vgg13 S:vgg8)
Top-1 Accuracy (%)
74.84
Distilling Knowledge via Knowledge Review
2021-04-19
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7
vgg8 (T:vgg13 S:vgg8)
Top-1 Accuracy (%)
74.72
Wasserstein Contrastive Representation Distillation
2020-12-15
연결 없음
vgg8 (T:vgg13 S:vgg8)
Top-1 Accuracy (%)
74.29
Contrastive Representation Distillation
2019-10-23
코드 1 · 코드 2 · 코드 3 · 코드 4
resnet8x4 (T: resnet32x4 S: resnet8x4)
Top-1 Accuracy (%)
73.33
Distilling the Knowledge in a Neural Network
2015-03-09
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 · 코드 58 · 코드 59 · 코드 60 · 코드 61 · 코드 62 · 코드 63 · 코드 64
vgg8 (T:vgg13 S:vgg8)
Top-1 Accuracy (%)
72.98
Distilling the Knowledge in a Neural Network
2015-03-09
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 · 코드 58 · 코드 59 · 코드 60 · 코드 61 · 코드 62 · 코드 63 · 코드 64
KD++(T:resnet56, S:resnet20)
Top-1 Accuracy (%)
72.53
Improving Knowledge Distillation via Regularizing Feature Norm and Direction
2023-05-26
코드 1
resnet110 (T:resnet110 S:resnet20)
Top-1 Accuracy (%)
71.99
Information Theoretic Representation Distillation
2021-12-01
코드 1
resnet110 (T:resnet110 S:resnet20)
Top-1 Accuracy (%)
71.88
Wasserstein Contrastive Representation Distillation
2020-12-15
연결 없음
resnet110 (T:resnet110 S:resnet20)
Top-1 Accuracy (%)
71.56
Contrastive Representation Distillation
2019-10-23
코드 1 · 코드 2 · 코드 3 · 코드 4
DKD++(T:resnet50, S:mobilenetv2)
Top-1 Accuracy (%)
70.82
Improving Knowledge Distillation via Regularizing Feature Norm and Direction
2023-05-26
코드 1
resnet110 (T:resnet110 S:resnet20)
Top-1 Accuracy (%)
70.67
Distilling the Knowledge in a Neural Network
2015-03-09
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 · 코드 58 · 코드 59 · 코드 60 · 코드 61 · 코드 62 · 코드 63 · 코드 64