| SRD (T:resnet-32x4, S:shufflenet-v2) |
- Top-1 Accuracy (%)
- 79.86
|
Understanding the Role of the Projector in Knowledge Distillation 2023-03-20 |
코드 1 · 코드 2 · 코드 3 · 코드 4 |
| shufflenet-v2(T:resnet-32x4, S:shufflenet-v2) |
- Top-1 Accuracy (%)
- 78.76
|
Logit Standardization in Knowledge Distillation 2024-03-03 |
코드 1 |
| MV-MR (T: CLIP/ViT-B-16 S: resnet50) |
- Top-1 Accuracy (%)
- 78.6
|
MV-MR: multi-views and multi-representations for self-supervised learning and knowledge distillation 2023-03-21 |
코드 1 |
| resnet8x4
(T: resnet32x4 S: resnet8x4) |
- Top-1 Accuracy (%)
- 78.28
|
Logit Standardization in Knowledge Distillation 2024-03-03 |
코드 1 |
| resnet8x4 (T: resnet32x4 S: resnet8x4 [modified]) |
- Top-1 Accuracy (%)
- 78.08
|
Knowledge Distillation with the Reused Teacher Classifier 2022-03-26 |
코드 1 |
| ReviewKD++(T:resnet-32x4, S:shufflenet-v2) |
- Top-1 Accuracy (%)
- 77.93
|
Improving Knowledge Distillation via Regularizing Feature Norm and Direction 2023-05-26 |
코드 1 |
| ReviewKD++(T:resnet-32x4, S:shufflenet-v1) |
- Top-1 Accuracy (%)
- 77.68
|
Improving Knowledge Distillation via Regularizing Feature Norm and Direction 2023-05-26 |
코드 1 |
| resnet8x4 (T: resnet32x4 S: resnet8x4) |
- Top-1 Accuracy (%)
- 77.50
|
LumiNet: The Bright Side of Perceptual Knowledge Distillation 2023-10-05 |
코드 1 |
| resnet8x4 (T: resnet32x4 S: resnet8x4) |
- Top-1 Accuracy (%)
- 76.68
|
Information Theoretic Representation Distillation 2021-12-01 |
코드 1 |
| resnet8x4 (T: resnet32x4 S: resnet8x4) |
- Top-1 Accuracy (%)
- 76.31
|
Knowledge Distillation from A Stronger Teacher 2022-05-21 |
코드 1 · 코드 2 · 코드 3 |
| DKD++(T:resnet-32x4, S:resnet-8x4) |
- Top-1 Accuracy (%)
- 76.28
|
Improving Knowledge Distillation via Regularizing Feature Norm and Direction 2023-05-26 |
코드 1 |
| resnet8x4 (T: resnet32x4 S: resnet8x4) |
- Top-1 Accuracy (%)
- 76.15
|
Wasserstein Contrastive Representation Distillation 2020-12-15 |
연결 없음 |
| ReviewKD++(T:WRN-40-2, S:WRN-40-1) |
- Top-1 Accuracy (%)
- 75.66
|
Improving Knowledge Distillation via Regularizing Feature Norm and Direction 2023-05-26 |
코드 1 |
| resnet8x4 (T: resnet32x4 S: resnet8x4) |
- Top-1 Accuracy (%)
- 75.63
|
Distilling Knowledge via Knowledge Review 2021-04-19 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 |
| resnet8x4 (T: resnet32x4 S: resnet8x4) |
- Top-1 Accuracy (%)
- 75.51
|
Contrastive Representation Distillation 2019-10-23 |
코드 1 · 코드 2 · 코드 3 · 코드 4 |
| vgg8 (T:vgg13 S:vgg8) |
- Top-1 Accuracy (%)
- 74.93
|
Information Theoretic Representation Distillation 2021-12-01 |
코드 1 |
| vgg8 (T:vgg13 S:vgg8) |
- Top-1 Accuracy (%)
- 74.84
|
Distilling Knowledge via Knowledge Review 2021-04-19 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 |
| vgg8 (T:vgg13 S:vgg8) |
- Top-1 Accuracy (%)
- 74.72
|
Wasserstein Contrastive Representation Distillation 2020-12-15 |
연결 없음 |
| vgg8 (T:vgg13 S:vgg8) |
- Top-1 Accuracy (%)
- 74.29
|
Contrastive Representation Distillation 2019-10-23 |
코드 1 · 코드 2 · 코드 3 · 코드 4 |
| resnet8x4 (T: resnet32x4 S: resnet8x4) |
- Top-1 Accuracy (%)
- 73.33
|
Distilling the Knowledge in a Neural Network 2015-03-09 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 · 코드 58 · 코드 59 · 코드 60 · 코드 61 · 코드 62 · 코드 63 · 코드 64 |
| vgg8 (T:vgg13 S:vgg8) |
- Top-1 Accuracy (%)
- 72.98
|
Distilling the Knowledge in a Neural Network 2015-03-09 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 · 코드 58 · 코드 59 · 코드 60 · 코드 61 · 코드 62 · 코드 63 · 코드 64 |
| KD++(T:resnet56, S:resnet20) |
- Top-1 Accuracy (%)
- 72.53
|
Improving Knowledge Distillation via Regularizing Feature Norm and Direction 2023-05-26 |
코드 1 |
| resnet110 (T:resnet110 S:resnet20) |
- Top-1 Accuracy (%)
- 71.99
|
Information Theoretic Representation Distillation 2021-12-01 |
코드 1 |
| resnet110 (T:resnet110 S:resnet20) |
- Top-1 Accuracy (%)
- 71.88
|
Wasserstein Contrastive Representation Distillation 2020-12-15 |
연결 없음 |
| resnet110 (T:resnet110 S:resnet20) |
- Top-1 Accuracy (%)
- 71.56
|
Contrastive Representation Distillation 2019-10-23 |
코드 1 · 코드 2 · 코드 3 · 코드 4 |
| DKD++(T:resnet50, S:mobilenetv2) |
- Top-1 Accuracy (%)
- 70.82
|
Improving Knowledge Distillation via Regularizing Feature Norm and Direction 2023-05-26 |
코드 1 |
| resnet110 (T:resnet110 S:resnet20) |
- Top-1 Accuracy (%)
- 70.67
|
Distilling the Knowledge in a Neural Network 2015-03-09 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 · 코드 58 · 코드 59 · 코드 60 · 코드 61 · 코드 62 · 코드 63 · 코드 64 |