← Knowledge Distillation
평가 기록
과거 수집 기록이며 최신 순위가 아닙니다. 데이터셋 버전·split·실험 조건과 지표 방향이 검증되지 않은 결과는 직접 비교할 수 없습니다. 날짜는 논문 날짜이며 최신 평가일을 뜻하지 않습니다.
표가 화면보다 넓으면 좌우로 스크롤하여 논문과 구현 링크를 확인하세요.
| 모델 | 원본 지표·값 | 논문 | 구현 |
|---|---|---|---|
| HSAKD (T: ResNet-34 S:ResNet-18) |
|
Hierarchical Self-supervised Augmented Knowledge Distillation 2021-07-29 |
코드 1 |
| ICKD (T: ResNet-34 S:ResNet-18) |
|
Exploring Inter-Channel Correlation for Diversity-Preserved Knowledge Distillation 2021-01-01 |
코드 1 · 코드 2 |
| WTTM (T: ResNet-34 S:ResNet-18) |
|
Knowledge Distillation Based on Transformed Teacher Matching 2024-02-17 |
코드 1 |
| DIST (T: ResNet-34 S:ResNet-18) |
|
Knowledge Distillation from A Stronger Teacher 2022-05-21 |
코드 1 · 코드 2 · 코드 3 |
| KD++(T: ResNet-34 S:ResNet-18) |
|
Improving Knowledge Distillation via Regularizing Feature Norm and Direction 2023-05-26 |
코드 1 |
| WSL (T: ResNet-34 S:ResNet-18) |
|
Rethinking Soft Labels for Knowledge Distillation: A Bias-Variance Tradeoff Perspective 2021-02-01 |
코드 1 · 코드 2 · 코드 3 · 코드 4 |
| CRCD (T: ResNet-34 S:ResNet-18) |
|
Complementary Relation Contrastive Distillation 2021-03-29 |
코드 1 |
| SRD (T: ResNet-34 S:ResNet-18) |
|
Understanding the Role of the Projector in Knowledge Distillation 2023-03-20 |
코드 1 · 코드 2 · 코드 3 · 코드 4 |
| KD++(T:ViT-B, S:resnet18) |
|
Improving Knowledge Distillation via Regularizing Feature Norm and Direction 2023-05-26 |
코드 1 |
| LSHFM (T: ResNet-34 S:ResNet-18) |
|
Distilling Knowledge by Mimicking Features 2020-11-03 |
코드 1 · 코드 2 · 코드 3 |
| ITRD (T: ResNet-34 S:ResNet-18) |
|
Information Theoretic Representation Distillation 2021-12-01 |
코드 1 |
| GLD (T: ResNet-34 S:ResNet-18) |
|
Distilling Global and Local Logits With Densely Connected Relations 2021-01-01 |
코드 1 |
| SSKD (T: ResNet-34 S:ResNet-18) |
|
Knowledge Distillation Meets Self-Supervision 2020-06-12 |
코드 1 · 코드 2 |
| Knowledge Review (T: ResNet-34 S:ResNet-18) |
|
Distilling Knowledge via Knowledge Review 2021-04-19 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 |
| Adaptive (T:ResNet-50 S:ResNet-18) |
|
Adaptive Distillation: Aggregating Knowledge from Multiple Paths for Efficient Distillation 2021-10-19 |
코드 1 |
| KD++(T: ViT-S, S:resnet18) |
|
Improving Knowledge Distillation via Regularizing Feature Norm and Direction 2023-05-26 |
코드 1 |
| AFD (T: ResNet-34 S:ResNet-18) |
|
Show, Attend and Distill:Knowledge Distillation via Attention-based Feature Matching 2021-02-05 |
코드 1 |
| CRD (T: ResNet-34 S:ResNet-18) |
|
Contrastive Representation Distillation 2019-10-23 |
코드 1 · 코드 2 · 코드 3 · 코드 4 |
| Overhual (T: ResNet-34 S:ResNet-18) |
|
A Comprehensive Overhaul of Feature Distillation 2019-04-03 |
코드 1 · 코드 2 |
| KD (T: ResNet-34 S:ResNet-18) |
|
Distilling the Knowledge in a Neural Network 2015-03-09 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 · 코드 58 · 코드 59 · 코드 60 · 코드 61 · 코드 62 · 코드 63 · 코드 64 |
| AT (T: ResNet-34 S:ResNet-18) |
|
Paying More Attention to Attention: Improving the Performance of Convolutional Neural Networks via Attention Transfer 2016-12-12 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 |
| AT (T: ResNet-34 S:ResNet-18) |
|
Paying More Attention to Attention: Improving the Performance of Convolutional Neural Networks via Attention Transfer 2016-12-12 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 |