Papers with Code · CC BY-SA 4.0

Knowledge Distillation

100 평가 기록 15 datasets

Knowledge distillation is the process of transferring knowledge from a large model to a smaller one. While large models (such as very deep neural networks or ensembles of many models) have higher knowledge capacity than small models, this capacity might not be fully utilized.

개요는 각 항목의 일부입니다. 위 탭에서 전체 기록을 페이지별로 탐색할 수 있습니다.

벤치마크

Papers with Code 아카이브의 데이터셋별 기록 예시입니다. 평가 조건과 지표 방향이 검증되지 않아 순위를 의미하지 않습니다.

Dataset기록된 모델 예시MetricPaperCode
ScaleKD (T:BEiT-L S:ViT-B/14)
Top-1 accuracy %: 86.43model size: 87MCRD training setting: ✘
논문 코드
SRD (T:resnet-32x4, S:shufflenet-v2)
Top-1 Accuracy (%): 79.86
논문 코드
ADLIK-Faster (T: Faster R-CNN vit-base S: Faster R-CNN deit-small)
box AP: 47.6
논문 코드
GOLD (T5-base)
Accuracy: 91.7
논문 -
GOLD (T5-base)
Exact Match: 75.2
논문 -
ReviewKD++(T: faster rcnn(resnet101), S:faster rcnn(resnet50))
mAP: 41.03AP@0.5: 61.80AP@0.75: 44.94
논문 코드
LSHFM (T: ResNet101 S: ResNet50)
mAP: 93.17
논문 코드
CAST
AP: 33.9
논문 -
GPT-4 Turbo
ACC: 0.561
논문 코드
TIE-KD (T: Adabins S: MobileNetV2)
RMSE: 2.4315model size: 17.6M
논문 코드
OutEffHop-Bert_base
Perplexity: 6.209
논문 코드
-
row 없음
- -

데이터셋

15개

논문

라이브러리

Papers with Code 리더보드 row에 연결된 구현 저장소입니다.

하위 태스크