Papers with Code 아카이브
Knowledge Distillation
태스크의 하위 분류와 논문·코드·평가·기법·데이터셋을 탐색하세요.
- 하위 태스크
- 2
- 평가표
- 11
- 보존된 평가 기록
- 90
Knowledge distillation is the process of transferring knowledge from a large model to a smaller one. While large models (such as very deep neural networks or ensembles of many models) have higher knowledge capacity than small models, this capacity might not be fully utilized.
논문
이 태스크와 하위 분야의 관련 논문입니다. 실제 성능 비교는 평가 결과에서 확인하세요.
구조에서 타당성까지: 메커니즘 기반 대규모 언어 모델(LLM) 루브릭 생성 및 개선
ProgramGym: 장기 프로그램 재현 에이전트를 위한 학습 환경 확장
TextVBench: 비디오 생성에서 텍스트 렌더링과 보존 평가
PPG-Bench: PPG 파운데이션 모델을 위한 통합 벤치마크
SqueezeBench: 포화에 강건한 수학적 능력 평가
멀티모달 LLM이 인간이 읽는 것을 놓칠 때: 눈을 가늘게 뜨고 읽는 텍스트(Squint Text) 진단 및 학습
실세계 CAD 분할 벤치마크: 홀 검출을 통한 규칙 기반 접근법과 학습 기반 접근법 비교
평가 예산이 제한된 최적화를 위한 REMBGO: CEC2022 벤치마킹 및 EAF-STATCOM 일반화
분기형 온-정책 증류
Humanize MLE 에이전트: 단일 에이전트 한계를 넘어서는 다중 에이전트 세션 교대
RESCUE: 이 알람은 대응할 가치가 있는가? VLA 런타임 모니터의 반사실적 평가
도메인 라우팅 감독을 넘어서: 다중 교사 온-정책 증류를 위한 교차 교사 가딩
MAGMA-Bench: 동적 태스크 및 실행 실패 환경에서의 장기 임바디드 에이전트 평가
위치뿐만 아니라 존재 여부도 파악하기: 열린 집합 원격 탐사 시각적 그라운딩을 위한 앵커 탐침 지식 증류
증류의 어둠의 기술에 대한 방어: 서브리미널 학습(subliminal learning)의 비지도 발견
기존 평가 실행 결과를 활용한 VLM 벤치마크 감사
모든 정답 수정이 같은 성능을 내지는 않는다: 저장소 수준 이슈 해결에서 패치 성능에 대한 실증적 연구
추론 모델의 오버씽킹에 대한 최적 추론 종료 기법의 파레토 프론티어 구축
기계 생성 텍스트 탐지기의 아티팩트 의존성 측정
BLiMPPI: 극성 표현을 위한 언어학적 최소 대립쌍 벤치마크
APEX-Harm: 공유된 전문 업무 공간에서의 에이전트 안전성 평가
SWE-DeceptionBench: 소프트웨어 개발 생명주기 전반에서 LLM의 기만적 행동 벤치마킹
AMLworld-Compact: 비용 효율적인 LLM 평가 및 오류 진단을 위한 중요도 가중치 다운샘플링
JitterVLA: VLA 기반 인간-로봇 조작에서 모션 품질 평가를 위한 재생 벤치마크
원격 탐사 시각적 질의응답에서 답변-그라운딩 일관성 벤치마킹
SelectArena: 실제 환경 정형 데이터를 위한 특징 선택 현대적 벤치마크
TabReliBench: 예측 정확도를 넘어 정형 파운데이션 모델 평가하기
ARC를 위한 사전학습과 테스트 시점 학습 예산의 중요성: VARC와 TRM에 대한 통제 연구
멀티모달 의사결정 모델이 유방 초음파 이미지를 분류할 수 있는가? 프롬프트와 데이터셋 전반에 걸친 CLEF 및 CLEF-Flash 벤치마킹
에이전틱 웹 기술 스택을 위한 기준선 평가
SeoulMMOD: 대규모 멀티모달 출발지-목적지 흐름 벤치마크
점수만 매기는 특권적 교사는 탐색할 수 없다: 추론을 위한 비평 조건부 온-정책 자기 증류
OccludeBench: VLM은 누락된 대상을 찾아낼 수 있는가?
QTestBench: LLM 생성 양자 코드 평가를 위한 테스트 프레임워크
TabMF: 정형 데이터 파운데이션 모델을 활용한 데이터셋 표현 학습
출처: Papers with Code · CC BY-SA 4.0. 아카이브 자료와 새로 수집한 논문은 별도로 관리합니다.