arXiv:2112.13642

Extracting knowledge from features with multilevel abstraction

Jinhong Lin, Zhaoyang Li

제출 2021-12-04

원문 초록

Knowledge distillation aims at transferring the knowledge from a large teacher model to a small student model with great improvements of the performance of the student model. Therefore, the student network can replace the teacher network to deploy on low-resource devices since the higher performance, lower number of parameters and shorter inference time. Self-knowledge distillation (SKD) attracts a great attention recently that a student model itself is a teacher model distilling knowledge from. To the best of our knowledge, self knowledge distillation can be divided into two main streams: data augmentation and refined knowledge auxiliary. In this paper, we purpose a novel SKD method in a different way from the main stream methods. Our method distills knowledge from multilevel abstraction features. Experiments and ablation studies show its great effectiveness and generalization on various kinds of tasks with various kinds of model structures. Our codes have been released on GitHub.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24312v1cs.CV공통 태그 Data Augmentation, Knowledge Distillation

AnalogDepth: 아날로그 비디오 전송 환경에서 FPV 드론을 이용한 다중 시점 기하학

AnalogDepth: Multi-view Geometry from FPV drones under Analog Video Transmission

아날로그 비디오 전송(VTX)은 낮은 지연 시간, 가벼운 무게, 저비용 덕분에 FPV 드론에서 여전히 널리 사용된다. 그러나 아날로그 VTX는 표준 학습 증강에 사용되는 디지털 이미지 손상(예: AWGN)과는 근본적으로 다른, 복잡하고 공간적으로 구조화된 이미지 열화를 겪는다. 본 연구는 이러한 유형의 노이즈가 최신 피드포워드 시각 기하학 파운데이션 모델인 Depth Anything 3(DA3)의 정확도를 심각하게 저하시킨다는 것을 보인다. 이러한 격차를 해소하기 위해, 우리는 DINOv2 백본에 주입된 Low-Rank Adaptation(LoRA)을 활용한 학생-교사 지식 증류를 통해 DA3를 아날로그 FPV 영상에 적응시키는 매개변수 효율적 학습 파이프라인인 AnalogDepth를 제시한다. 노이즈를 분석적으로 합성하는 대신, 우리는 다양한 조건에서 촬영된 정적 FPV 녹화 영상으로부터 노이즈 뱅크를 구축하고, 실제 노이즈 주입을 PSD 매칭 가우시안 합성 및 AWGN 기준선과 비교한다. 세 곳의 실내 장면에서 촬영된 여섯 개의 실제 FPV 비행 시퀀스에 대한 실험 결과, 우리의 노이즈 뱅크를 이용한 학습이 사전학습된 DA3 기준선 및 두 가지 가우시안 노이즈 변형과 비교하여 프레임별 깊이 RMSE와 3D 재구성 챔퍼 거리(Chamfer distance)를 일관되게 감소시킨다는 것을 보여준다. 이러한 결과는 실제 아날로그 전송 노이즈의 공간적 구조를 재현하는 것이 효과적인 적응에 필수적임을 보여준다.

arXiv:2607.20450v1cs.CL공통 태그 Data Augmentation, Knowledge Distillation

ShriNep@EEUCA 2026: RAKSHAK - 근거 증류와 Jigsaw 증강 학습을 활용한 다중 과제 DeBERTa 기반 독성 의도 분류

ShriNep@EEUCA 2026: RAKSHAK - Multi-Task DeBERTa with Rationale Distillation and Jigsaw-Augmented Training for Toxic Intent Classification

본 논문은 ACL 2026 EEUCA 워크숍의 GameTox 공유 과제를 위한 두 가지 시스템을 제시한다. 이 과제는 World of Tanks 채팅 발화를 6개의 세분화된 독성 의도 범주(레이블 0-5)로 분류하는 것을 요구한다. 심각한 클래스 불균형, 도메인 특화 다국어 슬랭, 그리고 위협(레이블 4, 60개 샘플)과 극단주의(레이블 5, 24개 샘플)와 같은 희귀 범주에 대한 극히 부족한 데이터로 인해 이는 어려운 분류 문제가 된다. 주 제출 시스템인 RAKSHAK(rakṣaka, 산스크리트어로 "수호자")는 Qwen2.5-14B(An et al., 2024)로부터의 근거 증류(rationale distillation), 지도 대조 손실(Supervised Contrastive Loss), 희귀 클래스 전용 이진 헤드를 결합한 다중 과제 DeBERTa-v3-base(He et al., 2022) 프레임워크이다. RAKSHAK의 학습 데이터는 Jigsaw Toxic Comment 데이터셋(16,225개 샘플, 레이블 1-4에 매핑)의 교차 도메인 전이와 레이블 5를 위한 LLM 생성 극단주의 샘플 100개로 증강되었다. 보조 시스템(M1)은 Jigsaw 전이 없이 원본 GameTox 데이터와 동일한 극단주의 샘플 100개에 Focal Loss를 적용하여 DeBERTa-v3-base를 파인튜닝한다. RAKSHAK는 공식 테스트셋에서 Macro F1 0.5883을 달성하여 35개 참가 팀 중 7위를 기록했으며, M1은 Macro F1 0.5252를 달성했다. Jigsaw 데이터 유무에 따른 M1의 ablation 비교 결과, 교차 도메인 전이는 F1 +2.6점을, RAKSHAK의 다중 과제 아키텍처는 추가로 +3.7점을 기여하는 것으로 나타났다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.