Homogenizing Non-IID datasets via In-Distribution Knowledge Distillation for Decentralized Learning
원문 초록
Decentralized learning enables serverless training of deep neural networks (DNNs) in a distributed manner on multiple nodes. This allows for the use of large datasets, as well as the ability to train with a wide variety of data sources. However, one of the key challenges with decentralized learning is heterogeneity in the data distribution across the nodes. In this paper, we propose In-Distribution Knowledge Distillation (IDKD) to address the challenge of heterogeneous data distribution. The goal of IDKD is to homogenize the data distribution across the nodes. While such data homogenization can be achieved by exchanging data among the nodes sacrificing privacy, IDKD achieves the same objective using a common public dataset across nodes without breaking the privacy constraint. This public dataset is different from the training dataset and is used to distill the knowledge from each node and communicate it to its neighbors through the generated labels. With traditional knowledge distillation, the generalization of the distilled model is reduced because all the public dataset samples are used irrespective of their similarity to the local dataset. Thus, we introduce an Out-of-Distribution (OoD) detector at each node to label a subset of the public dataset that maps close to the local training data distribution. Finally, only labels corresponding to these subsets are exchanged among the nodes and with appropriate label averaging each node is finetuned on these data subsets along with its local data. Our experiments on multiple image classification datasets and graph topologies show that the proposed IDKD scheme is more effective than traditional knowledge distillation and achieves state-of-the-art generalization performance on heterogeneously distributed data with minimal communication overhead.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Head Network Distillation: Splitting Distilled Deep Neural Networks for Resource-Constrained Edge Computing Systems
표현 차이 증류
Representational Difference Distillation
지식 증류(knowledge distillation)는 거대한 교사 네트워크에서 소형 학생 네트워크로 표현 지식을 전달합니다. 기존의 관계형 및 대조적 증류 방법들은 모든 샘플을 균일하게 처리하여, 표현 공간에서 잘 일치하는 영역과 제대로 일치하지 않는 영역 모두에 동일한 그래디언트를 소모합니다. 본 논문에서는 교사와 학생의 표현이 구조적으로 불일치하는 부분을 진단하고 해당 영역에 증류 신호를 집중시키는 표현 차이 증류(Representational Difference Distillation, RDD)를 제안합니다. RDD는 불일치의 서로 다른 방향을 포착하는 두 개의 비대칭 친화도 행렬(affinity matrix)을 사용합니다. 하나는 학생이 잘못 유사하다고 간주하는 샘플들을 식별하고, 다른 하나는 학생이 아직 학습하지 못한 교사의 관계를 식별합니다. 이러한 친화도는 증류 손실이 정렬할 샘플 쌍과 잘못 정렬된 각 샘플을 얼마나 강하게 교정할지를 결정합니다. resnet32x4에서 resnet8x4로의 CIFAR-100 실험에서 RDD는 자체 실행 기준 75.58%의 테스트 정확도에 도달하여 CRD(75.45%)와 대등하고 KD 및 RKD를 상회하는 성능을 달성했습니다. 또한 커리큘럼 기반 및 샘플링 기반 변형을 추가로 탐색하여 데이터를 필터링하는 것보다 손실에 가중치를 부여하는 것이 더 효과적임을 확인했습니다.
CRISP: 절 재구성 기반 해석 가능한 신경기호 명제를 위한 프레임워크
CRISP: A Framework for Clause-Reconstructed Interpretable NeuroSymbolic Propositions
심층 신경망(neural network)은 계층화된 수치 변환을 통해 높은 정확도를 달성하지만, 결정 근거가 명시적 규칙이 아닌 은닉 활성화에 인코딩되어 있어 결정을 검증하기 어렵습니다. 본 논문에서는 이진 신경망 교사 모델의 마지막 층(layer) 활성화 벡터(LLAV)를 세틀린 머신(TM) 절(clause)로 재구성하는 프레임워크인 CRISP를 소개합니다. CRISP는 교사 모델의 마지막 직전 층 로짓(logit) 전 활성화를 부호 기준 이진화하고, 각 LLAV 뉴런에 개별 TM(ITM)을 하나씩 할당합니다. 재구성된 각 은닉 비트는 불리언화(Booleanized)된 입력 특성에 대한 명제 절로 표현되어, 명명된 입력 임계값에서 명명된 교사 뉴런까지의 직접적인 기호적 추적을 제공합니다. CRISP는 BinaryConnect 합성곱 신경망(BCCNN) 교사 모델과 완전 이진 신경망(BNN) 교사 모델을 사용하여 MNIST, KMNIST, FashionMNIST(FMNIST), SVHN, CIFAR10에서 평가되었으며, 다양한 비트 심도에서의 이진 임계값 처리, 서모미터 인코딩(thermometer encoding), 사분위수 비닝(quartile binning)에 대한 추가 연구도 수행되었습니다. 실험 결과에 따르면 테스트된 BNN 설정에서 LLAV 부호 이진화는 교사 헤드 정확도를 저하시키지 않는 반면, ITM 재구성 오차가 주된 제한 요인인 것으로 나타났습니다. 사분위수 1비트 불리언화는 SVHN에서 87.52%의 테스트 충실도로 가장 높은 재구성 충실도를 보였고 CIFAR10에서도 경쟁력 있는 성능을 보였으며, 재구성된 LLAV는 FMNIST에서 78.41%의 교사 헤드 정확도를 유지했습니다. 풀링된 절-근거 시각화는 학습된 ITM 리터럴(literal)이 중앙 집중형 벤치마크에서 객체 영역에 집중됨을 보여줍니다. 따라서 CRISP는 이진 신경망 교사 모델의 최종 은닉 표현을 검사할 수 있는 절 수준의 경로를 제공합니다.
ViTok: PHI-S 및 마스크드 이미지 모델링을 활용한 AM-RADIO 스타일 다중 교사 지식 증류에서의 조밀한 의미론 개선
ViTok: Improving Dense Semantics in AM-RADIO-Style Multi-Teacher Distillation with PHI-S and Masked Image Modelling
본 연구에서는 전역 인식(global recognition)과 조밀한 의미론(dense semantics)을 함께 보존하는 단일 다중 교사 지식 증류(multi-teacher distillation) 레시피로 현재의 ViTok 성과를 통합하는 방법을 연구합니다. 본 연구의 출발점은 SigLIP2와 DINOv3-L로부터 지식 증류된 AM-RADIO 스타일의 학생 모델(student)이며, 여기서 SigLIP2는 강력한 전역 의미론을 제공하고 DINOv3-L은 더 강력한 조밀한 특징(feature)을 제공합니다. 핵심적인 실증적 문제는 동일한 레시피가 모든 목표를 동등하게 잘 최적화하지 못한다는 점입니다. 즉, ImageNet-1K kNN 정확도를 향상시키는 변경 사항이 ADE20K 분할(segmentation) 성능을 여전히 저하시킬 수 있습니다. 우리는 이러한 트레이드오프를 보다 명확하고 다루기 쉽게 만드는 일련의 수정 사항들을 정리합니다: CLS 및 패치 토큰(patch token)을 위한 분할 어댑터 헤드, 비대칭 코사인/MSE 손실, DINOv3-L 체크포인트(checkpoint)로부터의 초기화(initialization), 교사 가중치 재조정, 마스크드 이미지 모델링(MIM), 그리고 PHI-S 특징 밸런싱. 그 결과 모델은 패치 kNN 83.2와 CLS kNN 85.2에 도달하여 ImageNet-1K kNN 분류(classification)에서 DINOv3-L 교사 모델을 소폭 능가하는 한편, PHI-S는 ADE20K 성능을 46.5/58.1에서 48.5/61.0 mIoU/mAcc로 회복하여 이 조밀한 벤치마크에서 교사 모델과 동등한 수준을 달성했습니다. 또한 우리는 부정적인 결과(negative results)도 함께 정리합니다: 지식 증류를 ImageNet-1K에서 ImageNet22K로 확장하는 것이 일관된 도움을 주지 못하며, SAM3이나 HOG 특징과 같은 추가 교사를 단순하게 추가하는 것은 간섭을 유발합니다. 본 논문은 최종 레시피를 주장하기보다는 현재의 프로젝트 상태를 간결한 실증적 스토리와 향후 반복 연구를 위한 구체적인 교훈으로 정리하여 제시합니다.
시각적 설명의 전이: 아키텍처 간 지식 증류가 모델 해석 가능성에 미치는 영향
Transferring Visual Explanations: How Cross-Architecture Knowledge Distillation Affects Model Interpretability
자원이 제한된 환경에서는 효율적인 신경망을 배포하는 것이 필수적이지만, 소형 모델은 자율주행 및 의료와 같은 안전성(safety)이 중요한 영역에서 핵심적인 요소인 해석 가능성을 희생하는 경우가 많습니다. 본 연구는 지식 증류(KD)가 대규모 교사(teacher) 네트워크의 공간적 특징 귀속(feature attribution)을 소형 학생(student) 모델로 전이하는지 조사합니다. KD 방식이 해석 가능성에 미치는 영향을 평가하기 위해, 증류 온도와 소프트 레이블 손실 가중치를 체계적으로 변화시키면서 5가지 설정에 걸쳐 ImageNet-1K에서 ResNet-152 교사 모델을 ResNet-34 학생 모델로 증류합니다. 모델들은 top-1 정확도와 함께 두 가지 해석 가능성 지표인 Relevance Mass Accuracy(RMA) 및 Relevance Rank Accuracy(RRA)로 평가됩니다. 이러한 지표는 정답(ground-truth) 객체 마스크를 기준으로 벤치마크된 Grad-CAM 히트맵을 통해 계산됩니다. 연구 결과에 따르면 top-1 정확도는 71.6%에서 74.0% 범위를 보입니다. Grad-CAM의 경우 RMA는 7.7%에서 9.7%, RRA는 7.3%에서 10.1% 범위이며, Guided Grad-CAM의 경우 RMA는 16.1%에서 18.6%, RRA는 15.9%에서 21.5% 범위입니다. 해석 가능성은 온도보다 소프트 레이블 가중치에 훨씬 더 민감한 것으로 입증되었습니다. 즉, 학생 모델을 하드 레이블에 고정(anchor)하면 정확도와 대략적인(coarse) 위치 파악을 모두 보존하지만, 교사 모델에 큰 가중치를 부여하면 두 가지 모두 저하됩니다. 그러나 세밀한(fine-grained) 귀속은 테스트된 모든 구성에서 증류되지 않은 기준선 아래로 떨어졌으며, 이는 로짓 증류가 어텐션의 픽셀 수준 구조보다는 모델이 어디에 주목(attend)하는지를 더 쉽게 전달함을 나타냅니다. 우리는 합성곱(convolutional) 및 트랜스포머 기반 모델의 12가지 아키텍처 간 조합을 평가하여, 세밀한 공간 추론의 계승이 근본적으로 학생 모델 고유의 구조적 편향에 의해 병목 현상을 겪는다는 것을 밝혀냅니다. 우리가 아는 한, 이전에 신경망 가지치기에 사용되었던 이 해석 가능성 인식 평가 프레임워크를 KD에 적용한 것은 이번이 처음입니다.
Evaluating the Performance of TAAF for image classification models
토론
이 논문과 연결된 포럼 글이 아직 없습니다.