arXiv:1812.02937

Optimizing speed/accuracy trade-off for person re-identification via knowledge distillation

Idoia Ruiz, Bogdan Raducanu, Rakesh Mehta, Jaume Amores

제출 2018-12-07

원문 초록

Finding a person across a camera network plays an important role in video surveillance. For a real-world person re-identification application, in order to guarantee an optimal time response, it is crucial to find the balance between accuracy and speed. We analyse this trade-off, comparing a classical method, that comprises hand-crafted feature description and metric learning, in particular, LOMO and XQDA, to deep learning based techniques, using image classification networks, ResNet and MobileNets. Additionally, we propose and analyse network distillation as a learning strategy to reduce the computational cost of the deep learning approach at test time. We evaluate both methods on the Market-1501 and DukeMTMC-reID large-scale datasets, showing that distillation helps reducing the computational cost at inference time while even increasing the accuracy performance.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15997v1cs.LG공통 태그 Image Classification, Knowledge Distillation

표현 차이 증류

Representational Difference Distillation

지식 증류(knowledge distillation)는 거대한 교사 네트워크에서 소형 학생 네트워크로 표현 지식을 전달합니다. 기존의 관계형 및 대조적 증류 방법들은 모든 샘플을 균일하게 처리하여, 표현 공간에서 잘 일치하는 영역과 제대로 일치하지 않는 영역 모두에 동일한 그래디언트를 소모합니다. 본 논문에서는 교사와 학생의 표현이 구조적으로 불일치하는 부분을 진단하고 해당 영역에 증류 신호를 집중시키는 표현 차이 증류(Representational Difference Distillation, RDD)를 제안합니다. RDD는 불일치의 서로 다른 방향을 포착하는 두 개의 비대칭 친화도 행렬(affinity matrix)을 사용합니다. 하나는 학생이 잘못 유사하다고 간주하는 샘플들을 식별하고, 다른 하나는 학생이 아직 학습하지 못한 교사의 관계를 식별합니다. 이러한 친화도는 증류 손실이 정렬할 샘플 쌍과 잘못 정렬된 각 샘플을 얼마나 강하게 교정할지를 결정합니다. resnet32x4에서 resnet8x4로의 CIFAR-100 실험에서 RDD는 자체 실행 기준 75.58%의 테스트 정확도에 도달하여 CRD(75.45%)와 대등하고 KD 및 RKD를 상회하는 성능을 달성했습니다. 또한 커리큘럼 기반 및 샘플링 기반 변형을 추가로 탐색하여 데이터를 필터링하는 것보다 손실에 가중치를 부여하는 것이 더 효과적임을 확인했습니다.

arXiv:2610.02431v1cs.LG공통 태그 Image Classification, Knowledge Distillation

CRISP: 절 재구성 기반 해석 가능한 신경기호 명제를 위한 프레임워크

CRISP: A Framework for Clause-Reconstructed Interpretable NeuroSymbolic Propositions

심층 신경망(neural network)은 계층화된 수치 변환을 통해 높은 정확도를 달성하지만, 결정 근거가 명시적 규칙이 아닌 은닉 활성화에 인코딩되어 있어 결정을 검증하기 어렵습니다. 본 논문에서는 이진 신경망 교사 모델의 마지막 층(layer) 활성화 벡터(LLAV)를 세틀린 머신(TM) 절(clause)로 재구성하는 프레임워크인 CRISP를 소개합니다. CRISP는 교사 모델의 마지막 직전 층 로짓(logit) 전 활성화를 부호 기준 이진화하고, 각 LLAV 뉴런에 개별 TM(ITM)을 하나씩 할당합니다. 재구성된 각 은닉 비트는 불리언화(Booleanized)된 입력 특성에 대한 명제 절로 표현되어, 명명된 입력 임계값에서 명명된 교사 뉴런까지의 직접적인 기호적 추적을 제공합니다. CRISP는 BinaryConnect 합성곱 신경망(BCCNN) 교사 모델과 완전 이진 신경망(BNN) 교사 모델을 사용하여 MNIST, KMNIST, FashionMNIST(FMNIST), SVHN, CIFAR10에서 평가되었으며, 다양한 비트 심도에서의 이진 임계값 처리, 서모미터 인코딩(thermometer encoding), 사분위수 비닝(quartile binning)에 대한 추가 연구도 수행되었습니다. 실험 결과에 따르면 테스트된 BNN 설정에서 LLAV 부호 이진화는 교사 헤드 정확도를 저하시키지 않는 반면, ITM 재구성 오차가 주된 제한 요인인 것으로 나타났습니다. 사분위수 1비트 불리언화는 SVHN에서 87.52%의 테스트 충실도로 가장 높은 재구성 충실도를 보였고 CIFAR10에서도 경쟁력 있는 성능을 보였으며, 재구성된 LLAV는 FMNIST에서 78.41%의 교사 헤드 정확도를 유지했습니다. 풀링된 절-근거 시각화는 학습된 ITM 리터럴(literal)이 중앙 집중형 벤치마크에서 객체 영역에 집중됨을 보여줍니다. 따라서 CRISP는 이진 신경망 교사 모델의 최종 은닉 표현을 검사할 수 있는 절 수준의 경로를 제공합니다.

arXiv:2610.02903v1cs.CV공통 태그 Image Classification, Knowledge Distillation

ViTok: PHI-S 및 마스크드 이미지 모델링을 활용한 AM-RADIO 스타일 다중 교사 지식 증류에서의 조밀한 의미론 개선

ViTok: Improving Dense Semantics in AM-RADIO-Style Multi-Teacher Distillation with PHI-S and Masked Image Modelling

본 연구에서는 전역 인식(global recognition)과 조밀한 의미론(dense semantics)을 함께 보존하는 단일 다중 교사 지식 증류(multi-teacher distillation) 레시피로 현재의 ViTok 성과를 통합하는 방법을 연구합니다. 본 연구의 출발점은 SigLIP2와 DINOv3-L로부터 지식 증류된 AM-RADIO 스타일의 학생 모델(student)이며, 여기서 SigLIP2는 강력한 전역 의미론을 제공하고 DINOv3-L은 더 강력한 조밀한 특징(feature)을 제공합니다. 핵심적인 실증적 문제는 동일한 레시피가 모든 목표를 동등하게 잘 최적화하지 못한다는 점입니다. 즉, ImageNet-1K kNN 정확도를 향상시키는 변경 사항이 ADE20K 분할(segmentation) 성능을 여전히 저하시킬 수 있습니다. 우리는 이러한 트레이드오프를 보다 명확하고 다루기 쉽게 만드는 일련의 수정 사항들을 정리합니다: CLS 및 패치 토큰(patch token)을 위한 분할 어댑터 헤드, 비대칭 코사인/MSE 손실, DINOv3-L 체크포인트(checkpoint)로부터의 초기화(initialization), 교사 가중치 재조정, 마스크드 이미지 모델링(MIM), 그리고 PHI-S 특징 밸런싱. 그 결과 모델은 패치 kNN 83.2와 CLS kNN 85.2에 도달하여 ImageNet-1K kNN 분류(classification)에서 DINOv3-L 교사 모델을 소폭 능가하는 한편, PHI-S는 ADE20K 성능을 46.5/58.1에서 48.5/61.0 mIoU/mAcc로 회복하여 이 조밀한 벤치마크에서 교사 모델과 동등한 수준을 달성했습니다. 또한 우리는 부정적인 결과(negative results)도 함께 정리합니다: 지식 증류를 ImageNet-1K에서 ImageNet22K로 확장하는 것이 일관된 도움을 주지 못하며, SAM3이나 HOG 특징과 같은 추가 교사를 단순하게 추가하는 것은 간섭을 유발합니다. 본 논문은 최종 레시피를 주장하기보다는 현재의 프로젝트 상태를 간결한 실증적 스토리와 향후 반복 연구를 위한 구체적인 교훈으로 정리하여 제시합니다.

arXiv:2609.28290v1cs.CL공통 태그 Metric Learning, Knowledge Distillation

기하학보다 계산: 의미 동일성은 임베딩에 담겨 전달되는 것이 아니라 계산된다

Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings

의미 동일성(표현이 바뀐 뒤에도 두 문장이 같은 내용을 말하는지 여부)은 검색과 RAG에서 독립적으로 인코딩된 문장 벡터의 기하학적 사실로 취급된다. 본 논문은 고정된(frozen) 기성 인코더와 언어 모델에서는 그렇지 않음을 보인다. 동일성은 두 문장이 하나의 순전파를 공유할 때 계산되며, 해당 시스템들이 제공하는 임베딩 기하학의 속성이 아니다. 중첩(overlap)을 맞춘 PAWS-X에서 목적 특화 인코더(BGE, E5, GTE, MiniLM, E5-Mistral-7B)는 영어 confirm AUC가 0.55-0.65에 그친다(dense 최고치 0.70). Llama 3, Mistral, Qwen의 독립적으로 인코딩된 마지막 토큰 상태도 더 나은 성능을 보이지 못하며, 두 벡터의 후기 융합(late fusion)은 우연 수준에 가깝다. 반면 동일한 프로브를 결합된 순전파에 적용하면 1.5B에서 32B까지 0.90-0.96에 도달하고, 짝을 섞으면(partner shuffle) 성능이 붕괴하며, 중간 깊이에서 나타나고, 3B 무렵 0.94 부근에서 포화되며, GPT-2 XL에서는 더 약하게(0.76) 나타난다. 이러한 격차는 Llama 계열을 넘어 다른 인과적 언어 모델, 양방향 인코더(DeBERTa, RoBERTa), 인코더-디코더(Flan-T5, T5, BART)에서도 유지된다. 고정된 독립 인코딩 위의 고정형 또는 선형 리더는 동일성을 끝내 복원하지 못하며, 비선형 쌍(pair) 리더는 전체 49k 쌍의 PAWS 학습 분할에서만 일부를 복원한다(0.68-0.87). 기성 리랭커는 결과가 갈린다. BGE-reranker-large는 0.94에 도달하는 반면, MS-MARCO와 Jina는 0.55-0.64에 머문다. 독립적으로 학습된 모델 계열들이 동일한 관계를 계산하며, 1.5B 결합 리더는 레이블 없는 교사(teacher) 점수로부터 이를 지식 증류할 수 있지만, 교사 자신의 독립 벡터에 대한 어떤 선형 함수로도 이는 불가능하다. 바이 인코더(bi-encoder)를 PAWS에 맞게 파인튜닝할 수는 있으나(0.87-0.93), 전이 성능과 STS-B 성능이 저하된다. 코사인 유사도는 표현의 이웃 관계를 비교할 뿐이며, 동일성은 어느 쪽 문장 벡터의 속성도 아닌, 저렴하게 계산되는 연산자이다.

arXiv:2609.27988v1cs.CV공통 태그 Metric Learning, Knowledge Distillation

비전 트랜스포머 특징 공간을 위한 태스크 유도 리만 메트릭

Task-Induced Riemannian Metrics for Vision Transformer Feature Spaces

비전 트랜스포머(ViT) 특징(feature) 공간에서 작동하는 방법들은 일반적으로 유클리드 거리나 코사인 유사도에 의존합니다. 이는 모든 방향이 동등하게 유의미하다고 가정하지만, 실제 태스크 기하학이 이러한 특성을 가진다고 볼 근거는 없습니다. 특징 공간의 태스크 민감 기하학은 풀백 메트릭(pullback metric) $g(F) = J(F)^\top J(F)$로 주어지며, 여기서 $J$는 태스크별 거리에 입력되는 디코더 출력을 특징에 대해 미분한 야코비안(Jacobian)입니다. 현대적인 규모에서는 전체 $g$를 저장하는 것이 불가능하며, 깊이 맵과 같은 조밀한(dense) 출력의 경우에는 $J$를 형성하는 것조차 비실용적입니다. 본 연구에서는 이 메트릭의 저순위 근사(low-rank approximation)를 학습할 수 있는지 여부가 모델-디코더 쌍에 따라 달라짐을 보이고, 적은 수의 야코비안-벡터 곱으로 계산 가능한 행렬 불필요(matrix-free) 진단 지표 $\kappa_{cap}(r)$로 이를 특성화합니다. 다루기 쉬운(tractable) 쌍에 대해 무작위 거듭제곱 반복(randomized power iteration)으로부터 메트릭의 저순위 버전을 학습하는 Spectral Pullback Network(SPN)를 개발하고, 이를 특징으로부터 토큰(token) 중요도를 직접 예측하는 $310$K 매개변수(parameter) 중요도 헤드로 지식 증류(distillation)합니다. 야코비안 스펙트럼이 너무 분산되어 저순위 근사가 어려운 경우, 디코더의 입력 특징을 VAE 병목(bottleneck)에 통과시켜 취급 용이성을 회복할 수 있습니다. DPT, DINOv2, CLIP, VGGT 백본 전반에 걸쳐 $\kappa_{cap}(r)$은 어떤 학습 메트릭 아키텍처가 실현 가능한지 예측합니다. 중요도 헤드는 DINOv2 CLS에서 스피어만(Spearman) $\rho = 0.998$에 도달하며, 본 연구의 기하학적 토큰 가지치기(pruning)는 ViT를 미세조정(fine-tuning)하지 않고도 가지치기 비율 $0.5$의 DPT 깊이 추정에서 ToMe 기반 토큰 선택의 추가 깊이 오차를 $25\%$ 감소시킵니다. 프로젝트 페이지: https://cyberiada.github.io/TaskInducedViTs/

arXiv:2609.28183v1cs.CV공통 태그 Person Re-Identification, Image Classification

생체 인식 식별을 위한 심전도 신호 기반 대표 형태 히트맵

From ECG Signals to Representative-Morphology Heatmaps for Biometric Recognition

심전도(ECG)는 생체 인식(biometric recognition)을 지원하는 대상자 고유의 형태학적 특성을 포함하고 있으나, 이미지 기반 성능은 파형(waveform)이 어떻게 렌더링되는지에 따라 달라집니다. 본 논문에서는 ECGXtractor를 기반으로 변형한 결정론적 ECG-투-이미지 표현 방식인 대표 형태 히트맵(representative-morphology heatmaps)을 소개합니다. 정렬된 10개 박동으로 구성된 각 블록 내에서 블록 평균에 가장 가까운 5개 박동을 평균화하여 400 × L 행렬로 구성한 뒤, 기존의 트레이스(trace) 형태 또는 심장 시간-리드(cardiac-time-by-lead) 밀집 히트맵으로 렌더링합니다. 두 표현 모두 동일한 생리학적 샘플을 포함하므로, 이들의 비교를 통해 렌더링 방식의 효과만을 분리하여 분석할 수 있습니다. 본 연구에서는 PTB, ECG-ID, MIMIC-IV-ECG-DEMO 데이터셋에서 검증(verification) 및 닫힌 집합 식별(closed-set identification) 성능을 평가(evaluation)합니다. ZACH-ViT를 포함한 5개의 소형 모델을 처음부터 학습(training from scratch)시키는 한편, ImageNet 사전학습(pre-training)된 6개의 CNN 및 트랜스포머(transformer) 백본을 통해 모델 규모와 시각적 전이 성능을 평가합니다. 15개의 모든 소형 모델-데이터셋 비교에서 히트맵은 FNMR 동작점 및 두 식별 순위 모두를 향상시켰으며, 14개 비교에서는 EER을 개선했습니다. 짝을 이룬 실험 전반에서 EER은 평균 9.59%p 감소했고 Rank-1은 24.69%p 증가했습니다. ConvNeXt-Tiny는 PTB에서 2.43%, ECG-ID에서 5.79%의 EER을 달성한 반면, DeiT-Base는 MIMIC-DEMO에서 14.92%를 기록했습니다. ImageNet 초기화(initialization)는 두 다중 리드(multilead) 데이터셋에는 분명한 이점을 주었으나 ECG-ID에서는 복합적인 영향을 미쳤으며, 성능이 모델 크기에 따라 단조롭게 증가하지는 않았습니다. 최고의 히트맵 시스템들은 PTB와 ECG-ID에서 가장 강력한 신호 도메인 EER에 근접했으며, DeiT-Base는 MIMIC-DEMO에서 평가된 성능 중 가장 높은 성능을 보였습니다. 리드-채널 절제 연구(ablation study)는 유용한 채널 조합이 집단(cohort)과 생체 인식 작업에 따라 달라진다는 점을 추가로 보여줍니다. 전반적으로 대표 형태 히트맵은 심전도 검증 및 식별을 위한 효과적인 이미지 표현을 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.