PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.36407v2cs.CV

무엇이 고배율 지식을 전이 가능하게 만드는가? 전슬라이드 이미지에서의 해상도 간 지식 증류 연구

What Makes High-Magnification Knowledge Transferable? A Study of Cross-Resolution Distillation in Whole-Slide Imaging

해상도 간 지식 증류(cross-resolution knowledge distillation)는 고배율 표현을 전이하여 저배율 전슬라이드(whole-slide) 분석을 개선하는 것을 목표로 하지만, 유용한 전이가 일어나는 조건은 여전히 불분명합니다. 본 연구에서는 교사 접근성(teacher access), 표현 손실(representation loss), 모델 과잉(model excess)에 대한 분해 기반 분석을 개발하고, 세 가지 질문을 제시합니다: (a) 교사 타깃이 과제에 도움이 되는지, (b) 저배율 학생 모델이 이를 예측할 수 있는지, (c) 슬라이드 모델이 해당 예측으로부터 이점을 얻는지 여부입니다. 우리는 분류, 병기 분류(grading), 생존 예측에 걸친 10개의 병리 코호트에 대한 통제된 실험을 통해 이를 조사합니다. 주요 비교 결과, 고유한 저배율 특징과 함께 교사의 영역별 평균을 제공하는 것은 10개 코호트 전체에서 다운스트림 성능을 향상시켰습니다. 직접 예측은 잔차 예측보다 낮은 재구성 오차를 달성하지만, 예측된 특징은 교사 타깃의 변동성을 과소표현합니다. 더욱이 재구성이 더 잘된다고 해서 다운스트림 점수가 일관되게 향상되지는 않으며, 예측된 교사 특징이 일정하게 유지되는 경우에도 고유 특징을 유지하는지 여부에 따라 성능이 달라집니다. 종합적으로 이러한 발견은 교사 표현을 재구성하는 것과 그것의 다운스트림 가치를 실현하는 것 사이의 간극을 드러냅니다. 이는 해상도 간 전이의 척도로서 재구성 오차의 충분성에 의문을 제기하며, 전이가 어디에서 실패하는지 검토하기 위한 진단 프레임워크를 제공합니다. 향후 증류 설계는 학생 모델이 무엇을 예측할 수 있는지와 슬라이드 모델이 이러한 예측을 어떻게 활용하는지를 모두 고려해야 합니다.