arXiv:2607.28007v1 cs.CV

분류를 넘어서: 유사분열상 검출 인코더로서의 병리학 파운데이션 모델

Beyond Classification: Pathology Foundation Models as Detection Encoders for Mitotic Figures

Sweta Banerjee, Alireza Teimoury, Nils Porsche, Alexandra K. Stoll, Viktoria Weiss, Niklas Hargarter, Jonas Ammeling, Thomas Conrad, Christoph Stroblberger, Christopher Kaltnecker, Robert Klopfleisch, Christof A. Bertram, Katharina Breininger, Marc Aubreville

제출 2026-07-30

한국어 초록

병리학 파운데이션 모델(FM)은 일반적으로 라벨이 지정되지 않은 방대한 양의 데이터로 학습(training)된 모델로, 다운스트림 분류(classification) 작업에 효과적으로 사용할 수 있는 정규화된 잠재 공간(latent space)을 생성하는 것으로 나타났습니다. 이는 유사분열상(mitotic figure)과 기타 세포의 분류에서도 마찬가지입니다. 그러나 현재 FM의 잠재 공간이 밀집 객체 검출(dense object detection) 패러다임의 백본으로도 기능할 수 있을 만큼 판별력 있고 공간적으로 적절히 분해능을 갖춘 특징(feature)을 제공하는지는 지금까지 불분명합니다. 본 연구에서는 널리 사용되는 현재의 병리학 FM(UNI, UNI2-h, Virchow, Virchow2, H-optimus-0, H-optimus-1)에 대해 이 문제를 조사하고, ResNet50 아키텍처 기반의 완전한 엔드투엔드(end-to-end) 학습 기준선(baseline)과 성능을 비교합니다. 다중 도메인 MIDOG++ 데이터셋(dataset)과 도메인 외(out-of-domain) 사례인 TUPAC16 데이터셋에서 FM 백본을 단일 단계, 2단계, 자체 어텐션(self-attention) 기반 검출기의 대표 모델(각각 RetinaNet, Faster R-CNN, Deformable DETR)과 결합합니다. 실험 결과 H-optimus-0 및 Virchow 모델이 경쟁력 있는 성능을 보였으며, 이는 모두 이미지 수준의 자기지도학습(self-supervision)으로 학습된 현재 FM의 잠재 공간이 직접적인 유사분열상 검출에 적합하며 도메인 외 테스트 사례에서 약간 더 강건할 수 있음을 나타냅니다. 모든 코드는 https://github.com/DeepMicroscopy/FM4MFdet 에서 공개적으로 이용할 수 있습니다.

원문 초록

Pathology foundation models (FMs) are models trained on vast amounts of typically unlabeled data and have been shown to yield regularized latent spaces that can be used effectively in downstream classification tasks. This is also true for the classification of mitotic figures vs. other cells. However, it is so far unclear if the latent space of current FMs provides features that are discriminant and spatially suitably resolved to also serve as a backbone for dense object detection paradigms. In this work, we investigate this question for common current pathology FMs (UNI, UNI2-h, Virchow, Virchow2, H-optimus-0, H-optimus-1) and compare their performance against a fully end-to-end trained baseline based on a ResNet50 architecture. We combine FM backbones with representatives of single stage, dual stage and self-attention-based detectors (RetinaNet, Faster R-CNN, Deformable DETR respectively) on the multi-domain MIDOG++ dataset, and on the TUPAC16 dataset as an out-of-domain case. We show that the H-optimus-0 and Virchow models yielded competitive performance, indicating that the latent spaces of current FMs, all trained on image-level self-supervision, are suitable for direct mitotic figure detection and may be slightly more robust on our out-of-domain test case. All code is made available publicly at https://github.com/DeepMicroscopy/FM4MFdet.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.28007v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.