PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.11257v1cs.CV

LaGuadia: 병리 기반 모델로부터의 언어 기반 적응적 지식 증류

LaGuadia: Language-Guided Adaptive Distillation from Pathology Foundation Models

병리 기반 모델(PFM)은 강력한 전체 슬라이드 이미지(WSI) 표현을 제공하지만 막대한 연산 비용이 수반된다. 지식 증류(KD)는 효율적인 학생 모델을 생성할 수 있으나, 기존 다중 교사 방식은 조직 이질성을 무시한 최적화되지 않은 균일 가중치를 사용하는 경우가 많다. 우리는 임상 언어 지도 하에 여러 PFM의 전문성을 동적으로 통합하여 경량 병리 이미지 인코더를 개발하는 프레임워크인 LaGuadia(Language-Guided Adaptive DistillAtion)를 제안한다. 본 접근법은 다단계 파이프라인을 활용한다: 첫째, 병리 보고서에서 시각적으로 관찰 가능한 임상 키워드를 추출하고, 둘째, 비전-언어(vision-language) 메타 교사(MedSigLIP)를 통해 시각적 특징을 해당 키워드와 정렬하여 밀도 높은 시맨틱 지도를 제공하며, 마지막으로 교사의 기여도를 임상 서술과의 시맨틱 정렬에 따라 가중치를 부여하는 적응적 KD를 수행한다. WSI 캡셔닝, 시각적 질의응답, 슬라이드 수준 분류(classification) 태스크에 대한 실험에서 8,700만 매개변수(parameter)의 LaGuadia 학생 모델(student model)이 GigaPath 및 UNI와 같은 기반 규모 모델과 동등하거나 이를 초과하는 성능을 달성하며, 강력한 사실 일관성과 견고한 일반화 능력을 보임을 입증한다. 이러한 결과는 임상 언어가 효율적이고 신뢰할 수 있는 디지털 병리 시스템 구축을 위한 효과적인 시맨틱 앵커임을 강조한다. 코드는 https://github.com/hvcl/LaGuadia 에서 확인할 수 있다.

arXiv:2607.10406v1cs.CV

TVT-PAPD: 자기지도 전체 슬라이드 이미지 분류를 위한 병리 인식 프로토타입 증류

TVT-PAPD: Pathology-Aware Prototype Distillation for Self-Supervised Whole Slide Image Classification

자기지도 학습(SSL)은 대규모 비레이블 전체 슬라이드 이미지(WSI)로부터 전이 가능한 표현을 학습하는 효과적인 패러다임으로 부상하고 있다. 그러나 기존의 SSL 방법들은 주로 일반적인 시각적 특징을 학습하며, 질환 특성화에 핵심적인 병리 특이적 형태학적 패턴을 명시적으로 포착하는 데 종종 실패한다. 이러한 한계를 해결하기 위해, 우리는 병리 인식 프로토타입 증류를 갖춘 Tiny Vision Transformer인 TVT-PAPD를 제안한다. 이 자기지도 병리 표현 학습 프레임워크는 Tiny Vision Transformer(TVT)와 새로운 병리 인식 프로토타입 증류(PAPD) 모듈을 통합한다. PAPD는 학습 가능한 병리 프로토타입 뱅크를 활용하여 대표적인 조직 형태학적 패턴을 발견하고 보존하며, 의미론적으로 유사한 병리 영역이 일관되고 판별적인 표현을 학습하도록 유도한다. 제안된 프레임워크는 9,000만 개의 파라미터로 계산 효율성을 유지하면서 병리 인식 특징 학습을 향상시킨다. Cancer Genome Atlas(TCGA) 저등급 신경교종(LGG)/교모세포종(GBM) 데이터셋 및 Indian Pathology Brain(IPD-Brain) 데이터셋에 대한 실험에서, TVT-PAPD는 LGG-GBM 분류에서 각각 93.02% 및 90.23%의 가중 F1-점수를 달성하면서 독립적인 신경교종 데이터셋 전반에 걸쳐 강력한 코호트 간 일반화 능력을 보인다.

arXiv:2607.00499v1cs.CV

긴 꼬리 분포 다중 장기 병리 보고서 생성을 위한 사전 앵커 기반 바이어스 제거

Prior-Anchored Debiasing for Long-Tailed Multi-Organ Pathology Report Generation

전체 슬라이드 이미지(WSI) 기반 다중 장기 병리 보고서 자동 생성에서 장기 유형의 긴 꼬리(long-tail) 분포로 인한 시각적 표현 바이어스와 텍스트 디코딩 바이어스를 해결하기 위해, Visual-Prototype Anchored Bottleneck(VPAB)과 Meta-Report Anchored Bank(MRAB)로 구성된 PriOrGen 프레임워크를 제안한다. VPAB는 정보 병목 원리를 활용해 진단과 무관한 패치를 제거하고, MRAB는 Gemini-Pro로 구축한 장기별 메타 보고서 뱅크에서 텍스트 사전(prior)을 검색해 디코더가 헤드 클래스 서술 패턴에 편향되지 않도록 유도함으로써, 헤드 및 테일 장기 범주 모두에서 최신 방법 대비 우수한 성능을 달성한다.

arXiv:2512.17621v2cs.CV

PathFLIP: 범용 계산 병리학을 위한 세밀한 언어-이미지 사전학습

PathFLIP: Fine-grained Language-Image Pretraining for Versatile Computational Pathology

PathFLIP은 기가픽셀 규모의 전체 슬라이드 이미지(WSI) 해석을 위해 슬라이드 수준 캡션을 영역 수준 하위 캡션으로 분해하고, Region Q-Former를 통해 텍스트 조건 영역 임베딩을 생성해 세밀한 비전-언어 그라운딩을 수행하는 사전학습 프레임워크다. 네 가지 대표 벤치마크에서 기존 대규모 병리학 VLM을 유의미하게 능가하면서도 훨씬 적은 학습 데이터로 제로샷 분류·검색, 병변 국소화, 인스트럭션 튜닝 등 다양한 계산 병리학 태스크를 통합 처리한다.

arXiv:2606.06864v1cs.CV

LRMIL: 전체 슬라이드 이미지 분류를 위한 고해상도 지식 증류 기반 효율적인 저해상도 다중 인스턴스 학습

LRMIL: Efficient Low-Resolution Multiple Instance Learning via High-Resolution Knowledge Distillation for Whole Slide Image Classification

다중 인스턴스 학습(MIL)은 밀집 주석 없이 슬라이드 수준 예측을 가능하게 하므로 디지털 병리학에서 전체 슬라이드 이미지(WSI) 분석을 위한 표준 패러다임이 되었습니다. 기존 MIL 방법들은 일반적으로 고해상도 패치의 전수 추출 및 인코딩에 의존합니다. 그러나 이 방식은 실제 임상 환경에서 두 가지 치명적인 제한 사항이 있습니다. 저배율에서 전역적 시각적 단서를 포착하는 데 어려움을 겪으며, 슬라이드당 고해상도 패치의 수가 방대하여 상당한 계산 오버헤드를 유발합니다. 이러한 제한 사항을 해결하기 위해, 우리는 고해상도 지식을 저해상도 표현으로 전이하는 효율적인 저해상도 다중 인스턴스 학습(LRMIL) 프레임워크를 제안합니다. LRMIL은 2단계 증류 전략을 채택합니다. 첫째, 패치 수준 교차 해상도 증류는 저해상도 패치 임베딩을 고해상도 표현과 정렬합니다. 둘째, 슬라이드 수준 지식 증류는 슬라이드 수준 감독과 교사 지도 모두 하에서 저해상도 학생 MIL 모델을 학습시킵니다. 추론 시 LRMIL은 저해상도 패치에서만 작동하여 데이터 전처리 및 계산 비용을 크게 줄입니다. 여러 WSI 벤치마크에 대한 광범위한 실험을 통해 LRMIL이 더 효율적인 추론을 달성하면서도 최첨단 MIL 방법들을 일관되게 능가함을 입증했습니다. 이러한 결과는 LRMIL이 임상 병리학의 WSI 분석을 위한 실용적이고 확장 가능한 솔루션임을 강조합니다.