arXiv:2609.27523v1 cs.CV

M3D-Net: 유방촬영 분류를 위한 공간 문맥, 특징 재사용, 차분 어텐션의 계층적 조율

M3D-Net: Hierarchical Coordination of Spatial Context, Feature Reuse, and Differential Attention for Mammography Classification

Zheng Yu, Xinhang Li, Jiabao Gao, Boyang Wang, Xiang Li

제출 2026-09-24

한국어 초록

유방 영상 분류는 국소적 세부와 전역 조직 문맥을 모두 필요로 하지만, 표현이 깊어질수록 이러한 단서는 약해질 수 있다. 본 연구는 해상도 인식 연산자 배치를 통해 다중 스케일 좌표 어텐션, 유계 동적 특징 재사용, 차분 어텐션을 계층적으로 조율하는 유방촬영 인코더 M3D-Net을 제안한다. 스테이지 내 검색은 이전 특징에 대한 접근을 유지하고, 좌표 인식 집계는 국소 및 전역 문맥을 통합하며, 차분 어텐션은 거친 해상도에서 동작한다. AISSLab 유방촬영 데이터에서 이미지 전용 분류를, BrEaST 초음파에서는 적응된 영상-임상 모델을 평가하였다. EdgeNeXt, RepViT, TransXNet과 비교할 때 제안 구현은 기록된 검증 정확도와 학습 후반 정확도가 가장 높고, 종점 교차 엔트로피 손실이 가장 낮았다. 검증 정확도는 각각 97.78%와 80.39%에 달한다. 이 결과는 다양한 유방 영상 설정에서 계층적 조율에 대한 추가 평가를 뒷받침하나, 반복 시드, 구성 요소 통제, 독립 평가는 여전히 필요하다.

원문 초록

Breast image classification requires local detail and global tissue context, yet these cues can weaken as representations deepen. We present M3D-Net, a mammography encoder that hierarchically coordinates multi-scale coordinate attention, bounded dynamic feature reuse, and differential attention through resolution-aware operator placement. Within-stage retrieval preserves access to earlier features, coordinate-aware aggregation integrates local and global context, and differential attention operates at coarse resolutions. We evaluate image-only classification on AISSLab mammography and an adapted image--clinical model on BrEaST ultrasound. Against EdgeNeXt, RepViT, and TransXNet, the proposed implementations achieve the highest recorded validation accuracy and late-training accuracy, with the lowest endpoint cross-entropy loss. Validation accuracies reach 97.78\% and 80.39\%, respectively. These results support further evaluation of hierarchical coordination across breast imaging settings; repeated-seed, component-controlled, and independent evaluations remain necessary.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.27523v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.26920v1cs.CV공통 태그 Medical Image Analysis, Image Classification, Diagnostic

자동 신세포암 등급 분류를 위한 조직병리학 및 CT 기반 교차 모달 대조 학습

Cross-Modal Contrastive Learning from Histopathology and CT for Automated Renal Cell Carcinoma Grading

배경: 투명세포 신세포암(ccRCC)은 상당한 임상적 이질성을 보이며, 위험 계층화 및 치료 계획 수립을 위해서는 정확한 등급 평가가 필수적이다. 그러나 기존의 등급 평가는 침습적인 조직 채취를 필요로 한다. 본 연구에서는 비침습적인 CT 기반 ccRCC 등급 예측을 개선하기 위해 학습(training) 중 쌍을 이룬 조직병리학 및 컴퓨터 단층촬영(CT) 데이터를 활용하는 교차 모달 대조 학습(cross-modal contrastive learning) 프레임워크인 RCC-Align을 개발했다. 방법: RCC-Align은 대조 교차 모달 목적함수를 통해 쌍을 이룬 전체 슬라이드 조직병리학 이미지(WSI)와 CT 스캔을 정렬하여 미시적인 조직 형태학으로부터 거시적인 방사선학적 표현으로 등급 판별 정보를 전달한다. 이 프레임워크는 환자 수준의 5겹 교차 검증(validation)을 사용하여 쌍을 이룬 TCGA 및 CPTAC 코호트에서 학습 및 평가되었다. 저등급 대 고등급 ccRCC 분류(classification) 성능을 CT 전용 베이스라인(DINOv2-Base 및 DINOv2-Finetuned)과 WSI 기반 참조 모델(model)(GigaPath-Finetuned)과 비교했다. 교차 모달 정렬은 코사인 유사도 분석을 사용하여 평가되었다. 결과: RCC-Align은 0.601의 AUC(95% CI, 0.524-0.673) 및 0.599의 AUPRC(95% CI, 0.541-0.676)를 달성하여 유의하게 향상된 저등급 예측 성능(p = 0.004)과 함께 DINOv2-Finetuned(AUC 0.545, AUPRC 0.543)를 능가했다. 또한 RCC-Align은 베이스라인과 비교하여 더 강력한 쌍 WSI-CT 임베딩(embedding) 정렬을 보였다. WSI 기반 GigaPath 참조 모델은 0.719의 AUC를 달성했다. 결론: 병리학 유도 대조 학습은 추론(inference) 시 CT만 필요로 하면서도 CT 기반 ccRCC 등급 분류를 개선한다. 이러한 접근법은 생검이 안전하지 않거나 불가능하거나 종양 내 이질성으로 인해 제한될 때 조직 진단을 보완할 수 있다. 임상적 적용 전 외부 테스트를 포함한 더 크고 다기관인 코호트에서의 검증이 필요하다.

arXiv:2609.23832v1cs.CV공통 태그 Medical Image Analysis, Image Classification, Diagnostic

활성 트라코마 분류를 위한 DINOv2의 성능 비교 및 매개변수 효율적 적응

Comparative Performance and Parameter-Efficient Adaptation of DINOv2 for Active Trachoma Classification

결막 사진의 자동 등급 분류는 트라코마 유병률 조사의 비용과 변동성을 줄일 수 있지만, 공통 프로토콜 하에서 최신 사전학습 시각 표현, 경량 특징 적응, 학습 목표 설계의 상대적 가치는 아직 확립되지 않았다. 본 연구는 공개 UCSF/Lietman 컬렉션의 1,546장 이미지를 사용하여 Trachomatous Inflammation-Follicular(TF) 대 Normal의 이진 분류에 대한 통제된 평가를 제시한다. 이미지는 제로샷 tarsal-conjunctiva 분할, 정렬, 크롭, 표준화를 위해 OPTED 파이프라인으로 처리한다. 먼저 공통 분류 파이프라인으로 여섯 가지 사전학습 백본을 비교한 뒤, DINOv2 ViT-B/14에 네 가지 경량 적응 메커니즘을 평가한다. 계층화 5-fold 교차 검증 하에서, Efficient Channel Attention(ECA)과 focal-plus-center 손실을 적용한 DINOv2는 91.66 +/- 0.97% 정확도, 90.69 +/- 1.10% macro-F1, 96.06 +/- 0.71% AUC를 달성했다. ECA는 학습 가능 매개변수 다섯 개만 추가하면서 훨씬 큰 대안과 동등한 성능을 냈다. 목적 함수 ablation은 ECA가 손실 함수 전반에서 plain DINOv2를 일관되게 개선하지 않았음을 추가로 보여주었으며, 분산이 가장 낮은 91.66% 정확도는 교차 엔트로피와 center loss로 얻었다. 전반적으로, 파인튜닝된 DINOv2 표현이 예측 성능의 대부분을 제공했고, ECA는 학습 목표에 따라 효과가 달라지는 매우 매개변수 효율적인 정제를 제공했다. 결과 워크플로는 활성 트라코마 이미지 분류를 위한 재현 가능한 벤치마크를 제공한다.

arXiv:2609.24190v1cs.CV공통 태그 Medical Image Analysis, Image Classification, Diagnostic

환자가 촬영한 피부 이미지에서 상용 멀티모달 AI 모델과 피부과 전문의의 성능 벤치마킹

Benchmarking Off-the-Shelf Multimodal AI Models Against Dermatologists on Patient-Captured Skin Images

인공지능(AI)은 최근 몇 년 동안 급속한 속도로 발전해 왔습니다. 초기에는 대규모 언어 모델(LLM)의 혁신이 광범위한 주목을 받았습니다. 그러나 최근 세대의 프론티어 AI 모델들은 비전 기능을 핵심으로 삼아 멀티모달 기능을 일급 시민(first class citizen)으로 도입했습니다. 본 논문에서는 환자가 제출한 이미지로부터 피부과 질환을 진단하는 작업에 대해 최근 출시된 3가지 모델을 평가합니다. 선택된 모델들은 가격 측면에서 중저가 티어에 해당하므로, 현재 AI 능력의 상한선이 아닌 하한선을 나타냅니다. 저자들은 각 이미지를 평가한 세 명의 공인 피부과 전문의 패널과 비교하여 AI의 성능을 평가하며, 4가지 흥미로운 발견점을 제시합니다. 첫째, 지표에 따라 테스트된 AI 모델들은 임상의 간 일치도(inter-clinician agreement) 측면에서 인간과 동등하거나 약간 뒤처집니다. 둘째, AI 모델에 신뢰도(confidence) 점수를 요구하면 잘 보정되지 않은(poorly calibrated) 답변이 생성되므로, 임상 환경에서 신뢰도 임계값의 사용에 의존해서는 안 된다는 점을 발견했습니다. 셋째, 추가적인 환자 메타데이터를 제공하는 효과는 모델에 따라 크게 다르며, 세 모델 중 하나는 고려된 모든 지표에서 성능이 저하되었습니다. 마지막으로, 모델 비용은 성능을 예측하지 못합니다. 테스트한 가장 성능이 우수한 모델의 비용은 건당 평균 0.0045달러에 불과합니다.

arXiv:2609.27710v3cs.CV공통 태그 Medical Image Analysis, Image Classification

FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합

FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology

병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.

arXiv:2610.13599v1cs.LG공통 태그 Medical Image Analysis, Diagnostic

EchoTab: 정형 데이터 재구성을 통한 심초음파 진단용 측정 기반 표현 학습

EchoTab: Learning Measurement-Grounded Representations for Echocardiographic Diagnosis through Tabular Reconstruction

심초음파와 같은 다중 뷰(multi-view) 의료 영상 검사에서 진단 정보는 여러 뷰에 분산되어 있으며, 각 뷰는 심장 구조와 기능의 서로 다른 측면을 포착합니다. 임상 현장에서는 이러한 뷰들을 먼저 정량적 측정을 통해 해석한 후, 이를 바탕으로 구체적인 진단을 내립니다. 그러나 기존의 심초음파 표현 학습 방법들은 뷰와 진단 사이의 중간 표현으로서 측정을 명시적으로 모델링하지 않습니다. 그 결과 개별 측정이 다운스트림 진단 태스크에서 선택적으로 활용할 수 있는 형태로 명시적 표현되지 않아 정확한 진단을 저해합니다. 이러한 계층적 임상 워크플로우에서 착안하여, 본 논문에서는 심초음파 뷰와 진단 사이의 중간 표현으로 측정별 토큰(measurement-specific token)을 활용해 다중 뷰 심초음파 검사를 표현하는 측정 기반(measurement-grounded) 표현 학습 프레임워크인 EchoTab을 제안합니다. 각 측정 토큰은 추정에 관련된 뷰에 선택적으로 어텐션(attention)하며, 해당 측정값을 예측하도록 정형 데이터 재구성(tabular reconstruction)을 통해 학습됩니다. 이렇게 도출된 토큰들은 임상적으로 유의미한 구조적 및 기능적 특성을 인코딩하는 요인화된(factorized) 심초음파 표현을 형성하여 다운스트림 진단에 선택적으로 활용될 수 있습니다. 흔히 사용되는 대조 학습 접근법과 달리 EchoTab은 네거티브 샘플이나 큰 배치(batch) 크기를 필요로 하지 않습니다. 두 가지 데이터셋에 대한 실험을 통해 EchoTab이 다중 뷰 심초음파에서 진단 분류(classification) 성능을 향상시키는 효과적인 측정 기반 표현을 학습하며, 학습된 어텐션이 심장 전문의가 사용하는 기존의 측정-뷰 관계와 일치함을 입증합니다. 코드는 https://github.com/michelleespranita/EchoTab 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.