A Sneak Attack on Segmentation of Medical Images Using Deep Neural Network Classifiers
원문 초록
Instead of using current deep-learning segmentation models (like the UNet and variants), we approach the segmentation problem using trained Convolutional Neural Network (CNN) classifiers, which automatically extract important features from images for classification. Those extracted features can be visualized and formed into heatmaps using Gradient-weighted Class Activation Mapping (Grad-CAM). This study tested whether the heatmaps could be used to segment the classified targets. We also proposed an evaluation method for the heatmaps; that is, to re-train the CNN classifier using images filtered by heatmaps and examine its performance. We used the mean-Dice coefficient to evaluate segmentation results. Results from our experiments show that heatmaps can locate and segment partial tumor areas. But use of only the heatmaps from CNN classifiers may not be an optimal approach for segmentation. We have verified that the predictions of CNN classifiers mainly depend on tumor areas, and dark regions in Grad-CAM's heatmaps also contribute to classification.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SARATR-X-v2: SAR 파운데이션 모델을 위한 스케일 인식 구조적 사전학습
SARATR-X-v2: Scale-Aware Structural Pre-Training for SAR Foundation Models
마스크드 이미지 모델링(masked image modeling)은 SAR 사전학습의 지배적 패러다임이 되었으나, 복원 목표(reconstruction target) 설계는 근본적으로 아직 정립되지 않았다. 본 논문은 SAR 사전학습 목표가 전이 가능한 표현(representation)을 만들려면 두 가지 조건을 만족해야 한다고 주장한다: (i) 물리 기반 안정성(physics-grounded stability), 즉 코히런트(coherent) 영상에 내재된 곱셈형 speckle에 대해 목표 연산자(target operator)가 근사적으로 불변인 것; (ii) 의미적 스케일 호환성(semantic scale compatibility), 즉 하류 과제가 요구하는 이질적인 공간 스케일을 포괄하는 것. 이 두 조건은 각각은 달성 가능하지만 동시에 만족시키기는 어렵다. 물리 기반 안정성은 고정 연산자를 선호하고, 의미적 스케일 호환성은 데이터 기반 구성(composition)을 선호한다. 이를 위해 SARATR-X-v2는 단일 설계 안에서 두 가지를 조화시킨다. 목표는 blind-spot 국소 집합(local aggregation)부터 방향성 log-ratio 영역 대비(directional log-ratio region contrast)에 이르기까지 여섯 수용 영역(receptive field)에 걸친 고정 구조 추출기(fixed structural extractors)로 구성되고, 학습 가능한 가중치로 융합되어 마스크 복원(masked reconstruction)을 위한 하나의 통합 supervision 신호를 만든다. 분류, 검출, 세그멘테이션을 아우르는 12개 SAR 벤치마크에서 SARATR-X-v2는 최신(state-of-the-art) 전이(transfer) 성능을 달성한다. 합성 speckle 변화 하에서 제안 목표는 픽셀 공간 supervision 대비 학습된 표현의 perturbation drift를 거의 두 자릿수(두 order of magnitude)만큼 줄인다. 종합하면, 이러한 결과는 물리 기반 안정성과 의미적 스케일 호환성을 코히런트 영상 하 사전학습 목표 설계의 원칙적 프레임워크로 확립하며, 효과적인 SAR 사전학습은 더 많은 신호를 복원하는 것이 아니라 올바른 구조적 목표를 복원하는 것에 관한 것임을 시사한다.
Deep Neural Networks With Region-Based Pooling Structures for Mammographic Image Classification
FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합
FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology
병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.
WISE-ATTA: 예산 제약이 있는 능동적 테스트 타임 적응에서 레이블을 요청해야 하는 시점
WISE-ATTA: When to Ask for Labels in Budgeted Active Test-Time Adaptation
능동적 테스트 타임 적응(Active Test-Time Adaptation, ATTA)은 감독(supervision) 정보를 선택적으로 요청하면서 추론(inference) 중에 배포된 모델을 업데이트함으로써 분포 변화(distribution shift) 하에서의 강건성을 향상시킵니다. 그러나 대부분의 기존 ATTA 방식은 들어오는 모든 테스트 배치(batch)에 대해 감독을 요청할 수 있다고 암묵적으로 가정하므로, 긴 테스트 스트림에 걸쳐 상당한 라벨링 비용이 발생할 수 있습니다. 본 연구에서는 테스트 배치의 일부에 대해서만 레이블을 사용할 수 있는 예산 제약 기반의 ATTA(budgeted ATTA)를 소개합니다. 이러한 정형화는 핵심 과제를 배치 내에서 무엇에 레이블을 지정할지 결정하는 문제에서 시간에 따라 언제 감독을 적용해야 하는지 결정하는 문제로 전환합니다. 이 문제를 해결하기 위해, 온라인으로 계산되는 경량 신호에 기반하여 테스트 스트림 전체에 걸쳐 감독을 할당하고 감독이 가장 유용할 것으로 예상되는 시점을 우선시하는 예산 인식 접근 방식인 WISE-ATTA를 제안합니다. 감독 대상 배치가 선택되면, 지속적이고 아직 수렴되지 않은 적응 역학을 보이는 샘플을 목표로 하는 드리프트 기반 샘플 선택 기준을 추가로 적용하여 단 하나의 레이블된 예시로도 효과적인 업데이트를 가능하게 합니다. 우리는 합성 손상(ImageNet-C) 및 자연 분포 변화(ImageNet-R/K/A) 환경에서 이 접근 방식을 평가합니다. 다양한 설정 전반에 걸쳐 WISE-ATTA는 훨씬 적은 레이블을 사용하면서도 최신 ATTA 방식과 비교해 경쟁력 있거나 향상된 성능을 달성합니다. 전반적으로 우리는 감독의 타이밍이 능동적 테스트 타임 적응에서 핵심적이면서도 아직 충분히 탐구되지 않은 측면임을 확인했습니다. 코드: https://github.com/Muhammad-Huzaifaa/WISE-ATTA
LENS-GRF: 여드름 중증도 등급 분류 및 다중 평가자 임상 오라클 분석을 위한 게이트 잔차 융합 기반 순열 불변 병변 근거 네트워크
LENS-GRF: Permutation-Invariant Lesion Evidence Network with Gated Residual Fusion for Acne Severity Grading and Multi-Rater Clinical Oracle Analysis
국소 병변 증거는 자동 여드름 중증도 등급 판정을 개선할 수 있으나, 검출기 오류와 임상 등급 기준의 차이가 일반화를 제한할 수 있다. 우리는 전역 Vision Transformer와 YOLO11s 제안에서 얻은 병변 영역 임베딩을 결합하는, 순열 불변 집계와 게이트 잔차 융합을 갖춘 병변 증거 네트워크인 LENS-GRF를 평가하였다. 완전 자동 4-클래스 등급 판정은 ACNE04의 보류 이미지 292장에서 평가하였고, 외부 적응 없이 600개 안면 뷰로 표현되는 PLSBRACNE01 참여자 200명에서도 평가하였다. 주석 보조 추론은 148명의 일치된 부분집합에서 피부과 전문의 3인의 정합된 병변 상자를 사용하였다. 성능 지표로는 정확도, 매크로 평균 정밀도, 민감도, 일대다 특이도를 사용하였다. 쌍체 비교에는 Holm 보정을 적용한 정확 McNemar 검정을 사용하였다. ACNE04에서 자동 LENS-GRF는 정확도 80.82%, 매크로 정밀도 78.80%, 민감도 78.92%, 특이도 92.78%를 달성하였다. 병변 상자를 제공한 경우 내부 정확도는 세 시드 평균 95.89%였다. 전체 외부 코호트에서 자동 LENS-GRF의 정확도는 35.00%로, 독립적으로 학습한 전역 기준선의 42.50%보다 낮았다. LENS-GRF의 외부 매크로 정밀도, 민감도, 특이도는 각각 50.52%, 34.31%, 78.19%였다. 일치된 부분집합에서 의사 A의 병변 주석을 사용한 정확도는 47.97%로, 자동 추론의 35.14%와 비교되었다(비보정 $p = 0.0094$; Holm 보정 $p = 0.0846$). 병변 주석을 제공했을 때의 우수한 내부 성능은 외부 코호트에서의 신뢰할 만한 자동 등급 판정으로 이어지지 않았다. 임상 사용 전에는 더 신뢰할 수 있는 병변 검출, 등급 기준 차이를 고려한 모델링, 독립적 검증이 필요하다.
RSAJEV: JEV 기반 원격 탐사 분류에서 은밀한 환각 제거를 위한 학습 불필요 기권 프로토타입 메모리
RSAJEV: Training-Free Abstaining Prototype Memory for Eliminating Silent Hallucination in JEV-Based Remote Sensing Classification
멀티모달 대규모 언어 모델(MLLM)을 활용한 원격 탐사 영상의 장면 분류(scene classification)는 단일 순전파(single-forward-pass) 결정 문제로 정식화됩니다. 즉, 후보 클래스 이름은 프롬프트 내에 알파벳 옵션으로 주어지고, 등록된 답변 슬롯은 프롬프트에 조건화되며, 언어 모델링 헤드로 문자 토큰의 점수를 매겨 분류를 판독합니다. 본 논문에서는 이러한 문자 바인딩이 학습(training) 어휘 내에서는 매우 효과적이지만(UCM에서 97.71% OA), 어휘 외(out-of-vocabulary) 상황에서는 불규칙하게 작동함을 보입니다. 4개의 교차 데이터셋 방향에 걸친 제로 적응(zero-adaptation) 정확도는 7.35%에서 96.40% 사이로 요동치며, 어휘 외 가중치 환경에서는 오픈셋(open-set) 평가 시 신뢰도가 역전되어 본 적 없는 클래스에 본 적 있는 클래스보다 더 높은 신뢰도를 부여하는 실패(AUROC 0.38)를 보이며, 저자들은 이를 '은밀한 환각(silent hallucination)'이라 명명합니다. 본 논문에서는 슬롯 표현을 유지하면서 판독부를 검색 기반 프로토타입 매칭을 수행하는 학습 불필요 기권 프로토타입 메모리인 RSAJEV로 대체합니다. 동일한 프롬프트 하에서 클래스당 K개의 참조 이미지를 슬롯 표현을 통해 프로토타입으로 캐싱하며, 분류는 축소-마할라노비스(shrinkage-Mahalanobis) 기하학적 보정으로 개선된 프로토타입 대상 최근접 이웃 검색이 됩니다. 이러한 판독 방식은 기계적으로 검색-증강 생성(RAG)과 동형(isomorphic)이지만 판별적 결정에 작용하며, MLLM 슬롯 표현을 위한 최초의 검색 기반 판독부입니다. 이 검색 판독 방식은 클래스당 16개의 참조 영상과 그래디언트(gradient) 업데이트 없이 UCM 교차 데이터셋 게이트에서 89.43%, AID에서 96.90%에 도달합니다. 또한 두 데이터셋의 오픈셋 평가에서 ID 특성 점수(ID-ness scores)는 0.91-0.99 AUROC를 달성하여 4개의 모든 오픈셋 설정에서 기호적 신뢰도(0.38-0.96)를 능가하고, 보정 가능한 기권 채널을 복원하며, 캐시된 행렬의 오프라인 재점수화를 통해 추가적인 추론(inference) 비용 없이 클래스 추가/제거를 지원합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.