한국어 초록
본 연구에서는 사전학습(pre-training)된 SigLIP2 이미지 인코더를 항공 영상 기반의 7개 클래스 화재 위험 분류(classification)로 전이(transfer)하는 과정을 살펴봅니다. 공개 FireRisk 학습(training) 미러의 재현 가능한 분할과 데이터 출처(provenance), 전처리 및 모델(model) 선택을 기록하는 구현을 소개합니다. 초기 두 번의 실험에서는 고정된(frozen) 인코더 프로브와 전체 모델 적응(adaptation)을 비교합니다. 검증(validation) 분할에서 전체 모델 적응은 63.05%의 정확도와 58.94%의 매크로 F1을 달성한 반면, 프로브는 55.95% 및 50.19%를 기록했습니다. 두 실험 모두 단일 학습 시드를 사용하며 동일한 검증 분할에서 체크포인트(checkpoint)를 선택합니다. 이러한 개발 단계의 결과는 SigLIP2에 대한 추가적인 평가를 뒷받침하지만, 독립적인 테스트 세트나 미확인 지역에서의 성능을 입증하지는 않습니다. 함께 제공되는 코드는 반복 실험 및 추가적인 시각 인코더와의 비교를 위한 공통 프레임워크를 제공합니다.
원문 초록
We examine the transfer of a pretrained SigLIP2 image encoder to seven class fire risk classification from aerial imagery. We introduce a reproducible partition of the public FireRisk training mirror and an implementation that records data provenance, preprocessing and model selection. Two initial runs compare a frozen encoder probe with full model adaptation. On the validation partition, full adaptation reaches 63.05% accuracy and 58.94% macro F1, compared with 55.95% and 50.19% for the probe. Both runs use one training seed and select their checkpoint on the same validation partition. These development results support further evaluation of SigLIP2 but do not establish performance on an independent test set or unseen regions. The accompanying code provides a common framework for repeated experiments and comparisons with additional visual encoders.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합
FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology
병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.
의약품 식별을 위한 생성적 특징 증강 기반 하이브리드 머신러닝 보조 라만 분광법
Hybrid Machine Learning-Assisted Raman Spectroscopy with Generative Feature Augmentation for Pharmaceutical Identification
의약품 잔류물의 신속하고 신뢰성 있는 식별은 공중보건을 보호하고 식품 안전을 보장하며 실용적인 라만(Raman) 기반 스크리닝을 가능하게 하는 데 중요하다. 본 연구에서는 심층 스펙트럼 특징 추출, 생성 모델, 전통적인 머신러닝 분류기를 결합한 하이브리드 라만 분광법 프레임워크인 HyMLRaman을 제안하여 아목시실린(amoxicillin), 클로람페니콜(chloramphenicol), 시프로플록사신(ciprofloxacin), 테트라사이클린(tetracycline), 이부프로펜(ibuprofen), 파라세타몰(paracetamol)을 포함한 6종의 의약품 화합물을 식별한다. 라만 스펙트럼은 스펙트럼 이미지로 변환되어 여러 심층 신경망 백본(backbone)으로 인코딩되며, 이 중 EfficientNet-B3가 가장 효과적인 표현을 제공한다. 이렇게 얻어진 1536차원 임베딩은 SVM, KNN, 로지스틱 회귀(logistic regression), 랜덤 포레스트(random forest), XGBoost, ANN을 포함한 다운스트림 분류기를 계층화 10-폴드 교차 검증(stratified 10-fold cross-validation) 방식으로 학습시키는 데 사용된다. 하이브리드 EfficientNet-B3-SVM 구성은 96.31%의 정확도와 96.36%의 매크로-F1(macro-F1) 점수를 달성하여 가장 우수한 기준선 성능을 보이며, 단독 CNN 기준선을 능가한다. 제한된 데이터 조건을 해결하기 위해, PCA로 차원을 축소한 EfficientNet-B3 잠재 공간(latent space)에서 DDPM 기반 특징 증강이라는 생성 모델을 도입한다. 저데이터(low-data) 어블레이션(ablation) 결과는 DDPM 증강이 선택적인 이점을 제공하며, 특히 학습 데이터 비율이 줄어든 상황에서 KNN에 효과적이지만 그 효과는 분류기에 따라 달라짐을 보여준다. 마지막으로, 애플리케이션 수준의 라만 의약품 분석기(Raman Pharmaceutical Analyzer)는 학습된 모델을 대화형 라만 분석 워크플로우에 통합할 수 있음을 보여준다. 이러한 결과는 HyMLRaman이 신속한 라만 기반 의약품 스크리닝을 위한 실용적이고 해석 가능한 방법을 제공함을 시사한다.
이미지 잠재 공간에서 퍼지 규칙으로: 위장관 파운데이션 모델의 해석 가능한 분석
From Image Latent Space to Fuzzy Rules: Interpretable Analysis of Gastrointestinal Foundation Model
대규모 데이터셋으로 사전학습된 파운데이션 모델은 의료 영상 과제로의 강력한 전이 가능성을 보여준다. 그러나 이들의 잠재 표현이 임상적으로 관련 있는 정보를 어떻게 인코딩하는지 이해하는 것은 안전이 중요한(safety-critical) 영역에서 여전히 미해결 과제로 남아 있다. 본 연구는 사전학습된 파운데이션 모델의 내부 레이어가 생성하는 패치 수준 특징을 어떠한 미세조정 없이 해석하는 프로토타입 기반 퍼지 규칙 프레임워크를 제안한다. 클래스별 프로토타입은 특징 공간에서의 군집화(clustering)를 통해 학습되며, 이를 통해 압축된 시각적 패턴을 얻는다. 이후 패치 특징은 프로토타입과의 유사도로 표현되고, 사람이 읽을 수 있는 언어적 IF-THEN 조건을 가진 퍼지 규칙에 의해 분류된다. 이 프레임워크는 ImageNet-1K와 GastroNet-5M으로 사전학습된 ViT-S/16 백본의 마지막 두 블록에 걸쳐 적용되며, 동일한 고정(frozen) 특징 조건에서 k-최근접 이웃(k-nearest neighbours), 커널 SVM, 선형 프로빙(linear probing)과 비교하여 무선 캡슐 내시경 분류, 위장관 내시경 분류, 대장 용종 분할(segmentation) 과제에서 벤치마크된다. 실험 분석 결과, 제안된 방법은 백본 미세조정 없이도 이러한 블랙박스 분류기들과 비슷한 정확도에 도달하며, 도메인 특화 사전학습이 판별력이 있으면서도 기호적으로 압축 가능한 특징을 산출함을 보여준다. 도출된 규칙은 실제 데이터로부터 추출되어 해석 가능한 용어로 표현되기 때문에, 합성 의료 영상을 조사하는 도구로도 추가로 활용되어, 생성 모델이 어떤 실제 프로토타입과 규칙을 재현하거나 재현하지 못하는지를 사람이 읽을 수 있는 방식으로 설명하며, 단일 점수로 요약하는 대신 합성 영상이 실제 조직과 어디에서 달라지는지를 국소적으로 파악할 수 있게 한다. 따라서 이 프레임워크는 파운데이션 모델이 임상적으로 관련 있는 구조를 어떻게 조직화하는지에 대한 투명하고 깊이 수준에서 해석 가능한(depth-resolved) 시각을 제공하며, 추출된 규칙의 실용적인 후속 활용 방안도 함께 제시한다.
자동 신세포암 등급 분류를 위한 조직병리학 및 CT 기반 교차 모달 대조 학습
Cross-Modal Contrastive Learning from Histopathology and CT for Automated Renal Cell Carcinoma Grading
배경: 투명세포 신세포암(ccRCC)은 상당한 임상적 이질성을 보이며, 위험 계층화 및 치료 계획 수립을 위해서는 정확한 등급 평가가 필수적이다. 그러나 기존의 등급 평가는 침습적인 조직 채취를 필요로 한다. 본 연구에서는 비침습적인 CT 기반 ccRCC 등급 예측을 개선하기 위해 학습(training) 중 쌍을 이룬 조직병리학 및 컴퓨터 단층촬영(CT) 데이터를 활용하는 교차 모달 대조 학습(cross-modal contrastive learning) 프레임워크인 RCC-Align을 개발했다. 방법: RCC-Align은 대조 교차 모달 목적함수를 통해 쌍을 이룬 전체 슬라이드 조직병리학 이미지(WSI)와 CT 스캔을 정렬하여 미시적인 조직 형태학으로부터 거시적인 방사선학적 표현으로 등급 판별 정보를 전달한다. 이 프레임워크는 환자 수준의 5겹 교차 검증(validation)을 사용하여 쌍을 이룬 TCGA 및 CPTAC 코호트에서 학습 및 평가되었다. 저등급 대 고등급 ccRCC 분류(classification) 성능을 CT 전용 베이스라인(DINOv2-Base 및 DINOv2-Finetuned)과 WSI 기반 참조 모델(model)(GigaPath-Finetuned)과 비교했다. 교차 모달 정렬은 코사인 유사도 분석을 사용하여 평가되었다. 결과: RCC-Align은 0.601의 AUC(95% CI, 0.524-0.673) 및 0.599의 AUPRC(95% CI, 0.541-0.676)를 달성하여 유의하게 향상된 저등급 예측 성능(p = 0.004)과 함께 DINOv2-Finetuned(AUC 0.545, AUPRC 0.543)를 능가했다. 또한 RCC-Align은 베이스라인과 비교하여 더 강력한 쌍 WSI-CT 임베딩(embedding) 정렬을 보였다. WSI 기반 GigaPath 참조 모델은 0.719의 AUC를 달성했다. 결론: 병리학 유도 대조 학습은 추론(inference) 시 CT만 필요로 하면서도 CT 기반 ccRCC 등급 분류를 개선한다. 이러한 접근법은 생검이 안전하지 않거나 불가능하거나 종양 내 이질성으로 인해 제한될 때 조직 진단을 보완할 수 있다. 임상적 적용 전 외부 테스트를 포함한 더 크고 다기관인 코호트에서의 검증이 필요하다.
생체 인식 식별을 위한 심전도 신호 기반 대표 형태 히트맵
From ECG Signals to Representative-Morphology Heatmaps for Biometric Recognition
심전도(ECG)는 생체 인식(biometric recognition)을 지원하는 대상자 고유의 형태학적 특성을 포함하고 있으나, 이미지 기반 성능은 파형(waveform)이 어떻게 렌더링되는지에 따라 달라집니다. 본 논문에서는 ECGXtractor를 기반으로 변형한 결정론적 ECG-투-이미지 표현 방식인 대표 형태 히트맵(representative-morphology heatmaps)을 소개합니다. 정렬된 10개 박동으로 구성된 각 블록 내에서 블록 평균에 가장 가까운 5개 박동을 평균화하여 400 × L 행렬로 구성한 뒤, 기존의 트레이스(trace) 형태 또는 심장 시간-리드(cardiac-time-by-lead) 밀집 히트맵으로 렌더링합니다. 두 표현 모두 동일한 생리학적 샘플을 포함하므로, 이들의 비교를 통해 렌더링 방식의 효과만을 분리하여 분석할 수 있습니다. 본 연구에서는 PTB, ECG-ID, MIMIC-IV-ECG-DEMO 데이터셋에서 검증(verification) 및 닫힌 집합 식별(closed-set identification) 성능을 평가(evaluation)합니다. ZACH-ViT를 포함한 5개의 소형 모델을 처음부터 학습(training from scratch)시키는 한편, ImageNet 사전학습(pre-training)된 6개의 CNN 및 트랜스포머(transformer) 백본을 통해 모델 규모와 시각적 전이 성능을 평가합니다. 15개의 모든 소형 모델-데이터셋 비교에서 히트맵은 FNMR 동작점 및 두 식별 순위 모두를 향상시켰으며, 14개 비교에서는 EER을 개선했습니다. 짝을 이룬 실험 전반에서 EER은 평균 9.59%p 감소했고 Rank-1은 24.69%p 증가했습니다. ConvNeXt-Tiny는 PTB에서 2.43%, ECG-ID에서 5.79%의 EER을 달성한 반면, DeiT-Base는 MIMIC-DEMO에서 14.92%를 기록했습니다. ImageNet 초기화(initialization)는 두 다중 리드(multilead) 데이터셋에는 분명한 이점을 주었으나 ECG-ID에서는 복합적인 영향을 미쳤으며, 성능이 모델 크기에 따라 단조롭게 증가하지는 않았습니다. 최고의 히트맵 시스템들은 PTB와 ECG-ID에서 가장 강력한 신호 도메인 EER에 근접했으며, DeiT-Base는 MIMIC-DEMO에서 평가된 성능 중 가장 높은 성능을 보였습니다. 리드-채널 절제 연구(ablation study)는 유용한 채널 조합이 집단(cohort)과 생체 인식 작업에 따라 달라진다는 점을 추가로 보여줍니다. 전반적으로 대표 형태 히트맵은 심전도 검증 및 식별을 위한 효과적인 이미지 표현을 제공합니다.
센터 편향은 전파되는가? 전체 슬라이드 이미지 분류에서 병리 파운데이션 모델의 강건성
Do Center Biases Propagate? Robustness of Pathology Foundation Models in Whole-Slide Image Classification
병리 파운데이션 모델(PFM)은 조직병리 이미지로부터의 강력한 표현 학습을 통해 컴퓨터 병리학(computational pathology) 분야를 혁신해 왔습니다. PFM은 전체 슬라이드 이미지(WSI) 분석을 위한 풍부하고 판별력 있는 표현을 제공하여, 다중 인스턴스 학습(MIL) 기반의 슬라이드 수준 분류와 같은 작업을 가능하게 합니다. 그러나 이러한 표현은 데이터 획득 센터와 관련된 비생물학적 신호까지 함께 인코딩할 수 있어, 다운스트림 예측에 잘못된 지름길(spurious shortcuts)을 유발할 잠재적 위험이 있습니다. 본 연구에서는 크라메르 V(Cramér's V)로 정량화된 클래스-센터 간 상관관계를 점진적으로 증가시키는 통제된 학습 환경을 사용하여 WSI 분류에서의 센터 관련 강건성을 평가합니다. 4개 데이터셋과 2개의 MIL 애그리게이터에 걸쳐 6개의 PFM을 벤치마크하는 동시에, 강건화 전략으로서 ComBat을 평가합니다. 나아가 크라메르 V 곡선하면적(AUCC)을 도입하여, 절대적인 분류 성능과 허위 상관관계(spurious correlation) 증가에 따른 성능 저하를 함께 포착합니다. 실험 결과, PFM에 의해 인코딩된 센터 관련 정보가 WSI 수준의 예측으로 전파되며, 강건성은 PFM 표현과 MIL 집계 전략 모두에 의존하는 것으로 나타났습니다. 또한 ComBat 조화(harmonization) 기법은 데이터셋 전반에 걸쳐 일관된 강건성 향상을 제공하지 못했습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
7 pages, 3 figures, 2 tables. Code available at https://github.com/yunusserhat/firerisk