혼동 인식 Transfer Teacher 커리큘럼 학습 프레임워크: 스코어링과 페이싱 효과의 분리
Confusion-Aware Transfer Teacher Curriculum Learning Framework: Disentangling Scoring and Pacing Effects
한국어 초록
커리큘럼 학습은 샘플이 난이도에 따라 점수가 매겨지는 방식과 더 어려운 샘플이 학습에 도입되는 속도라는 두 가지 설계 선택 사항을 결합하므로, 관찰된 성과를 어느 한 쪽 요소에 귀속시키기 어렵습니다. 우리는 두 가지 평가 프로토콜을 통해 이러한 요소들을 분리합니다: 커리큘럼 학습과 무관하게 스코어링 함수를 검증하는 단계별 테스트 부분집합과, 무작위로 순서가 지정된 데이터에 동일한 페이싱 스케줄을 적용하는 기준선(baseline)입니다. Transfer Teacher 프레임워크(TTF) 내에서, 우리는 이러한 프로토콜을 사용하여 정답 클래스 신뢰도와 오답 클래스에 대한 확률 분포를 모두 고려하는 혼동 인식 난이도 점수를 평가합니다. ResNet-18과 VGG-16을 사용한 CIFAR-10에서 제안된 점수는 인간의 직관과 일치하는 모델이 해석 가능한 난이도 순위를 생성합니다. 그러나 전체 데이터에서는 커리큘럼 순서나 안티-커리큘럼 순서 모두 표준 학습보다 정확도를 향상시키지 못하며, 이는 스코어링 함수만 개선하는 것으로는 TTF에서 커리큘럼 학습의 알려진 실패 모드를 극복하기에 불충분함을 나타냅니다. 대조적으로, 우리는 혼동 인식 커리큘럼 순서가 일관된 데이터 효율성 이점을 가져온다는 것을 발견했으며, 20% 데이터 구간에서 무작위 순서보다 최대 8.7%p 더 높은 성능을 보여 TTF가 데이터 효율적인 학습 방법으로서의 잠재력을 시사합니다.
원문 초록
Curriculum learning couples two design choices, how samples are scored by difficulty and how harder samples are paced into training, making it difficult to attribute observed gains to either component. We disentangle these factors with two evaluation protocols: stage-wise test subsets that validate scoring functions independently of curriculum training, and a baseline that applies the same pacing schedule to randomly ordered data. Within the Transfer Teacher framework (TTF), we use these protocols to evaluate a confusion-aware difficulty score that considers both correct-class confidence and the probability distribution over incorrect classes. On CIFAR-10 with ResNet-18 and VGG-16, the proposed score produces model-interpretable difficulty rankings that align with human intuition. However, at full data, neither curriculum nor anti-curriculum ordering improves accuracy over standard training, indicating that improving the scoring function alone is insufficient to overcome the known failure modes of curriculum learning in TTF. In contrast, We find that confusion-aware curriculum ordering result in consistent data-efficiency benefits, outperforming random ordering by up to 8.7% points at the 20% data regime, suggesting the potential of TTF as a data-efficient training method.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.17706v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합
FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology
병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.
의약품 식별을 위한 생성적 특징 증강 기반 하이브리드 머신러닝 보조 라만 분광법
Hybrid Machine Learning-Assisted Raman Spectroscopy with Generative Feature Augmentation for Pharmaceutical Identification
의약품 잔류물의 신속하고 신뢰성 있는 식별은 공중보건을 보호하고 식품 안전을 보장하며 실용적인 라만(Raman) 기반 스크리닝을 가능하게 하는 데 중요하다. 본 연구에서는 심층 스펙트럼 특징 추출, 생성 모델, 전통적인 머신러닝 분류기를 결합한 하이브리드 라만 분광법 프레임워크인 HyMLRaman을 제안하여 아목시실린(amoxicillin), 클로람페니콜(chloramphenicol), 시프로플록사신(ciprofloxacin), 테트라사이클린(tetracycline), 이부프로펜(ibuprofen), 파라세타몰(paracetamol)을 포함한 6종의 의약품 화합물을 식별한다. 라만 스펙트럼은 스펙트럼 이미지로 변환되어 여러 심층 신경망 백본(backbone)으로 인코딩되며, 이 중 EfficientNet-B3가 가장 효과적인 표현을 제공한다. 이렇게 얻어진 1536차원 임베딩은 SVM, KNN, 로지스틱 회귀(logistic regression), 랜덤 포레스트(random forest), XGBoost, ANN을 포함한 다운스트림 분류기를 계층화 10-폴드 교차 검증(stratified 10-fold cross-validation) 방식으로 학습시키는 데 사용된다. 하이브리드 EfficientNet-B3-SVM 구성은 96.31%의 정확도와 96.36%의 매크로-F1(macro-F1) 점수를 달성하여 가장 우수한 기준선 성능을 보이며, 단독 CNN 기준선을 능가한다. 제한된 데이터 조건을 해결하기 위해, PCA로 차원을 축소한 EfficientNet-B3 잠재 공간(latent space)에서 DDPM 기반 특징 증강이라는 생성 모델을 도입한다. 저데이터(low-data) 어블레이션(ablation) 결과는 DDPM 증강이 선택적인 이점을 제공하며, 특히 학습 데이터 비율이 줄어든 상황에서 KNN에 효과적이지만 그 효과는 분류기에 따라 달라짐을 보여준다. 마지막으로, 애플리케이션 수준의 라만 의약품 분석기(Raman Pharmaceutical Analyzer)는 학습된 모델을 대화형 라만 분석 워크플로우에 통합할 수 있음을 보여준다. 이러한 결과는 HyMLRaman이 신속한 라만 기반 의약품 스크리닝을 위한 실용적이고 해석 가능한 방법을 제공함을 시사한다.
항공 화재 위험 분류를 위한 SigLIP2
SigLIP2 for aerial fire risk classification
본 연구에서는 사전학습(pre-training)된 SigLIP2 이미지 인코더를 항공 영상 기반의 7개 클래스 화재 위험 분류(classification)로 전이(transfer)하는 과정을 살펴봅니다. 공개 FireRisk 학습(training) 미러의 재현 가능한 분할과 데이터 출처(provenance), 전처리 및 모델(model) 선택을 기록하는 구현을 소개합니다. 초기 두 번의 실험에서는 고정된(frozen) 인코더 프로브와 전체 모델 적응(adaptation)을 비교합니다. 검증(validation) 분할에서 전체 모델 적응은 63.05%의 정확도와 58.94%의 매크로 F1을 달성한 반면, 프로브는 55.95% 및 50.19%를 기록했습니다. 두 실험 모두 단일 학습 시드를 사용하며 동일한 검증 분할에서 체크포인트(checkpoint)를 선택합니다. 이러한 개발 단계의 결과는 SigLIP2에 대한 추가적인 평가를 뒷받침하지만, 독립적인 테스트 세트나 미확인 지역에서의 성능을 입증하지는 않습니다. 함께 제공되는 코드는 반복 실험 및 추가적인 시각 인코더와의 비교를 위한 공통 프레임워크를 제공합니다.
이미지 잠재 공간에서 퍼지 규칙으로: 위장관 파운데이션 모델의 해석 가능한 분석
From Image Latent Space to Fuzzy Rules: Interpretable Analysis of Gastrointestinal Foundation Model
대규모 데이터셋으로 사전학습된 파운데이션 모델은 의료 영상 과제로의 강력한 전이 가능성을 보여준다. 그러나 이들의 잠재 표현이 임상적으로 관련 있는 정보를 어떻게 인코딩하는지 이해하는 것은 안전이 중요한(safety-critical) 영역에서 여전히 미해결 과제로 남아 있다. 본 연구는 사전학습된 파운데이션 모델의 내부 레이어가 생성하는 패치 수준 특징을 어떠한 미세조정 없이 해석하는 프로토타입 기반 퍼지 규칙 프레임워크를 제안한다. 클래스별 프로토타입은 특징 공간에서의 군집화(clustering)를 통해 학습되며, 이를 통해 압축된 시각적 패턴을 얻는다. 이후 패치 특징은 프로토타입과의 유사도로 표현되고, 사람이 읽을 수 있는 언어적 IF-THEN 조건을 가진 퍼지 규칙에 의해 분류된다. 이 프레임워크는 ImageNet-1K와 GastroNet-5M으로 사전학습된 ViT-S/16 백본의 마지막 두 블록에 걸쳐 적용되며, 동일한 고정(frozen) 특징 조건에서 k-최근접 이웃(k-nearest neighbours), 커널 SVM, 선형 프로빙(linear probing)과 비교하여 무선 캡슐 내시경 분류, 위장관 내시경 분류, 대장 용종 분할(segmentation) 과제에서 벤치마크된다. 실험 분석 결과, 제안된 방법은 백본 미세조정 없이도 이러한 블랙박스 분류기들과 비슷한 정확도에 도달하며, 도메인 특화 사전학습이 판별력이 있으면서도 기호적으로 압축 가능한 특징을 산출함을 보여준다. 도출된 규칙은 실제 데이터로부터 추출되어 해석 가능한 용어로 표현되기 때문에, 합성 의료 영상을 조사하는 도구로도 추가로 활용되어, 생성 모델이 어떤 실제 프로토타입과 규칙을 재현하거나 재현하지 못하는지를 사람이 읽을 수 있는 방식으로 설명하며, 단일 점수로 요약하는 대신 합성 영상이 실제 조직과 어디에서 달라지는지를 국소적으로 파악할 수 있게 한다. 따라서 이 프레임워크는 파운데이션 모델이 임상적으로 관련 있는 구조를 어떻게 조직화하는지에 대한 투명하고 깊이 수준에서 해석 가능한(depth-resolved) 시각을 제공하며, 추출된 규칙의 실용적인 후속 활용 방안도 함께 제시한다.
자동 신세포암 등급 분류를 위한 조직병리학 및 CT 기반 교차 모달 대조 학습
Cross-Modal Contrastive Learning from Histopathology and CT for Automated Renal Cell Carcinoma Grading
배경: 투명세포 신세포암(ccRCC)은 상당한 임상적 이질성을 보이며, 위험 계층화 및 치료 계획 수립을 위해서는 정확한 등급 평가가 필수적이다. 그러나 기존의 등급 평가는 침습적인 조직 채취를 필요로 한다. 본 연구에서는 비침습적인 CT 기반 ccRCC 등급 예측을 개선하기 위해 학습(training) 중 쌍을 이룬 조직병리학 및 컴퓨터 단층촬영(CT) 데이터를 활용하는 교차 모달 대조 학습(cross-modal contrastive learning) 프레임워크인 RCC-Align을 개발했다. 방법: RCC-Align은 대조 교차 모달 목적함수를 통해 쌍을 이룬 전체 슬라이드 조직병리학 이미지(WSI)와 CT 스캔을 정렬하여 미시적인 조직 형태학으로부터 거시적인 방사선학적 표현으로 등급 판별 정보를 전달한다. 이 프레임워크는 환자 수준의 5겹 교차 검증(validation)을 사용하여 쌍을 이룬 TCGA 및 CPTAC 코호트에서 학습 및 평가되었다. 저등급 대 고등급 ccRCC 분류(classification) 성능을 CT 전용 베이스라인(DINOv2-Base 및 DINOv2-Finetuned)과 WSI 기반 참조 모델(model)(GigaPath-Finetuned)과 비교했다. 교차 모달 정렬은 코사인 유사도 분석을 사용하여 평가되었다. 결과: RCC-Align은 0.601의 AUC(95% CI, 0.524-0.673) 및 0.599의 AUPRC(95% CI, 0.541-0.676)를 달성하여 유의하게 향상된 저등급 예측 성능(p = 0.004)과 함께 DINOv2-Finetuned(AUC 0.545, AUPRC 0.543)를 능가했다. 또한 RCC-Align은 베이스라인과 비교하여 더 강력한 쌍 WSI-CT 임베딩(embedding) 정렬을 보였다. WSI 기반 GigaPath 참조 모델은 0.719의 AUC를 달성했다. 결론: 병리학 유도 대조 학습은 추론(inference) 시 CT만 필요로 하면서도 CT 기반 ccRCC 등급 분류를 개선한다. 이러한 접근법은 생검이 안전하지 않거나 불가능하거나 종양 내 이질성으로 인해 제한될 때 조직 진단을 보완할 수 있다. 임상적 적용 전 외부 테스트를 포함한 더 크고 다기관인 코호트에서의 검증이 필요하다.
생체 인식 식별을 위한 심전도 신호 기반 대표 형태 히트맵
From ECG Signals to Representative-Morphology Heatmaps for Biometric Recognition
심전도(ECG)는 생체 인식(biometric recognition)을 지원하는 대상자 고유의 형태학적 특성을 포함하고 있으나, 이미지 기반 성능은 파형(waveform)이 어떻게 렌더링되는지에 따라 달라집니다. 본 논문에서는 ECGXtractor를 기반으로 변형한 결정론적 ECG-투-이미지 표현 방식인 대표 형태 히트맵(representative-morphology heatmaps)을 소개합니다. 정렬된 10개 박동으로 구성된 각 블록 내에서 블록 평균에 가장 가까운 5개 박동을 평균화하여 400 × L 행렬로 구성한 뒤, 기존의 트레이스(trace) 형태 또는 심장 시간-리드(cardiac-time-by-lead) 밀집 히트맵으로 렌더링합니다. 두 표현 모두 동일한 생리학적 샘플을 포함하므로, 이들의 비교를 통해 렌더링 방식의 효과만을 분리하여 분석할 수 있습니다. 본 연구에서는 PTB, ECG-ID, MIMIC-IV-ECG-DEMO 데이터셋에서 검증(verification) 및 닫힌 집합 식별(closed-set identification) 성능을 평가(evaluation)합니다. ZACH-ViT를 포함한 5개의 소형 모델을 처음부터 학습(training from scratch)시키는 한편, ImageNet 사전학습(pre-training)된 6개의 CNN 및 트랜스포머(transformer) 백본을 통해 모델 규모와 시각적 전이 성능을 평가합니다. 15개의 모든 소형 모델-데이터셋 비교에서 히트맵은 FNMR 동작점 및 두 식별 순위 모두를 향상시켰으며, 14개 비교에서는 EER을 개선했습니다. 짝을 이룬 실험 전반에서 EER은 평균 9.59%p 감소했고 Rank-1은 24.69%p 증가했습니다. ConvNeXt-Tiny는 PTB에서 2.43%, ECG-ID에서 5.79%의 EER을 달성한 반면, DeiT-Base는 MIMIC-DEMO에서 14.92%를 기록했습니다. ImageNet 초기화(initialization)는 두 다중 리드(multilead) 데이터셋에는 분명한 이점을 주었으나 ECG-ID에서는 복합적인 영향을 미쳤으며, 성능이 모델 크기에 따라 단조롭게 증가하지는 않았습니다. 최고의 히트맵 시스템들은 PTB와 ECG-ID에서 가장 강력한 신호 도메인 EER에 근접했으며, DeiT-Base는 MIMIC-DEMO에서 평가된 성능 중 가장 높은 성능을 보였습니다. 리드-채널 절제 연구(ablation study)는 유용한 채널 조합이 집단(cohort)과 생체 인식 작업에 따라 달라진다는 점을 추가로 보여줍니다. 전반적으로 대표 형태 히트맵은 심전도 검증 및 식별을 위한 효과적인 이미지 표현을 제공합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.