초음파 AI 연구에서의 주석 및 평가를 위한 임상의 중심 파이프라인
A Clinician-Centered Pipeline for Annotation and Evaluation in Ultrasound AI Studies
한국어 초록
임상의 중심의 평가는 의료 AI 시스템을 검증하는 데 있어 필수적이며, 특히 정량적 지표가 항상 임상적 유용성을 반영하지 못하는 초음파 영상에서 더욱 그렇습니다. 기존 의료 영상 플랫폼은 주로 데이터셋 라벨링에 초점을 맞추고 있어, 블라인드 모델 비교 및 재현 가능한 평가 워크플로우에 대한 통합된 지원이 부족합니다. 본 연구에서는 초음파 AI 연구를 위한 원격 주석 및 평가에 적합한 임상의 중심 파이프라인을 제안합니다. 제안된 파이프라인은 중앙 집중식 서버와 가벼운 브라우저 인터페이스를 활용하여, 임상의가 데이터셋을 로컬에 다운로드하지 않고도 주석 작업, 블라인드 순위 매기기, 검토를 수행할 수 있도록 지원합니다. 또한 이 파이프라인은 다수의 평가자 참여, 결과의 중앙 집중식 집계, 자동화된 통계 분석을 지원합니다. 본 파이프라인은 전문가, 일반가, 비전문가 등 다양한 경력 수준의 6명의 평가자가 참여한 태아 초음파 분할 연구를 통해 검증되었습니다. 시스템은 스피어만 상관계수, 켄달의 타우(Kendall's $τ$), top-1 선택 통계를 자동으로 생성했습니다. 결과에 따르면 전문가와 다른 그룹 간에 중간에서 강한 수준의 일치가 나타났습니다. 블라인드 평가 결과, 후기 능동 학습(active learning) 모델이 선호되는 경향을 보였습니다. 이러한 결과는 제안된 파이프라인이 초음파 영상 분야에서 임상의 중심의 주석 작업과 재현 가능한 인간-AI 평가 연구를 지원할 수 있음을 시사합니다. 제안된 파이프라인은 GitHub에서 확인할 수 있습니다.
원문 초록
Clinician-centered evaluation is critical for validating medical AI systems, especially in ultrasound imaging where quantitative metrics do not always capture clinical usability. Existing medical image platforms primarily focus on dataset labeling. They lack integrated support for blinded model comparison and reproducible evaluation workflows. We present a clinician-centered pipeline for remote annotation and evaluation in ultrasound AI studies. The proposed pipeline uses a centralized server and lightweight browser interfaces to enable clinicians to perform annotation, blinded ranking, and review without local dataset downloads. The pipeline also supports multi-rater participation, centralized result aggregation, and automated statistical analysis. We validate the pipeline in a fetal ultrasound segmentation study with six raters spanning expert, generalist, and non-expert experience levels. The system automatically generated Spearman correlation, Kendall's $τ$, and top-1 selection statistics. Results indicated moderate to strong agreement across experts and other groups. The blinded evaluation results showed a tendency for later active learning models to be preferred. These outcomes suggest that the pipeline can support clinician-centered annotation and reproducible human-\ac{AI} evaluation studies in ultrasound imaging. The proposed pipeline is available on \href{https://github.com/13204942/SonoRate}{GitHub}.
요약
초음파 AI 검증에서 정량적 지표만으로는 임상적 유용성을 충분히 반영하기 어렵다는 문제에, 중앙 서버와 브라우저 인터페이스 기반의 임상의 중심 원격 주석·블라인드 모델 순위 평가 파이프라인을 제안한다. 태아 초음파 분할 연구에서 6명의 평가자를 대상으로 검증한 결과 전문가와 비전문가 그룹 간 중간~강한 일치가 관찰되었고, 블라인드 평가에서 후기 능동 학습(active learning) 모델이 더 선호되는 경향을 보였다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.19174v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
데이터 선택 강화를 통한 능동적 퓨샷 분할
Active few-shot segmentation by reinforcing data selection
퓨샷 학습(few-shot learning)은 의료 이미지 분할 모델이 소수의 레이블이 붙은 예시만으로 새로운 태스크에 적응할 수 있게 한다. 그러나 적응 성능은 서포트 집합(support set)에 어떤 예시를 선택하느냐에 크게 좌우된다. 효과적인 서포트 집합은 대상 도메인 내 관련 변이를 포착하고 적응에 유용한 정보를 담아야 하며, 구성 샘플들이 상호 보완적인 정보를 제공해야 한다. 그럼에도 기존 능동적 데이터 선택 접근법은 대체로 샘플을 개별적으로 우선시하며 예시 간 상호작용을 명시적으로 고려하지 않는다. 본 연구에서는 퓨샷 의료 이미지 분할에서 서포트 집합 선택을 위한 강화학습 프레임워크를 제안하여, 독립적인 샘플 점수화가 아니라 서포트 집합을 공동으로 최적화할 수 있게 한다. 레이블이 없는 후보 이미지 풀(pool)이 주어지면, 에이전트는 하류 분할 성능을 최대화하는 서포트 집합을 직접 예측한다. 기관 간 교차 골반 MRI 데이터셋에서의 실험은 무작위 선택 및 현재 최첨단(state-of-the-art) 방법 대비 개선을 보여준다. 우리의 발견은 효과적인 적응을 위해 서포트 집합의 상호 보완성(complementarity)이 중요함을 강조하며, 적응 집합 최적화를 위한 강화학습의 잠재력을 보여준다.
MetaFormer and CNN Hybrid Model for Polyp Image Segmentation
LSegDiff: A Latent Diffusion Model for Medical Image Segmentation
DEU-Net: Dual-Encoder U-Net for Automated Skin Lesion Segmentation
Rethinking Dual-Stream Super-Resolution Semantic Learning in Medical Image Segmentation
PLN: Parasitic-Like Network for Barely Supervised Medical Image Segmentation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.