arXiv:2608.26033v1 cs.CV

UltraPIPS: 파운데이션 모델을 활용한 B-mode 초음파에서의 모델 지각 개선

UltraPIPS: Improving model perception in B-mode ultrasound with foundation models

Tal Grutman, Tali Ilovitsh

제출 2026-08-26

한국어 초록

의료 영상에서는 특징(feature) 공간에서 영상을 의미적으로 비교하기 위해 학습된 지각적 영상 패치 유사도(LPIPS)를 사용하는 것이 일반적이다. LPIPS 계산에는 자연 영상으로 사전학습(pre-training)된 백본이 널리 쓰이지만, B-mode 초음파 영상은 speckle 패턴과 음향 특화 영상 통계가 뚜렷하여 자연 영상뿐 아니라 방사선의 다른 영상과도 근본적으로 다르다. 따라서 초음파 데이터에서 지각적 유사도를 측정하려면 도메인 특화 모델이 필요하다고 제안하며, 이는 다른 영상 방식(modality)에서는 반드시 그렇지 않을 수 있는 결과이다. 분류(classification), 분할(segmentation), 재구성(reconstruction)과 같은 다운스트ream 과제에서 자연 영상, 의료 범용(generalist), 초음파 백본 모델을 사용해 LPIPS 지표를 비교한 결과, LPIPS 백본 선택은 사소하지 않은 설계 선택임을 보였다. 특히 초음파 백본 모델은 고전적 모델 및 자연 영상 모델보다 지도 학습 모델의 다운스트림 성능과 더 높은 상관을 보였고, 초음파 백본으로 LPIPS 손실(loss)을 최적화(optimization)하면 재구성 품질과 현실감(realism) 사이에서 강한 균형을 달성했다. 코드는 https://github.com/talg2324/UltraPIPS 에 공개되어 있으며, 본 논문에서 분석한 오픈소스 파운데이션 모델에 기반한 LPIPS 지표 모음인 UltraPIPS 라이브러리를 소개한다.

원문 초록

In medical imaging, it is common to use learned perceptual image patch similarity (LPIPS) to compare images semantically in feature space. Although backbones pretrained on natural images are widely used for LPIPS computation, B-mode ultrasound images possess distinct speckle patterns and acoustic-specific image statistics that are fundamentally different from natural images and even from other images in radiology. Consequently, we propose that domain-specific models are needed to measure perceptual similarity in ultrasound data, a finding which is not necessarily the case for other imaging modalities. We compare LPIPS metrics across downstream tasks like classification, segmentation and reconstruction using natural image, medical generalist and ultrasound backbone models and show that selection of LPIPS backbone is a non-trivial design choice. In particular, the ultrasound backbone models were more correlated with downstream performance of supervised models than classical and natural image models, and optimization of the LPIPS loss with an ultrasound backbone achieved a strong balance between reconstruction quality and realism. Our code is available at https://github.com/talg2324/UltraPIPS and introduces the UltraPIPS library, a set of LPIPS metrics based on the open-source foundation models analyzed in this paper.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.26033v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.