arXiv:2611.01921v1 cs.CV

의사 컬러 심전도 이미지를 이용한 Torsades de Pointes 위험의 비전-언어 분류: T파 형태와 색상 맥락은 도움이 되는가, 방해가 되는가?

Vision-language classification of Torsades de Pointes risk from pseudo-coloured ECG images: do T-wave morphology and colour context help or hinder?

Dario Labrador Alonso, Alaa Alahmadi

제출 2026-11-03

한국어 초록

맥락 프롬프팅은 비전 모델의 성능을 저렴하게 높이는 방법으로 널리 소개되지만, 그 근거는 대부분 프롬프트에 명시된 속성이 이미지에도 존재하여 두 채널이 교란되는 벤치마크에서 나온다. 우리는 도메인 적응된 비전-언어 모델인 BiomedCLIP을 사용하여, 의미적으로 복잡한 생체의학 신호 분류 과제에서 맥락이 갖는 중요성을 조사한다. QT 노모그램과 의사 컬러링 기법을 이용해 심전도(ECG) 신호를 색상 강화 이미지로 변환하여 Torsades de Pointes 위험을 표시한 선행 연구를 바탕으로, 네 가지 맥락 전략과 네 가지 T파 형태 레이블 집합을 교차시켜 제로샷 및 클래스 균형 선형 프로브로 평가하였으며, 9,789개 이미지에 대해 5-겹 층화 교차 검증을 수행하였다. 제로샷 추론은 사용할 수 없는 수준이다. 학습 후에는 색상 강화 이미지가 모든 지표에서 무채색 이미지보다 우수하였다. 균형 정확도는 0.903 대 0.825, 민감도는 0.914 대 0.827, 특이도는 0.892 대 0.823, ROC-AUC는 0.955 대 0.888, 매튜스 상관계수(MCC)는 0.437 대 0.311이다. 이미지 내 색상과 프롬프트 내 색상을 교차시키면 교란된 채널이 분리된다. 프롬프트가 색상을 명시하든 그렇지 않든 이미지는 MCC +0.126(균형 정확도 +0.078, ROC-AUC +0.067)을 기여하는 반면, 색상을 명시하는 것은 어떤 지표에서도 변화를 일으키지 않는다. 맥락은 양면적이다. 최상의 프롬프트 집합은 색상이 있는 경우 MCC가 0.008, 없는 경우 0.016 향상되지만, 최악의 집합은 각각 0.017과 0.013 하락한다. 이미지로 표현된 신호에서는 신호를 어떻게 설명하느냐보다 어떻게 그리느냐에 효과의 열쇠가 있으며, 종점이 간격 측정값인 경우 T파 형태를 명시하는 프롬프트는 잘못된 양을 기술하는 것이다.

원문 초록

Contextual prompting is widely presented as a cheap route to better performance from vision models, but the evidence comes largely from benchmarks in which an attribute named in a prompt is also present in the image, confounding the two channels. We investigate the significance of context for a semantically complex biomedical signal classification task using a domain-adapted vision-language model, BiomedCLIP. Building on our previous work that renders electrocardiogram (ECG) signals as colour-enhanced images to flag Torsades de Pointes risk using the QT-nomogram and pseudo-colouring technique, we cross four context strategies with four T-wave morphology label sets, evaluated zero-shot and with a class-balanced linear probe, under five-fold stratified cross-validation on 9,789 images. Zero-shot inference is unusable. Once trained, the colour-enhanced images outperform the colourless ones on every metric: balanced accuracy 0.903 versus 0.825, sensitivity 0.914 versus 0.827, specificity 0.892 versus 0.823, ROC-AUC 0.955 versus 0.888 and Matthews correlation coefficient (MCC) 0.437 versus 0.311. Crossing colour-in-image with colour-in-prompt separates the confounded channels: the image contributes +0.126 MCC (+0.078 balanced accuracy, +0.067 ROC-AUC) whether or not the prompt names colour, whereas naming it changes nothing under any metric. Context is two-sided: the best prompt set gains 0.008 MCC where colour is present and 0.016 where it is not, while the worst loses 0.017 and 0.013. For a signal rendered as an image, the leverage lies in how the signal is drawn rather than in how it is described - and where the endpoint is an interval measurement, prompts naming T-wave morphology describe the wrong quantity.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.01921v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.