arXiv:2606.28164v2 cs.CV

EchoSonar-R: 심초음파 질병 분류 및 보고서 생성을 위한 다중 뷰 추론 지원 모델

EchoSonar-R: A Multi-View Reasoning-Enabled Model for Disease Classification and Report Generation in Echocardiography

Darya Taratynova, Ahmed Aly, Numan Saeed, Mohammad Yaqub

제출 2026-06-26

한국어 초록

심초음파는 가장 널리 사용되는 비침습적 심장 영상 검사 방식으로, 심혈관 질환 진단에 필수적인 정보를 제공한다. 심초음파 영상을 해석하려면 여러 심장 뷰에 걸친 상호 보완적인 근거를 종합하여 이상 소견을 식별하고 구조화된 임상 보고서를 작성해야 한다. 최근 연구는 분류 성능 향상에 초점을 맞추고 있지만, 대부분의 모델은 명시적인 진단 추론과 공간적으로 그라운딩된 해부학적 근거가 부족하여 임상의의 신뢰를 제한한다. 우리는 심초음파 검사로부터 다중 라벨 질병 분류와 보고서 생성을 공동으로 수행하는 다중 뷰 추론형 비전-언어 모델 EchoSonar-R을 제안한다. EchoSonar-R은 시공간 비디오 인코더와 구조 인식 심장 검출기를 결합하여, 교차 뷰 추론 과정에서 해석 가능성과 임상의 신뢰를 높이기 위해 공간적으로 그라운딩된 해부학적 단서를 제공한다. EchoSonar-R은 두 단계로 학습된다: 추론 주석이 달린 목표에 대한 지도 미세조정(SFT)에 이어, 분류와 보고서 생성을 통합 강화학습(RL) 프레임워크 내에서 공동으로 정렬하는 과제별 보상을 사용한 Group Relative Policy Optimization(GRPO)이 수행된다. 사설 다중 뷰 데이터셋과 두 공개 벤치마크에서 EchoSonar-R은 가장 강력한 기준선 대비 사설 데이터셋에서 매크로 균형 정확도를 17.1%, MIMICEchoQA에서 6.1% 향상시키고, GREEN 임상 충실도 점수 0.800을 달성하며, 다중 뷰 시각적 근거에 그라운딩된 해석 가능한 추론 추적을 생성한다.

원문 초록

Echocardiography is the most widely used non-invasive cardiac imaging modality, providing essential information for cardiovascular diagnosis. Interpreting an echocardiogram requires synthesizing complementary evidence across multiple heart views to identify abnormalities and produce structured clinical reports. While recent efforts focus on improving classification performance, most models lack explicit diagnostic reasoning and spatially grounded anatomical evidence, limiting clinician trust. We present EchoSonar-R, a multi-view reasoning-enabled vision-language model that jointly performs multi-label disease classification and report generation from echocardiography studies. EchoSonar-R combines a spatiotemporal video encoder with a structure-aware cardiac detector that provides spatially grounded anatomical cues to improve interpretability and clinician trust during cross-view reasoning. EchoSonar-R is trained in two stages: supervised fine-tuning (SFT) on reasoning-annotated targets, followed by Group Relative Policy Optimization (GRPO) with task-specific rewards that jointly align classification and report generation within a unified reinforcement-learning framework. Across a private multi-view dataset and two public benchmarks, EchoSonar-R improves macro balanced accuracy by 17.1% on the private set and 6.1% on MIMICEchoQA over the strongest baseline, achieves a GREEN clinical faithfulness score of 0.800, and produces interpretable reasoning traces grounded in multi-view visual evidence.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.28164v2제출 시각 미확인
  2. arXiv:2606.28164v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13599v1cs.LG공통 태그 Classification, Medical Image Analysis, Diagnostic

EchoTab: 정형 데이터 재구성을 통한 심초음파 진단용 측정 기반 표현 학습

EchoTab: Learning Measurement-Grounded Representations for Echocardiographic Diagnosis through Tabular Reconstruction

심초음파와 같은 다중 뷰(multi-view) 의료 영상 검사에서 진단 정보는 여러 뷰에 분산되어 있으며, 각 뷰는 심장 구조와 기능의 서로 다른 측면을 포착합니다. 임상 현장에서는 이러한 뷰들을 먼저 정량적 측정을 통해 해석한 후, 이를 바탕으로 구체적인 진단을 내립니다. 그러나 기존의 심초음파 표현 학습 방법들은 뷰와 진단 사이의 중간 표현으로서 측정을 명시적으로 모델링하지 않습니다. 그 결과 개별 측정이 다운스트림 진단 태스크에서 선택적으로 활용할 수 있는 형태로 명시적 표현되지 않아 정확한 진단을 저해합니다. 이러한 계층적 임상 워크플로우에서 착안하여, 본 논문에서는 심초음파 뷰와 진단 사이의 중간 표현으로 측정별 토큰(measurement-specific token)을 활용해 다중 뷰 심초음파 검사를 표현하는 측정 기반(measurement-grounded) 표현 학습 프레임워크인 EchoTab을 제안합니다. 각 측정 토큰은 추정에 관련된 뷰에 선택적으로 어텐션(attention)하며, 해당 측정값을 예측하도록 정형 데이터 재구성(tabular reconstruction)을 통해 학습됩니다. 이렇게 도출된 토큰들은 임상적으로 유의미한 구조적 및 기능적 특성을 인코딩하는 요인화된(factorized) 심초음파 표현을 형성하여 다운스트림 진단에 선택적으로 활용될 수 있습니다. 흔히 사용되는 대조 학습 접근법과 달리 EchoTab은 네거티브 샘플이나 큰 배치(batch) 크기를 필요로 하지 않습니다. 두 가지 데이터셋에 대한 실험을 통해 EchoTab이 다중 뷰 심초음파에서 진단 분류(classification) 성능을 향상시키는 효과적인 측정 기반 표현을 학습하며, 학습된 어텐션이 심장 전문의가 사용하는 기존의 측정-뷰 관계와 일치함을 입증합니다. 코드는 https://github.com/michelleespranita/EchoTab 에서 확인할 수 있습니다.

arXiv:2610.15816v1cs.LG공통 태그 Classification, Medical Image Analysis

ML-CLAPPS: 클래스 우선순위화를 적용한 불균형 다중 레이블 학습을 위한 확률론적 프레임워크

ML-CLAPPS: A Probabilistic Framework for Imbalanced Multilabel Learning under Class Prioritization

실세계 데이터셋은 심각한 클래스 불균형을 보이는 경우가 많으며, 이는 특히 희귀 클래스에서 심층 학습(deep learning) 모델의 성능을 저하시킵니다. 이진 및 다중 클래스 환경에서는 불균형에 대한 연구가 활발히 이루어졌지만, 복잡한 레이블 동시 발생(co-occurrence)으로 인해 다중 레이블(multilabel) 문제에서는 훨씬 더 큰 난제가 됩니다. 심전도(ECG) 분류와 같은 임상 응용 분야에서는 이러한 난제와 함께 두 번째 결정적인 과제가 결부되는데, 이는 위음성(false negative)으로 인한 막대한 비용을 줄이기 위해 유병률과 무관하게 고위험 질환의 우선순위를 지정해야 한다는 점입니다. 본 연구에서는 학습 인스턴스에 대한 분포를 최적화하여 모델의 서로 다른 클래스에 대한 노출을 제어하는 학습 가능한 샘플러인 다중 레이블 클래스 우선순위화 확률론적 샘플러(Multilabel Class-Prioritized Probabilistic Sampler, ML-CLAPPS)를 소개합니다. 이 접근 방식은 다중 레이블 불균형을 해결하는 동시에 사용자 정의 중요도 벡터(importance vector, IV)를 통해 중요한 질환의 우선순위화를 가능하게 합니다. 실세계 다중 레이블 ECG 이미지 데이터셋을 사용한 실증적 평가는 ML-CLAPPS가 최고 수준(SOTA)의 성능을 달성함을 입증합니다. 우리는 본 모델이 지정된 IV에 클래스 노출도를 일치시키며, 특정 클래스의 중요도를 높이면 해당 클래스의 분류 성능이 상응하여 향상됨으로써 임상적으로 중대한 질환의 명시적인 우선순위화가 가능함을 보여줍니다.

arXiv:2610.13780v1cs.CV공통 태그 Classification, Medical Image Analysis

형광 현미경 이미지에서 극히 희귀한 사멸 세포의 검출

Detection of extremely rare dead cells in fluorescence microscopy images

형광 현미경 관찰에서 사멸 세포 검출은 표현형 스크리닝과 약물 효능 평가에 필수적입니다. 그러나 신호 가변성, 광학 인공물(optical artifact), 여러 채널 간 공국재화(colocalization) 모호성으로 인해 자동 식별은 여전히 어렵습니다. 세포핵 경계를 정의하는 마커는 세포사멸(apoptotic) 마커와 공간적 또는 시간적으로 깔끔하게 일치하지 않습니다. 더욱이 마커 축적 동역학은 개별 세포 및 세포사멸 단계마다 다르므로 범용 임계값을 신뢰하기 어렵습니다. 본 논문에서는 핵 염색 검체에서 세포사멸 세포를 검출하기 위한 여러 전산적 접근 방식에 대한 체계적인 비교를 제시합니다: (1) 강도 임계값, 분포, 상관관계 및 도메인 지침을 사용하는 휴리스틱 방법; (2) 수치적 특징(로지스틱 회귀, 랜덤 포레스트, XGBoost 및 LightGBM)과 이미지 특징(ResNet-18 및 EfficientNet-B0)을 사용하는 분류; (3) 마찬가지로 수치적 특징(격리 포레스트, 원클래스 SVM 및 PCA 재구성)과 이미지 특징(합성곱 오토인코더 및 Deep SVDD)을 사용하는 이상 탐지. 수작업으로 주석이 달린 243개의 실측값(ground truth) 사멸 세포를 포함하여 여러 장면에 걸쳐 65,527개의 세포/핵이 포함된 258개 이미지 데이터셋을 사용하여, PR-AUC, 정밀도, 재현율, F1-score 및 macro-F1과 같은 지표로 각 방법을 평가합니다. 연구 결과에 따르면 이미지 특징을 사용하는 분류(심층 학습)와 수치적 특징을 사용하는 분류(전통적 방식)가 가장 우수한 성능을 달성했으며, ResNet-18과 XGBoost가 수작업으로 설계된 휴리스틱 및 이상 탐지 방법보다 크게 우수한 성과를 보였습니다. 이러한 연구 결과는 최첨단 전산 및 학습 기법으로도 이러한 생의학 문제를 해결하는 것이 여전히 매우 까다롭다는 점을 보여줍니다. 우리는 도메인 과학자를 돕는 보조 도구로서 완전 자동 방식이나 인간 참여형(human-in-the-loop) 설정 모두에서 연구자들에게 효과적인 의사결정 지원 도구를 제공하는 것을 목표로 합니다.

arXiv:2610.10648v1cs.LG공통 태그 Medical Image Analysis, Diagnostic

알츠하이머병 연구의 진단 및 진행 예측을 위한 정보 누출 제어 다중 모달 학습

Leakage-Controlled Multimodal Learning for Diagnosis and Progression Prediction in Alzheimer's Disease Research

알츠하이머병(Alzheimer's disease) 예측은 불규칙한 방문 주기, 이종의 측정값, 불완전한 모달리티 문제를 수반합니다. 본 연구에서는 맞춤형 SFCN MRI 인코더, 4개의 인과적 임상 트랜스포머(clinical Transformer), 공유 융합 모듈, 과업별 ODE-GRU 역학을 결합한 다중 모달 다중 과업(multimodal multitask) 프레임워크를 제안합니다. 미세조정(fine-tuning)과 LoRA를 적용해 마지막 두 개의 MRI 블록을 적응시킵니다. Task-DRO는 과업 간 손실의 균형을 맞추며, Group-CVaR은 코호트 및 동반 질환 계층을 목표로 합니다. 브랜치별 입력 제어, 피험자 그룹화 분할, 경험적 인과성 검증을 통해 종단적 평가를 지원합니다. ADNI, OASIS-2, MIRIAD의 2,649명 피험자와 17,317회 방문 데이터를 기반으로 한 내부 검증에서, 진단, 1단계 진행, 첫 1단계 방문 진행의 AUROC는 각각 0.935 +/- 0.002, 0.884 +/- 0.003, 0.870 +/- 0.005를 기록했습니다(3개 시드에 대한 평균 +/- 표준편차). 상응하는 하이브리드 AUROC는 각각 0.951, 0.909, 0.896입니다. 다음 방문 시점의 MMSE 평균 절대 오차(MAE)는 1.61점이며, 최하위 계층의 진단 AUROC는 0.827 +/- 0.008입니다. 샘플링된 ADNI 설명 분석을 통해 과업별 입력 의존성을 식별했습니다. OASIS-3 외부 검증에서는 네트워크 및 하이브리드 진단 AUROC가 각각 0.763과 0.767, 하이브리드 다음 방문 진행 AUROC가 0.764를 기록했고, 진단 캘리브레이션 오차는 0.197에서 0.052로 감소했으며, 다음 방문 MMSE MAE는 0.86을 나타냈습니다. 시드 42에 대한 6개 구성 요소의 대응 절제 연구(ablation study) 결과, 풀링된 진단 및 진행 AUROC 차이는 -0.004에서 +0.004 사이로 나타났으며, 임상 인코더 입력을 제거하면 진단 AUROC가 0.272 감소했습니다. 본 프레임워크는 종단적 예측, 결측 모달리티 처리, 보조 동반 질환 모델링, 하위 그룹 평가를 단일 파이프라인 내에 통합합니다.

arXiv:2610.02684v1cs.AI공통 태그 Diagnostic, Large Language Model

대규모 언어 모델은 환자 근거가 변화함에 따라 신뢰할 수 없는 임상적 판단 업데이트를 보인다

Large language models exhibit unreliable updating of clinical judgment as patient evidence evolves

임상적 추론을 위해 대규모 언어 모델(LLM)의 활용이 점차 탐색되고 있으나, 환자의 근거가 변화함에 따라 모델이 판단을 적절하게 수정하는지는 여전히 불분명하다. 본 연구에서는 전자의무기록의 매칭된 중환자 치료 궤적을 활용하여 종단적 신념 업데이트(longitudinal belief updating)를 평가했다. 다양한 LLM 전반에서, 추정치가 변경될 때 이전 판단을 조건부로 반영하는 것은 예측 오차를 줄이기보다 오히려 증가시키는 경우가 더 많았으며, 이는 두 번째 종단점에서도 재현되었다. 통제된 개입 실험을 통해 두 가지 실패 모드가 밝혀졌다. 첫째, 이전 평가가 고정되었을 때 모델은 매칭된 호흡 개선 근거보다 악화 근거에 더 강하게 반응했으며, 이러한 비대칭성은 중간 및 강한 근거 수준에서 헤드룸 정규화(headroom normalization)를 거친 후에도 지속되었다. 둘째, 현재 근거가 고정되었을 때 사전 위험도를 10%에서 90%로 증가시키면 추정치가 26.2%포인트 이동하여 이전 모델 신념의 인과적 영향을 입증했다. 프롬프팅은 신뢰할 수 있는 업데이트를 복원하지 못했다. 근거 검증 종단적 업데이트(Evidence-Validated Longitudinal Update, EVLU)는 더 적지만 보다 신뢰할 수 있는 수정을 식별하여 신뢰성과 커버리지 간의 절충 관계(trade-off)를 드러냈다. 이러한 발견은 종단적 신념 업데이트가 LLM 신뢰성의 뚜렷한 한 차원임을 확립한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.