EchoSonar-R: 심초음파 질병 분류 및 보고서 생성을 위한 다중 뷰 추론 지원 모델
EchoSonar-R: A Multi-View Reasoning-Enabled Model for Disease Classification and Report Generation in Echocardiography
심초음파는 가장 널리 사용되는 비침습적 심장 영상 검사 방식으로, 심혈관 질환 진단에 필수적인 정보를 제공한다. 심초음파 영상을 해석하려면 여러 심장 뷰에 걸친 상호 보완적인 근거를 종합하여 이상 소견을 식별하고 구조화된 임상 보고서를 작성해야 한다. 최근 연구는 분류 성능 향상에 초점을 맞추고 있지만, 대부분의 모델은 명시적인 진단 추론과 공간적으로 그라운딩된 해부학적 근거가 부족하여 임상의의 신뢰를 제한한다. 우리는 심초음파 검사로부터 다중 라벨 질병 분류와 보고서 생성을 공동으로 수행하는 다중 뷰 추론형 비전-언어 모델 EchoSonar-R을 제안한다. EchoSonar-R은 시공간 비디오 인코더와 구조 인식 심장 검출기를 결합하여, 교차 뷰 추론 과정에서 해석 가능성과 임상의 신뢰를 높이기 위해 공간적으로 그라운딩된 해부학적 단서를 제공한다. EchoSonar-R은 두 단계로 학습된다: 추론 주석이 달린 목표에 대한 지도 미세조정(SFT)에 이어, 분류와 보고서 생성을 통합 강화학습(RL) 프레임워크 내에서 공동으로 정렬하는 과제별 보상을 사용한 Group Relative Policy Optimization(GRPO)이 수행된다. 사설 다중 뷰 데이터셋과 두 공개 벤치마크에서 EchoSonar-R은 가장 강력한 기준선 대비 사설 데이터셋에서 매크로 균형 정확도를 17.1%, MIMICEchoQA에서 6.1% 향상시키고, GREEN 임상 충실도 점수 0.800을 달성하며, 다중 뷰 시각적 근거에 그라운딩된 해석 가능한 추론 추적을 생성한다.