SMILE: 간 초음파 이해를 위한 구조화된 다중 에이전트 임상 추론
SMILE: A Structured Multi-Agent Clinical Reasoning for Liver Ultrasound Understanding
한국어 초록
자동 간 초음파 보고서 생성은 해부학적 소견과 질환 관련 소견에 대한 임상적으로 구조화된 기술을 생성함으로써 간 질환의 진단을 향상시킨다. 그러나 현재의 생성형 비전-언어 모델(VLM)은 초음파 영상의 외관을 텍스트 기술로 직접 대응시키는 단일 추론 경로에 의존하는 경우가 많다. 이러한 설계는 본질적인 비전-언어 모달리티 간극에 더하여, 미묘한 시각적 근거, 이질적인 질환 양상, 제한된 쌍 지도 데이터로 인해 질환 해석이 제약되는 간 초음파에 한계가 있다. 이러한 한계를 해결하기 위해, 본 연구는 상호 보완적인 여러 전문가 에이전트를 사용하여 초음파 영상을 해석하고 판정자 주도 합의 메커니즘을 통해 그 출력을 통합하는 구조화된 다중 에이전트 임상 추론 프레임워크 SMILE(Structured Multi-agent clInicaL rEasoning)을 제안한다. 본 접근법은 형태학적 기술을 위한 영상 해석 에이전트, 임상 단계 추론 에이전트, 표적 질의를 위한 시각 질의응답(VQA) 에이전트의 세 가지 전문 에이전트를 사용한다. 이들 에이전트의 응답은 합의 필터링 프롬프트를 사용하는 판정자 VLM에 의해 취합되고 면밀히 검토되어, 통일되고 임상적으로 일관된 출력을 생성한다. 공개 간 초음파 데이터셋과 내부 임상 데이터셋 전반에서 SMILE은 최신 VLM을 일관되게 능가하여 ROUGE-1에서 최대 19.0%, 임상 F1 점수에서 최대 18.8%의 향상을 달성하였으며, VQA F1 점수는 공개 데이터셋과 내부 데이터셋에서 각각 0.82와 0.65에 도달하였다. 이러한 결과는 데이터가 부족하고 지도 데이터가 제한된 임상 환경에서 SMILE이 가진 잠재력을 보여 준다. 본 연구의 모델, 데이터셋, 코드는 \href{https://github.com/CMME-Lab/SMILE}{여기}에서 이용할 수 있다.
원문 초록
Automated liver ultrasound report generation improves the diagnosis of liver diseases by producing clinically structured descriptions of anatomical and disease-related findings. However, current generative vision-language models (VLMs) often rely on a single reasoning pathway that maps ultrasound appearance directly to textual descriptions. In addition to the inherent vision-language modality gap, this design is limited for liver ultrasound because disease interpretation is constrained by subtle visual evidence, heterogeneous disease patterns, and limited paired supervision. To address these limitations, we propose SMILE, a Structured Multi-agent clInicaL rEasoning framework that uses multiple complementary specialist agents to interpret ultrasound images and consolidates their outputs through a judge-guided consensus mechanism. Our approach employs three specialized agents: an image interpretation agent for morphological descriptions, a clinical-stage reasoning agent, and a visual question answering (VQA) agent for targeted queries. These agent responses are then aggregated and scrutinized by a judge VLM using a consensus filtering prompt to produce a unified, clinically coherent output. Across a public liver ultrasound dataset and an internal clinical dataset, SMILE consistently outperforms state-of-the-art VLMs, achieving up to 19.0\% improvement in ROUGE-1 and 18.8\% improvement in clinical F1-score, while reaching VQA F1-scores of 0.82 and 0.65 on public and internal datasets, respectively. These results demonstrate the potential of SMILE for data-scarce and limited-supervision clinical settings. Our models, datasets, and code are available \href{https://github.com/CMME-Lab/SMILE}{here}.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.02581v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.