세분화된 구조화 방사선과 판독 작성을 위한 프로토타입 기반 지식 유도
Prototype-Based Knowledge Guidance for Fine-Grained Structured Radiology Reporting
구조화된 방사선과 판독은 자유 형식의 서술문보다 더 빠르고 일관된 소통을 가능하게 하지만, 제한된 구조화된 지도 신호로부터 희귀 소견 및 속성에 대한 수많은 세분화된(fine-grained) 이산적 결정을 내려야 하므로 자동화가 여전히 어렵습니다. 반면, 자유 텍스트 형태의 판독문은 일상적인 진료 환경에서 대규모로 생성되며 상세한 설명을 통해 영상과 연계된 세밀한 정보를 암시적으로 내포합니다. 이러한 비정형 지식을 활용하기 위해, 본 연구에서는 자유 텍스트 정보를 구조화된 판독문 채우기에 주입하는 접근법인 ProtoSR을 제안합니다. 먼저, 인스트럭션 튜닝된 대규모 언어 모델(LLM)을 사용하여 8만 건 이상의 MIMIC-CXR 검사를 마이닝하고 구조화된 판독 템플릿과 정렬된 멀티모달 지식 베이스를 구축하여 각 응답 보기를 시각적 프로토타입(visual prototype)으로 표현하는 자동 추출 파이프라인을 도입합니다. 이 지식 베이스를 활용하여 ProtoSR은 현재 영상-질문 쌍과 관련된 프로토타입을 검색하고 프로토타입 조건부 잔차를 통해 모델 예측을 증강하도록 학습되며, 이를 통해 예측을 선별적으로 교정하는 데이터 기반의 2차 소견을 제공합니다. Rad-ReStruct 벤치마크에서 ProtoSR은 최고 수준의 성능(SOTA)을 달성하였으며 세부 속성 질문에서 가장 큰 성능 향상을 기록하여, 세밀한 영상 이해를 위해 자유 텍스트 유래 신호를 통합하는 것의 가치를 입증했습니다.