Finding-Aware Anatomical Tokens for Chest X-Ray Automated Reporting
원문 초록
The task of radiology reporting comprises describing and interpreting the medical findings in radiographic images, including description of their location and appearance. Automated approaches to radiology reporting require the image to be encoded into a suitable token representation for input to the language model. Previous methods commonly use convolutional neural networks to encode an image into a series of image-level feature map representations. However, the generated reports often exhibit realistic style but imperfect accuracy. Inspired by recent works for image captioning in the general domain in which each visual token corresponds to an object detected in an image, we investigate whether using local tokens corresponding to anatomical structures can improve the quality of the generated reports. We introduce a novel adaptation of Faster R-CNN in which finding detection is performed for the candidate bounding boxes extracted during anatomical structure localisation. We use the resulting bounding box feature representations as our set of finding-aware anatomical tokens. This encourages the extracted anatomical tokens to be informative about the findings they contain (required for the final task of radiology reporting). Evaluating on the MIMIC-CXR dataset of chest X-Ray images, we show that task-aware anatomical tokens give state-of-the-art performance when integrated into an automated reporting pipeline, yielding generated reports with improved clinical accuracy.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
캡션을 넘어서: 생의학 멀티모달 지속 사전학습을 위한 문맥 기반 재구성
Beyond Captions: Context-Grounded Reconstruction for Biomedical Multimodal Continued Pretraining
생의학 도표는 캡션뿐만 아니라 이를 설명하는 본문 구절을 통해서도 해석됩니다. 그러나 현재의 멀티모달 말뭉치는 도표를 고립된 이미지-캡션 쌍으로 축소하여 이러한 핵심 문맥을 버리는 경우가 많습니다. 기존 파이프라인은 이 문맥을 생략하거나 각 첨부를 뒷받침하는 도표 참조를 강제하지 않은 채 덧붙여, 근거 없는 이미지-텍스트 연결과 비일관적인 담화를 유발할 수 있습니다. 본 연구에서는 PubMed Central Open Access(PMC-OA) 레코드를 참조적으로 일관된 인터리브드(interleaved) 시퀀스로 변환하는 출처 기반 프레임워크인 문맥 기반 재구성(context-grounded reconstruction)을 도입합니다. 이는 캡션과 원본 텍스트를 복원하고, 논문 고유의 도표 참조를 통해서만 문맥을 첨부하며, 연속되지 않은 문맥을 복구하고 근거 없는 이미지를 제거합니다. 이렇게 재구성된 시퀀스에서 출발하여, PMC-InterCPT는 먼저 텍스트 품질과 의학적 관련성을 기준으로 레코드를 필터링한 뒤, 근거 인식 할당을 적용하여 생성형 의료 멀티모달 대규모 언어 모델(MLLM)의 지속 사전학습(CPT)을 위한 9.63B 토큰 규모의 말뭉치를 구축합니다. 고정된 지도 미세조정(SFT) 환경에서 PMC-InterCPT는 토큰 수가 일치하는 원본 데이터 대조군 대비 Qwen3.5-4B-Base의 의료 평균 점수를 1.46점, 일반/과학 평균 점수를 3.11점 향상시켰으며, 42% 더 큰 원본 데이터 학습 결과도 능가했습니다. 이러한 성능 향상은 Qwen3.5-2B-Base 및 LLaVA-OneVision-1.5-4B-Base에도 전이됩니다. 통제된 소거 연구(ablation study)는 단순히 논문 문맥을 덧붙이는 것이 아니라 문맥 기반 재구성을 수행하는 것이 유용한 생의학 멀티모달 CPT의 핵심임을 보여줍니다.
Making Language Model a Hierarchical Classifier and Generator
InstructFLIP: Exploring Unified Vision-Language Model for Face Anti-spoofing
Describe Anything Model for Visual Question Answering on Text-rich Images
Assay2Mol: large language model-based drug design using BioAssay context
Kodezi Chronos: A Debugging-First Language Model for Repository-Scale, Memory-Driven Code Understanding
토론
이 논문과 연결된 포럼 글이 아직 없습니다.