A Self-Guided Framework for Radiology Report Generation
원문 초록
Automatic radiology report generation is essential to computer-aided diagnosis. Through the success of image captioning, medical report generation has been achievable. However, the lack of annotated disease labels is still the bottleneck of this area. In addition, the image-text data bias problem and complex sentences make it more difficult to generate accurate reports. To address these gaps, we pre-sent a self-guided framework (SGF), a suite of unsupervised and supervised deep learning methods to mimic the process of human learning and writing. In detail, our framework obtains the domain knowledge from medical reports with-out extra disease labels and guides itself to extract fined-grain visual features as-sociated with the text. Moreover, SGF successfully improves the accuracy and length of medical report generation by incorporating a similarity comparison mechanism that imitates the process of human self-improvement through compar-ative practice. Extensive experiments demonstrate the utility of our SGF in the majority of cases, showing its superior performance over state-of-the-art meth-ods. Our results highlight the capacity of the proposed framework to distinguish fined-grained visual details between words and verify its advantage in generating medical reports.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
EchoSonar-R: 심초음파 질병 분류 및 보고서 생성을 위한 다중 뷰 추론 지원 모델
EchoSonar-R: A Multi-View Reasoning-Enabled Model for Disease Classification and Report Generation in Echocardiography
심초음파는 가장 널리 사용되는 비침습적 심장 영상 검사 방식으로, 심혈관 질환 진단에 필수적인 정보를 제공한다. 심초음파 영상을 해석하려면 여러 심장 뷰에 걸친 상호 보완적인 근거를 종합하여 이상 소견을 식별하고 구조화된 임상 보고서를 작성해야 한다. 최근 연구는 분류 성능 향상에 초점을 맞추고 있지만, 대부분의 모델은 명시적인 진단 추론과 공간적으로 그라운딩된 해부학적 근거가 부족하여 임상의의 신뢰를 제한한다. 우리는 심초음파 검사로부터 다중 라벨 질병 분류와 보고서 생성을 공동으로 수행하는 다중 뷰 추론형 비전-언어 모델 EchoSonar-R을 제안한다. EchoSonar-R은 시공간 비디오 인코더와 구조 인식 심장 검출기를 결합하여, 교차 뷰 추론 과정에서 해석 가능성과 임상의 신뢰를 높이기 위해 공간적으로 그라운딩된 해부학적 단서를 제공한다. EchoSonar-R은 두 단계로 학습된다: 추론 주석이 달린 목표에 대한 지도 미세조정(SFT)에 이어, 분류와 보고서 생성을 통합 강화학습(RL) 프레임워크 내에서 공동으로 정렬하는 과제별 보상을 사용한 Group Relative Policy Optimization(GRPO)이 수행된다. 사설 다중 뷰 데이터셋과 두 공개 벤치마크에서 EchoSonar-R은 가장 강력한 기준선 대비 사설 데이터셋에서 매크로 균형 정확도를 17.1%, MIMICEchoQA에서 6.1% 향상시키고, GREEN 임상 충실도 점수 0.800을 달성하며, 다중 뷰 시각적 근거에 그라운딩된 해석 가능한 추론 추적을 생성한다.
Temporally-Grounded Language Generation: Towards Real-Time Vision-Language Models
LaViDa: 멀티모달 이해를 위한 대규모 디퓨전 언어 모델
LaViDa: A Large Diffusion Language Model for Multimodal Understanding
현대의 비전-언어 모델(VLM)은 시각적 추론을 요구하는 광범위한 작업을 해결할 수 있다. 실제 시나리오에서 VLM에 바람직한 특성으로는 빠른 추론과 제어 가능한 생성(예: 출력이 원하는 형식을 따르도록 제약하는 것)이 포함된다. 그러나 LLaVA와 같은 기존 자기회귀(AR) VLM은 이러한 측면에서 어려움을 겪는다. 이산 디퓨전 모델(DM)은 유망한 대안을 제공하며, 병렬 디코딩을 통해 더 빠른 추론을 가능하게 하고, 텍스트 인필링(text-infilling)을 통한 제어 가능한 생성을 위해 양방향 문맥을 제공한다. 언어 전용 설정에서는 효과적이지만, 멀티모달 작업에서 DM의 잠재력은 충분히 탐구되지 않았다. 우리는 DM 기반으로 구축된 VLM 계열인 LaViDa를 제안한다. LaViDa는 DM에 비전 인코더를 장착하고 멀티모달 지시(instruction) 따르기를 위해 결합된 구성 요소를 공동으로 파인튜닝하여 구축한다. 마주친 과제를 해결하기 위해 LaViDa는 효과적인 학습을 위한 상보적 마스킹(complementary masking), 효율적인 추론을 위한 접두 문맥(prefix) KV 캐시, 고품질 샘플링을 위한 타임스텝 시프팅(timestep shifting)과 같은 새로운 기법을 통합한다. 실험 결과 LaViDa는 MMMU와 같은 멀티모달 벤치마크에서 AR VLM과 경쟁력 있거나 우수한 성능을 달성하면서, 유연한 속도-품질 트레이드오프, 제어 가능성, 양방향 추론 등 DM만의 고유한 이점을 제공한다는 것을 보여준다. COCO 캡셔닝에서 LaViDa는 1.92배 속도 향상과 함께 Open-LLaVa-Next-8B보다 CIDEr +4.1을 초과한다. 양방향 작업에서는 Constrained Poem Completion에서 +59% 개선을 달성한다. 이러한 결과는 LaViDa가 AR VLM의 강력한 대안임을 보여준다. 코드와 모델은 카메라 레디(camera-ready) 버전에서 공개될 예정이다.
Vision Matters: Simple Visual Perturbations Can Boost Multimodal Math Reasoning
ViCrit: A Verifiable Reinforcement Learning Proxy Task for Visual Perception in VLMs
Dense Retrievers Can Fail on Simple Queries: Revealing The Granularity Dilemma of Embeddings
토론
이 논문과 연결된 포럼 글이 아직 없습니다.