Improving Radiology Summarization with Radiograph and Anatomy Prompts
원문 초록
The impression is crucial for the referring physicians to grasp key information since it is concluded from the findings and reasoning of radiologists. To alleviate the workload of radiologists and reduce repetitive human labor in impression writing, many researchers have focused on automatic impression generation. However, recent works on this task mainly summarize the corresponding findings and pay less attention to the radiology images. In clinical, radiographs can provide more detailed valuable observations to enhance radiologists' impression writing, especially for complicated cases. Besides, each sentence in findings usually focuses on single anatomy, so they only need to be matched to corresponding anatomical regions instead of the whole image, which is beneficial for textual and visual features alignment. Therefore, we propose a novel anatomy-enhanced multimodal model to promote impression generation. In detail, we first construct a set of rules to extract anatomies and put these prompts into each sentence to highlight anatomy characteristics. Then, two separate encoders are applied to extract features from the radiograph and findings. Afterward, we utilize a contrastive learning module to align these two representations at the overall level and use a co-attention to fuse them at the sentence level with the help of anatomy-enhanced sentence representation. Finally, the decoder takes the fused information as the input to generate impressions. The experimental results on two benchmark datasets confirm the effectiveness of the proposed method, which achieves state-of-the-art results.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
텍스트를 통한 서로소 테이블의 발견 기반 통합
Discovery-Driven Integration of Disjoint Tables via Text
데이터 레이크 내에서 이종 데이터셋(heterogeneous dataset)을 통합하는 것은 중요한 도전 과제이며, 특히 조인(join)에 필요한 명시적 속성이 결여되어 있으나 의미론적으로 연관된 테이블의 경우 더욱 그렇습니다. 본 연구에서는 통합 전에 관련 소스와 누락된 관계 구조를 먼저 발견해야 하는 발견 기반 통합(Discovery-Driven Integration)을 다룹니다. 이러한 설정에서는 비정형 텍스트가 서로 다른 분리된 테이블들을 연결하는 증거를 제공합니다. 여기서 근본적인 도전 과제는 서로 다른 테이블의 개별 행들을 특정 문장을 통해 연결하는 세밀한 수준(fine-grained level)의 관계를 발견하는 것입니다. 우리는 이 작업을 텍스트 매개 조인 경로 발견(Text-Mediated Join Path Discovery)으로 정식화하고, 테이블 행과 문장의 맥락화된 표현(contextualized representation)을 학습하는 LOKI(Latent-space Optimization for Knowledge Integration)라는 수평적 양방향 교차 어텐션(cross-attention) 아키텍처를 제안합니다. 전역 테이블-텍스트 대조 학습 목표(contrastive objective)를 통해, 명시적인 국소적 지도(local supervision) 없이도 세밀한 행-문장 간의 연관성이 창발적으로 나타납니다. 기존의 멀티모달 발견 방법들은 대체로 조잡한 수준(coarse-grained)의 열-텍스트 연관성을 검색하는 데 그치며, 통합 시스템들은 행-텍스트 링크, 스키마 또는 쿼리가 미리 제공된다고 가정합니다. 반면 LOKI는 이러한 암시적 연관성을 명시적이고 해석 가능한 조인 경로로 변환하고, 이를 관계 일관적 그룹으로 구성하며, 문장 수준의 출처(provenance)를 갖춘 타입이 지정된 통합 테이블로 구체화(materialize)합니다. 실제 벤치마크에 대한 포괄적인 평가는 LOKI가 최첨단 멀티모달 데이터 발견 접근법들을 일관되게 능가하며, 직접적인 프롬프트 방식보다 대규모 언어 모델(LLM) API 비용을 최대 40배 절감하면서도 0.982의 매크로 타입 쌍 정밀도(macro typed-pair precision)로 타입 지정 통합 테이블을 구체화함을 보여줍니다.
장기 조건 패턴 토큰을 활용한 CT 이해를 위한 세밀한 비전-언어 사전학습
Fine-Grained Vision-Language Pretraining with Organ-Conditioned Pattern Tokens for CT Understanding
페어링된 볼륨과 방사선학 보고서로부터 수행하는 컴퓨트 토모그래피(CT) 비전-언어 사전학습은 확장 가능하면서도 어려운 과제이다. 기존 방법들은 일반적으로 전역 스캔-보고서 대비(global scan-report contrast)를 채택하는데, 이는 확장 가능하지만 이질적인 장기 증거를 모호하게 만든다. 한편, 직접적인 장기 수준 정렬(alignment)은 동일한 해부 구조가 여러 가지 서로 다른 방사선학적 양상을 보일 수 있기 때문에 여전히 거칠다. 따라서 사전학습에는 더 세밀한 정렬 단위, 즉 장기 조건 방사선학 패턴(organ-conditioned radiological pattern)이 필요하다. 본 연구에서는 CT 비전-언어 사전학습을 위한 장기 조건 패턴 토큰 정렬 프레임워크인 OCP-CT를 제안한다. 구체적으로, OCP-CT는 안정적인 전역 CT-보고서 대조(contrastive) 분기를 유지하고 장기 패턴 인터페이스를 도입한다. 희소 전문가 혼합(MoE)이 잠재 방사선학 패턴에 따라 이미지 및 텍스트 토큰을 라우팅하고, 학습 가능한 슬롯(slot)이 라우팅된 토큰을 연속 패턴 토큰으로 쿼리하며, 페어링된 토큰 대조가 보고서에서 유래한 임상 유사도로 구성된 구조화된 소프트 타깃(soft targets)과 함께 이미지-텍스트 패턴 토큰을 정렬한다. 공개된 CT-RATE 및 RAD-ChestCT 벤치마크에서 OCP-CT는 제로샷(zero-shot) 이상 진단에 대해 각각 평균 AUROC 84.5% 및 69.9%를 달성한다. 가장 강력하게 보고된 기존 결과와 비교할 때, 이러한 결과는 절대 AUROC 향상 6.7 및 0.8퍼센트포인트를 제공한다.
장기 계층적 보고서 지식을 활용한 해부학 기반 CT 비전-언어 표현 학습
Learning Anatomy-Grounded CT Vision-Language Representations with Organ-Hierarchical Report Knowledge
쌍을 이루는 CT 영상과 방사선 보고서로부터 수행하는 의료 비전-언어 사전학습(VLP)은 확장 가능한 표현 학습을 가능하게 하지만, 기존 방법 대부분은 전체 스캔과 전체 보고서, 또는 국소 이미지 영역과 텍스트 단편을 각각 정렬하는 방식에 그친다. 이러한 방식은 방사선 보고서의 핵심 특성을 충분히 활용하지 못한다. 즉, 방사선 보고서의 소견은 해부학적 구조를 중심으로 구성되며, 이상 소견은 장기, 질환 개념, 위치, 중증도 관련 속성에 따라 기술된다. 우리는 CT-보고서 VLP를 위한 장기 계층적 지식 증강 프레임워크인 OKA-CT를 제안한다. OKA-CT는 먼저 자유 형식의 보고서를 방사선 보고서 파싱과 대규모 언어 모델(LLM) 기반 의미 구조화를 통해 장기 조건부 지식으로 변환한다. 추출된 계층 구조는 두 단계의 학습에 걸쳐 활용된다. 1단계에서는 세밀한 장기 조건부 지도 학습을 통해 해부학 기반 근거를 CT 시각 표현에 주입하고, 2단계에서는 장기별 보고서 근거를 활용하여 구조화된 보고서-CT 대조 학습을 유도한다. 이때 계층 구조에서 파생된 의미론적 소프트 타깃은 장기 수준의 소견을 공유하는 비쌍 사례를 균일한 음성 샘플이 아닌 약한 의미론적 양성 샘플로 취급한다. 또한 경량의 쿼리 기반 전역 브랜치가 전체 스캔 표현을 위해 질환 관련 체적 근거를 추가로 집약한다. CT-RATE 및 RAD-ChestCT 데이터셋에서 OKA-CT는 제로샷 이상 진단 AUROC 84.9 및 72.2를 달성하여 기존 CT VLP 베이스라인을 능가한다. 검색 및 패치 오클루전 분석을 통해 보고서-이미지 정렬의 개선과 질환 관련 해부학적 영역에 대한 더 강한 민감도가 확인된다.
모든 모달리티는 동등하지만, 비디오는 더 동등하다: 공동 비디오 생성에서 크로스-어텐션 격차 줄이기
All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation
비디오는 외형, 기하학, 모션, 시간적 변화를 포착하여 물리적 사건을 풍부하게 표현합니다. 3D 신체 모션이나 오디오와 같은 다른 모달리티(modality)는 동일한 사건의 더 좁은 측면만을 인코딩합니다. 본 연구에서는 공동 멀티모달 확산 트랜스포머(joint multimodal diffusion transformer)가 교차 모달 대응(cross-modal correspondence)에서 그에 상응하는 비대칭성을 보임을 발견했습니다. 즉, 동반 모달리티는 비디오에 대해 강한 대응성을 형성하지만, 이들이 비디오를 제약하는 상호 대응성(reciprocal correspondence)은 실질적으로 훨씬 약하게 유지됩니다. 저자들은 두 방향을 비디오 토큰(token)에 대한 비교 가능한 대응 분포로 표현하고, 이들의 불일치를 상호 대응 격차(reciprocal correspondence gap)로 정의합니다. 또한 상호 교차 모달 어텐션 정규화(Reciprocal Cross-modal Attention Regularization)를 뜻하는 RecCAR를 제안합니다. 이는 이미 잘 확립된 비디오-모달리티 간 대응을 고정된 참조 기준으로 삼고, 더 취약한 모달리티-비디오 간 대응을 이에 맞춰 정렬하는 KL 정규화(regularizer) 기법입니다. 공동 비디오-모션 및 비디오-오디오 생성 전반에 걸쳐, RecCAR는 전반적인 생성을 개선하면서도 Human Anatomy 점수를 0.69에서 0.75로 향상시키고 오디오-비디오 비동기화(desynchronization)를 0.804에서 0.752로 감소시킵니다
기하 구조가 실제로 작동하는가? 쌍곡 비전-언어 모델의 위계에 대한 작동점 감사
Is the Geometry Doing the Work? An Operating-Point Audit of Hierarchy in Hyperbolic Vision-Language Models
쌍곡 비전-언어 모델은 추상성을 기하학적으로 인코딩하도록 설계되어 있다. 일반적인 개념은 원점 근처에, 구체적인 개념은 더 먼 곳에 놓이며, 함의 원뿔(entailment cone)은 방향성 있는 순서를 나타낸다. 본 연구는 학습된 MERU, HyCoCLIP, PHyCLIP 모델이 이러한 메커니즘을 실제로 사용하는지 묻는다. 공개된 일곱 개의 체크포인트와 이에 대응하는 처음부터 학습한 개입 모델을 감사한다. 감사한 수렴 체크포인트는 모두 무차원 반경 $u=\sqrt{c}\rho$에서 거의 유클리드적인 상태에 머문다. 이미지 측에서 관측된 최댓값은 $0.37$로, 국소 계량 왜곡이 $10\%$에 이르는 $u\approx0.84$에 크게 못 미친다. 곡률 하한을 해제하면 곡률과 노름은 변하지만 이 영역은 바뀌지 않으며, 하위 과제 성능 변화는 일관되지 않고 대체로 미미하다. 학습된 함의 원뿔은 포화되었거나 거의 포화되어 있어, 낮은 위반율은 학습된 순서가 아니라 지나치게 넓은 원뿔에서 비롯될 수 있다. 사전 등록된 의미 순회는 가지 내부의 약한 순서는 검출하지만 전체 위계를 읽어 내는 작동 가능한 판독은 검출하지 못한다. 셔플 대조 검정은 공개된 체크포인트에서 쌍별 고유의 반경 순서를 검출하지 못하며, 대응하는 세 개의 ViT-B 시드 전체에서 일관된 양성 결과도 없다. 이 비검출은 민감도에 의해 제한된다. 이 진단은 셔플 대조 초과분이 약 13.5 pp일 때에야 검정력 $80\%$에 도달하는 반면, 공개 모델 중 가장 큰 격차는 약 5 pp이다. 우리는 이를 낮은 곡률 지름길로 추적한다. 곡률을 낮추면 순서를 학습하지 않고도 함의 원뿔이 넓어져 위반이 억제된다. 조사한 궤적에서 그래디언트 분해는 붕괴 중 곡률을 낮추는 지배적 압력이 함의 항임을 보여 준다. 그러나 함의를 제거해도 곡률은 수축하므로 이 지름길이 유일한 원인은 아니다. 우리의 진단 아래에서 감사한 정식화들은 작동하는 반경 기반 또는 원뿔 기반 위계를 입증하지 못한다. 우리는 이 감사를 향후 위계 주장을 평가하기 위한 다섯 개 수치의 기하 보고서로 정리한다.
흉부 방사선 사진 골 억제를 위한 확장 가능한 감독으로서 해부학 분해 흉부 CT 투영
Anatomy-Decomposed Chest Computed Tomography (CT) Projections as Scalable Supervision for Bone Suppression in Chest Radiographs
뼈 중첩은 흉부 X선 영상에서 이상 소견을 가릴 수 있으며, 짝지어진 학습 데이터의 부족은 지도 학습 기반 뼈 억제를 제한한다. 본 연구는 이러한 문제를 흉부 컴퓨터단층촬영(CT)을 성분 억제를 위한 짝지어진 지도 신호로 변환하는 디지털 재구성 방사선영상(DRR) 프레임워크로 해결한다. 새로운 뼈 분할 알고리즘을 통해 CT를 뼈, 폐를 제외한 연조직, 폐 성분으로 분해하고 각각을 별도로 투영한다. 이들의 가중 결합은 전체 DRR과 정확히 합산되는 픽셀 정합 성분 영상을 갖춘 합성 방사선영상을 만들어 낸다. 이러한 데이터로 학습한 모델은 대상 성분을 예측하고 나머지를 차감으로 복원하는 방식으로 뼈 또는 폐 성분을 억제하며, 실제 짝지어진 학습 데이터 없이도 실제 방사선영상으로 전이된다. 확장으로서, 실제 방사선영상에 대한 모델의 출력은 짝지어지지 않은 성분별 DRR 변환을 위한 목표 도메인을 제공하여, 해부학적 세부 구조를 유지하면서 외형 격차를 줄인다. 여러 공개 데이터셋에서 수행한 하위 검출 실험은 뼈 억제의 효용을 보여 주며, 그 이득은 뼈 중첩이 큰 이상 소견에 집중된다. 동일한 CT에 적용한 오픈소스 DRR 엔진과 비교할 때, 수정하지 않은 본 DRR은 현실감과 레이블 관련 해부 구조의 보존에서 대등한 수준을 달성하였으며, 변환된 DRR은 평가한 방법 중 가장 우수한 Fréchet inception distance(FID), 폐야 선명도, 원본 CT 해부 구조와의 일치도를 달성하였다. 모델 및 추론 코드: https://huggingface.co/qureaiorg/bone-suppression ; 변환된 투영 영상: https://huggingface.co/datasets/qureaiorg/ct2xr-projections.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.