arXiv:2603.11938v2 cs.AI

세분화된 구조화 방사선과 판독 작성을 위한 프로토타입 기반 지식 유도

Prototype-Based Knowledge Guidance for Fine-Grained Structured Radiology Reporting

Chantal Pellegrini, Adrian Delchev, Ege Özsoy, Nassir Navab, Matthias Keicher

제출 2026-03-12

한국어 초록

구조화된 방사선과 판독은 자유 형식의 서술문보다 더 빠르고 일관된 소통을 가능하게 하지만, 제한된 구조화된 지도 신호로부터 희귀 소견 및 속성에 대한 수많은 세분화된(fine-grained) 이산적 결정을 내려야 하므로 자동화가 여전히 어렵습니다. 반면, 자유 텍스트 형태의 판독문은 일상적인 진료 환경에서 대규모로 생성되며 상세한 설명을 통해 영상과 연계된 세밀한 정보를 암시적으로 내포합니다. 이러한 비정형 지식을 활용하기 위해, 본 연구에서는 자유 텍스트 정보를 구조화된 판독문 채우기에 주입하는 접근법인 ProtoSR을 제안합니다. 먼저, 인스트럭션 튜닝된 대규모 언어 모델(LLM)을 사용하여 8만 건 이상의 MIMIC-CXR 검사를 마이닝하고 구조화된 판독 템플릿과 정렬된 멀티모달 지식 베이스를 구축하여 각 응답 보기를 시각적 프로토타입(visual prototype)으로 표현하는 자동 추출 파이프라인을 도입합니다. 이 지식 베이스를 활용하여 ProtoSR은 현재 영상-질문 쌍과 관련된 프로토타입을 검색하고 프로토타입 조건부 잔차를 통해 모델 예측을 증강하도록 학습되며, 이를 통해 예측을 선별적으로 교정하는 데이터 기반의 2차 소견을 제공합니다. Rad-ReStruct 벤치마크에서 ProtoSR은 최고 수준의 성능(SOTA)을 달성하였으며 세부 속성 질문에서 가장 큰 성능 향상을 기록하여, 세밀한 영상 이해를 위해 자유 텍스트 유래 신호를 통합하는 것의 가치를 입증했습니다.

원문 초록

Structured radiology reporting promises faster, more consistent communication than free text, but automation remains difficult as models must make many fine-grained, discrete decisions about rare findings and attributes from limited structured supervision. In contrast, free-text reports are produced at scale in routine care and implicitly encode fine-grained, image-linked information through detailed descriptions. To leverage this unstructured knowledge, we propose ProtoSR, an approach for injecting free-text information into structured report population. First, we introduce an automatic extraction pipeline that uses an instruction-tuned LLM to mine 80k+ MIMIC-CXR studies and build a multimodal knowledge base aligned with a structured reporting template, representing each answer option with a visual prototype. Using this knowledge base, ProtoSR is trained to retrieve prototypes relevant for the current image-question pair and augment the model predictions through a prototype-conditioned residual, providing a data-driven second opinion that selectively corrects predictions. On the Rad-ReStruct benchmark, ProtoSR achieves state-of-the-art results, with the largest improvements on detailed attribute questions, demonstrating the value of integrating free-text derived signal for fine-grained image understanding.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2603.11938v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27710v3cs.CV공통 태그 Retrieval, Medical Image Analysis

FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합

FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology

병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.

arXiv:2609.34798v2cs.CL공통 태그 Medical Image Analysis, Visual Question Answering (VQA)

InfiMed2: 문맥적 근거와 안정성 인식 감독을 통한 범용 의료 멀티모달 기반 모델

InfiMed2: A Generalist Medical Multimodal Foundation Model from Contextual Evidence and Stability-Aware Supervision

최근 의료 멀티모달 모델(multimodal model)은 더 큰 말뭉치, 더 넓은 모달리티 적용 범위, 강화된 추론 지향 학습(training)을 통해 발전해 왔으나, 지속 사전학습(continued pretraining, CPT) 및 사후 학습(post-training) 전반에 걸친 효과적인 데이터 설계는 여전히 어려운 과제로 남아 있습니다. 의료 데이터 소스는 구조, 세분성, 정보 밀도가 크게 다르며, 광범위한 지식 습득에서 후기 단계의 통합으로 학습이 진행됨에 따라 그 유용성도 변화합니다. 한편 사후 학습은 단답형 시각적 질문 답변(VQA)이 지배적인 경우가 많아 정보성이 높고 답변과 일치하는 설명을 위한 감독을 충분히 제공하지 못합니다. 본 논문에서는 단계 인식형 데이터 설계를 중심으로 구축된 4B 및 27B 규모의 범용 의료 멀티모달 기반 모델(foundation model) 패밀리인 InfiMed2를 소개합니다. 소스 맞춤형 처리를 통해 광범위한 임상 지식과 문맥이 풍부한 생물의학 시각적 근거를 결합한 556.8억(55.68B) 토큰(token) 규모의 말뭉치를 구축했습니다. 본 CPT 파이프라인은 먼저 비전 인코더를 적응시킨 다음 광범위한 의료 지식을 구축하고, 최종적으로 학습률 감쇠 단계에서 근거 중심의 데이터 혼합으로 전환합니다. 지도 미세조정(SFT)을 위해 답변 안정성, 답변 마스킹 재구성, 정확도 제약 선별을 활용하여 시각적 질문 답변 반응을 재생성함으로써 더 유익하고 답변 일관성을 갖춘 감독 신호를 생성합니다. 4B 모델은 검증 가능한 보상을 통한 강화학습(RLVR)으로 추가 최적화되었습니다. 5개 의료 멀티모달 벤치마크(benchmark) 전반에서 InfiMed2-4B는 RLVR 적용 후 66.73%의 평균 정확도를 달성하여 더 큰 규모의 Qwen3.5-9B를 능가했으며, InfiMed2-27B는 73.72%를 기록하여 평가된 오픈 가중치(open-weight) 모델 중 가장 높은 성능을 달성했습니다.

arXiv:2609.24057v1cs.AI공통 태그 Retrieval, Medical Image Analysis

다중모달 대규모 언어 모델을 활용한 의료 영상 해석을 위한 표현 유도 문맥 내 학습

Representation-guided in-context learning for medical image interpretation with multimodal large language models

의료 영상 해석은 진단과 치료의 핵심이지만, 범용 다중모달 대규모 언어 모델(MLLM)을 적용하려면 종종 자원 집약적인 도메인 특화 미세조정(fine-tuning)이 필요하다. 본 연구에서는 작업 특화 매개변수 업데이트 없이 고정된 인코더를 사용하여 질의와 정렬된 예시를 검색하는 학습(training) 불필요 추론(inference) 프레임워크인 표현 유도 문맥 내 학습(RG-ICL)을 소개한다. 조직병리학, 방사선학, 망막 안저검사를 아우르는 8개 데이터셋에 걸쳐, RG-ICL은 문맥이 없는 경우 및 기존 문맥 내 학습(ICL) 대비 분류(평균 20%포인트 향상)와 시각적 질의응답(VQA)(평균 13%포인트 향상) 성능을 개선하여 학습 기반 비교 대상에 근접하거나 이를 능가했다. 몇 개의 사례를 검색했는지보다 어떤 사례를 검색했는지가 더 중요했다. 질의와 정렬된 6개의 사례가 무작위로 선택된 최대 32개의 사례보다 우수한 성능을 보인 반면, 고정되거나 무작위인 사례는 종종 정확도를 기준선(baseline) 이하로 떨어뜨렸다. VQA의 경우 참조 사례를 영상 콘텐츠와 질문 의도 모두에 정렬했을 때 추가적인 성능 향상이 나타났다. 이러한 결과는 의료 영상 해석에서 MLLM에 제시할 참조 사례를 선별하는 것이 모델을 재학습시키는 실용적인 대안임을 시사한다.

arXiv:2609.24937v3cs.CV공통 태그 Medical Image Analysis

흉부 방사선 사진 골 억제를 위한 확장 가능한 감독으로서 해부학 분해 흉부 CT 투영

Anatomy-Decomposed Chest Computed Tomography (CT) Projections as Scalable Supervision for Bone Suppression in Chest Radiographs

뼈 중첩은 흉부 X선 영상에서 이상 소견을 가릴 수 있으며, 짝지어진 학습 데이터의 부족은 지도 학습 기반 뼈 억제를 제한한다. 본 연구는 이러한 문제를 흉부 컴퓨터단층촬영(CT)을 성분 억제를 위한 짝지어진 지도 신호로 변환하는 디지털 재구성 방사선영상(DRR) 프레임워크로 해결한다. 새로운 뼈 분할 알고리즘을 통해 CT를 뼈, 폐를 제외한 연조직, 폐 성분으로 분해하고 각각을 별도로 투영한다. 이들의 가중 결합은 전체 DRR과 정확히 합산되는 픽셀 정합 성분 영상을 갖춘 합성 방사선영상을 만들어 낸다. 이러한 데이터로 학습한 모델은 대상 성분을 예측하고 나머지를 차감으로 복원하는 방식으로 뼈 또는 폐 성분을 억제하며, 실제 짝지어진 학습 데이터 없이도 실제 방사선영상으로 전이된다. 확장으로서, 실제 방사선영상에 대한 모델의 출력은 짝지어지지 않은 성분별 DRR 변환을 위한 목표 도메인을 제공하여, 해부학적 세부 구조를 유지하면서 외형 격차를 줄인다. 여러 공개 데이터셋에서 수행한 하위 검출 실험은 뼈 억제의 효용을 보여 주며, 그 이득은 뼈 중첩이 큰 이상 소견에 집중된다. 동일한 CT에 적용한 오픈소스 DRR 엔진과 비교할 때, 수정하지 않은 본 DRR은 현실감과 레이블 관련 해부 구조의 보존에서 대등한 수준을 달성하였으며, 변환된 DRR은 평가한 방법 중 가장 우수한 Fréchet inception distance(FID), 폐야 선명도, 원본 CT 해부 구조와의 일치도를 달성하였다. 모델 및 추론 코드: https://huggingface.co/qureaiorg/bone-suppression ; 변환된 투영 영상: https://huggingface.co/datasets/qureaiorg/ct2xr-projections.

arXiv:2610.02945v2cs.AI공통 태그 Retrieval

AI 지원 수학적 발견을 위한 연속 그래프 메모리와 커뮤니티 인프라

Continual Graph Memory and Community Infrastructure for AI-Assisted Mathematical Discovery

수학적 발견에는 부분적인 아이디어와 그 재사용을 뒷받침하는 증거를 보존하는 것이 필요하다. 본 논문은 모델이 수용한 주장과 의존 관계를 선별된 탐색과 분리하는 연속 그래프 메모리를 갖춘 연구 하니스인 Ansatz와, 이러한 작업을 검사하고 안내하며 점검하기 위한 커뮤니티 플랫폼인 Ansatze를 제시한다. First Proof에서 Ansatz는 10문제씩 두 배치 각각에서 국소 검증기 종결 9건을 기록했으며, Second Batch의 부분 결과 하나도 연구의 기준에 따라 통과로 계산되었다. 이러한 모델 평가 결과에는 지속된 탐색이 포함되어 있으며 전문가 검증과는 다르다. 구성 요소 연구와 재검토는 불일치와 그 의존 관계의 파급 범위를 드러낸다. 미해결 문제 탐구에서는 후보 결과가 도출되었으며, 다섯 건의 Lean 형식화가 보고되었다. 이 플랫폼은 문제 발견, 연구 기록, 원고 분석, 형식 검증을 연결하면서 서로 구별되는 증거 상태를 보존한다. 이러한 시스템들은 지속적인 탐구와 검사 가능한 기여를 통해 인간-AI의 누적적 연구를 뒷받침한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.