arXiv:2609.27511v1 cs.CV

NV-Reason-CT: 3D Visual Language Model for CT Analysis

Andriy Myronenko, Dong Yang, Yucheng Tang, Baris Turkbey, Benjamin Simon, Stephanie Harmon, Rikhil Makwana, Mariam Aboian, Sena Azamat, Ibrahim Ethem Hamamci, Sezgin Er, Bjoern Menze, Marc Edgar, Yufan He, Pengfei Guo 외 1명

제출 2026-09-24

한국어 초록

NV-Reason-CT: CT 분석을 위한 3D 비전-언어 모델 {"title_ko": "NV-Reason-CT: CT 분석을 위한 3D 비전-언어 모델", "abstract_ko": "본 논문은 흉부 및 복부 CT를 위한 생성형 비전-언어 모델인 NV-Reason-CT를 제안한다. 이 모델은 네이티브 3D 시각 인코딩과 방사선 전문의가 안내한 추론(reasoning)을 결합한다. 네이티브 3D 비전 트랜스포머와 언어 모델을 결합하며, 추가적인 공간 토큰 병합 없이 모든 시각 토큰과 그 명시적 3D 좌표를 언어 디코딩에 전달한다. 이를 통해 비전 인코더 내부와 텍스트와의 공동 처리 과정에서 언어 모델의 위치 인코딩(positional encoding)을 거치며 체적(volumetric) 공간 정보를 유지한다. 70,111개의 고유 CT 영상 입력에서 수집한 약 55만 건의 멀티모달 지시(instruction) 예시로 구성된 큐레이션 코퍼스에서 학습하며, 표준화된 리포트, 이상 소견 중심 및 해부학 특화 질문, 다중 턴 상호작용, 녹음·전사된 전문가 CT 판독에서 도출한 방사선 전문의 작성 추론을 결합한다. 전문가 주석은 직접 지도(supervision)를 제공하고 리포트에 근거한 추가 합성 추론을 안내한다. End-to-end 지도 미세조정(SFT) 이후 흉부·복부 이상 소견 집합에 대한 검증 가능한 보상(verifiable rewards)을 사용한 Group Relative Policy Optimization(GRPO)을 수행한다. 모델은 이상 소견 분류, 리포트 생성, 검토 가능한 관찰·감별 진단·불확실성을 포함한 대화형 추론을 지원한다. 평가는 공개 CT 벤치마크와 홀드아웃 NIH 코호트에 걸쳐 이루어진다. CT-RATE에서 NV-Reason-CT는 과제별 분류 헤드 없이 macro-F1 0.614, macro-AUROC 0.871을 달성하며, 생성 리포트는 리포트 기반 macro-F1 0.592를 기록한다. 방사선 전문의를 대상으로 한 예비 연구에서 AI 보조 검토는 긍정적인 신뢰도 평가를 받았고, 평균 보고된 판독·리포팅 시간 50% 감소와 연관되었다. 체적 의료 영상을 위한 설명 가능 AI(explainable AI)의 재현 가능한 연구를 지원하기 위해 모델과 학습 코드를 공개한다."}

원문 초록

We present NV-Reason-CT, a generative vision--language model for chest and abdominal CT combining native 3D visual encoding with radiologist-guided reasoning. The model couples a native 3D vision transformer with a language model, passing all visual tokens and their explicit 3D coordinates into language decoding without further spatial token merging. This retains volumetric spatial information within the vision encoder and through the language model's positional encoding during joint processing with text. We train on a curated corpus of approximately 550,000 multimodal instruction examples from 70,111 unique CT image inputs, combining standardized reports, abnormality-focused and anatomy-specific questions, multi-turn interactions, and radiologist-authored reasoning from recorded and transcribed expert CT interpretations. Expert annotations provide direct supervision and guide additional report-grounded synthetic reasoning. End-to-end supervised fine-tuning (SFT) is followed by Group Relative Policy Optimization (GRPO), with verifiable rewards over chest and abdominal abnormality sets. The model supports abnormality classification, report generation, and interactive reasoning with reviewable observations, differential diagnoses, and uncertainty. Evaluation spans public CT benchmarks and a held-out NIH cohort. On CT-RATE, NV-Reason-CT achieves a macro-F1 of 0.614 and macro-AUROC of 0.871 without a task-specific classification head; generated reports achieve a report-derived macro-F1 of 0.592. In a preliminary study with expert radiologists, AI-assisted review received favorable confidence ratings and was associated with a 50% reduction in average reported interpretation and reporting time. We release the model and training code to support reproducible research on explainable AI for volumetric medical imaging.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.27511v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15810v1cs.CV공통 태그 Reinforcement Learning, Visual Question Answering

적응적 보기, 유연한 사고: 멀티모달 추론에서 어떻게, 얼마나 길게 생각할지 학습하기

Adaptive Look, Flexible Thought: Learning How and How Long to Think in Multimodal Reasoning

긴 사고의 연쇄(Chain-of-Thought, CoT) 추론과 외부 도구의 도입은 일반 작업과 추론 작업에서 멀티모달 대규모 언어 모델(MLLM)의 성능을 크게 향상시켰다. 그러나 기존의 빠르고-느린(fast-slow) 추론 패러다임은 주로 텍스트 추론의 길이를 조절하는 데 그치며, 외부 도구나 비주얼 토큰에 의해 도입되는 시각적 연산은 흔히 보조적인 구성 요소로 취급된다. 이러한 분리는 MLLM이 시각적 지각(visual perception)과 텍스트 추론을 함께 최적화하는 것을 가로막는다. 이 문제를 해결하기 위해, 우리는 연산의 형태와 깊이를 함께 최적화하는 통합 추론 프레임워크인 L2T(adaptive Look, flexible Thought)를 제안한다. L2T는 먼저 도구가 생성한 시각적 상태를 비주얼 토큰으로 이산화(discretize)하여, 시각적 지각과 텍스트 추론을 공유된 자기회귀(autoregressive) 공간으로 통합한다. 이러한 통합된 표현을 기반으로, L2T는 적절한 추론 모드를 선택하기 위한 모달리티 인지 라우팅 보상(modality-aware routing reward)과 과제의 복잡도에 따라 추론 깊이를 조정하는 난이도 인지 빠르고-느린 전략(difficulty-aware fast-slow strategy)을 도입한다. 일반적인 지각 작업과 추론이 집중적으로 필요한 작업에 대한 실험은 L2T의 효과를 입증한다. 명시적으로 도구를 호출하는 접근법과 비교할 때, L2T는 경쟁력 있는 성능을 유지하면서도 1.7~3.6배 높은 처리량(throughput)을 달성한다.

arXiv:2609.37605v2cs.CV공통 태그 Medical Image Analysis, computed tomography ct

TomoTransformer: CT 재구성을 위한 파운데이션 모델을 향하여

TomoTransformer: Towards a Foundation Model for CT Reconstruction

지도 심층 학습(supervised deep learning)은 희소 뷰 단층 촬영 재구성(sparse-view tomographic reconstruction) 분야를 발전시켰습니다. 그러나 일반적으로 여과 역투영(FBP) 이미지나 사이노그램(sinogram)을 깨끗한 재구성 이미지로 매핑하는 기존 모델들은 분포 변화(distribution shift)에 취약합니다. 투영 횟수 및 각도, 검출기 해상도 또는 데이터 분포가 변경될 때마다 재학습이 필요하기 때문에, 실제 응용 분야에서의 배포는 여전히 제한적입니다. 이를 해결하기 위해 본 논문에서는 각 국소(local) 여과 투영을 개별 토큰으로 취급하고 셀프 어텐션(self-attention)을 통해 누락된 뷰를 예측하는 트랜스포머 기반 아키텍처인 TomoTransformer를 소개합니다. 결정적으로, TomoTransformer는 공간적 위치 전반에 걸쳐 투영을 분리하는 역투영 공간(back-projection space)에서 작동하므로, 뷰 보간이 기하학적으로 적절한 조건(well-posed)을 갖추고 검출기 크기에 불변하도록 만듭니다. 이러한 설계를 통해 재학습 없이도 임의의 각도 위치 및 검출기 크기에서 임의의 개수의 입력 투영을 처리하고, 임의의 개수의 목표 각도를 쿼리할 수 있는 단일 파운데이션 모델이 구현됩니다. 다양한 의료 CT 해부학적 구조와 자연 이미지를 포괄하는 대규모 데이터셋으로 학습된 TomoTransformer는 여러 해부학적 구조, 재료 및 해상도 전반에 걸쳐 효과적으로 일반화됩니다. 여러 벤치마크 희소 뷰 데이터셋에 대한 광범위한 평가 결과에 따르면, TomoTransformer는 ViewTrans와 같은 동시대의 다목적 모델을 크게 능가하며, 입력 및 목표 투영 수에 완전히 구애받지 않으면서도 강력한 특정 프로토콜 전용 베이스라인과 대등하거나 이를 능가하는 성능을 보입니다. 나아가 이 모델은 X선 방사광 가속기에서 수집된 실제 실험 나노스케일 뇌 데이터에서 강력한 제로샷(zero-shot) 일반화를 입증하여 실제 응용 분야에서의 실용성을 보여줍니다.

arXiv:2610.01135v2cs.CV공통 태그 Medical Image Analysis, computed tomography ct

RSNA 뇌동맥류(RSNA-ICA) 데이터셋

The RSNA Intracranial Aneurysm (RSNA-ICA) Dataset

뇌동맥류 파열은 상당한 이환율 및 사망률과 관련이 있지만, 특히 작은 병변이거나 비혈관조영 일반 영상 검사에서는 동맥류 탐지가 여전히 까난한 과제로 남아 있습니다. 뇌동맥류 탐지 및 위치 식별을 위한 인공지능(AI) 알고리즘의 개발과 평가를 지원하고자 북미영상의학회(RSNA)는 미국신경영상의학회(ASNR), 신경중재수술학회(SNIS), 유럽신경영상의학회(ESNR)와의 협력을 통해 RSNA 뇌동맥류(RSNA-ICA) 데이터셋을 구축했습니다. 2025 RSNA 뇌동맥류 탐지 챌린지(RSNA Intracranial Aneurysm Detection Challenge)를 위해 개발된 RSNA-ICA는 5개 대륙 12개국 21개 기관에서 수집한 4,278명의 성인 환자로부터 얻은 7,202건의 CTA, MRA 및 MRI 시리즈로 구성된 대규모의 공개 전문가 주석 데이터셋입니다. 이 데이터셋은 낭상 뇌동맥류가 있거나 없는 환자들의 CTA 2,566건, MRA 2,166건, MRI 2,470건 시리즈를 포함하여 상당한 지리적 및 영상학적 다양성을 제공합니다. 전문가 주석에는 동맥류의 유무와 위치가 모두 표시되어 있으며, 178건의 시리즈에는 챌린지에서 정의한 혈관 위치에 대한 3차원 분할(segmentation)이 추가로 포함되어 있습니다. RSNA-ICA는 2025 RSNA 뇌동맥류 탐지 챌린지에서 알고리즘을 개발하고 평가하는 데 사용되었습니다. 7,202건의 영상 시리즈 중 5,041건은 MIRA를 통해 공개되어 있으며, 나머지는 챌린지의 공개 및 비공개 테스트 세트로 사용되었습니다. 이 데이터셋은 비상업적 용도에 한해 연구 커뮤니티에 무료로 제공되며, 혈관조영 검사와 일반 신경영상 검사 전반에서 AI 기반 동맥류 탐지를 발전시키기 위한 종합적인 리소스를 제공합니다.

arXiv:2610.02375v1cs.CV공통 태그 Medical Image Analysis, computed tomography ct

EviDent-CBCT: 비소진적 판독문 지도하의 치과용 CBCT 기반 근거 병목 판독문 생성

EviDent-CBCT: Evidence-Bottlenecked Report Generation from Dental CBCT under Non-Exhaustive Report Supervision

치과악안면 콘빔 CT(CBCT) 판독문은 단일 3D 스캔으로부터 수십 가지의 치아별, 해부학적 및 공간적 소견을 포함할 수 있습니다. 일상적인 판독문이 영상 소견을 소진적(exhaustively)으로 빠짐없이 기록하지 않을 수 있고, 언급되지 않은 항목이 병변의 부재 또는 단순 미보고 중 어느 쪽이든 반영할 수 있기 때문에 제한된 임상 데이터로부터 이러한 판독문을 생성하도록 학습(training)시키는 것은 어렵습니다. 본 논문에서는 이러한 불완전한 지도를 위해 설계된 근거 병목(evidence-bottlenecked) 프레임워크인 EviDent-CBCT를 제안합니다. 해부학 인식 네트워크는 각 CBCT 스캔을 치아 수준, 전역적(global), 그리고 치아-하치조신경관(tooth-IAC) 근거의 이산형 기록으로 매핑합니다. 치과 논리 일관성 투영(dental-logic consistency projection)은 호환되지 않는 근거를 조율하며, 이후 결정론적 렌더러와 이미지를 보지 않는 로컬 언어 모델(language model)이 오직 이 기록만을 사용하여 판독문을 생성합니다. 치아 수준 근거의 경우 신뢰도 인식 학습은 유효한 미언급 항목을 가중치(weight)가 감소된 음성 샘플로 사용하는 반면, 보고되지 않은 전역적 및 치아-하치조신경관 라벨은 미상(unknown)으로 유지합니다. 금속 감응형 입력 채널은 치과 재료의 강도 단서를 보존합니다. 3회의 검증(validation) 실행 전반에서 EviDent-CBCT는 병합 근거 세트 F1 0.666±0.006 및 RadFact-Lite-Dental 논리 F1 0.402±0.003을 달성하여, 가장 강력한 통제된 직접 기준선(baseline) 모델(model)의 0.371±0.018 대비 우수한 성능을 보였습니다. ODIN 2026 챌린지 숨겨진 테스트 세트에서 본 방법은 자동 평가 2위, 블라인드 임상 아레나 비교 3위를 기록했습니다. 이러한 결과는 이산형 근거 기록이 CBCT 판독문 생성을 위한 효과적이고 감사 가능한(auditable) 인터페이스임을 뒷받침합니다.

arXiv:2610.02382v1cs.CV공통 태그 Medical Image Analysis, computed tomography ct

FactorSplat: 의료 볼륨 렌더링을 위한 외관 제어 가능한 가우시안 프록시

FactorSplat: Appearance-Controllable Gaussian Proxies for Medical Volume Rendering

전이 함수(TF)는 의료 볼륨 렌더링에서 색상과 가시성을 제어하지만, 이미지로 학습된 가우시안 프록시는 일반적으로 하나의 전이 함수만을 외관에 고정(bake)해 둡니다. 본 논문에서는 추론(inference) 시 영역별 강도-RGBA 곡선을 입력받는 씬별 N차원 가우시안 스플래팅(N-DGS) 프록시인 FactorSplat을 제시합니다. 로컬 룩업(lookup)은 제작된 색상 및 불투명도 변화를 적용하는 한편, 공유 함수형 인코더와 가우시안별 저순위 팩터는 잔여 외관 반응을 학습합니다. 기하학적 구조와 방향성 외관은 프리셋 전반에 걸쳐 공유되며, 가시성 제어 및 TF 인식 가지치기(pruning)를 통해 구조를 숨기거나 드러내는 기능을 유지합니다. 7개의 CT 및 MR 스캔에서 FactorSplat은 검증(validation), 보간, 미확인 조합, 분포 외(OOD) 편집 전반에 걸쳐 영역 인식 VEG 대비 평균 PSNR과 변경 영역 오차를 개선합니다. 이 네 가지 분할 전반에서 7개 스캔의 VEG 대비 평균 PSNR 향상은 1.10에서 1.52 dB에 이릅니다. 스캔당 하나의 체크포인트(checkpoint)로 재학습 없이 미확인 편집을 지원합니다. $1600^2$ 해상도에서 캐시된 고속 렌더러는 1.17 ms의 TF 전환과 함께 평균 524 FPS를 달성합니다. 프로젝트 페이지: https://gaozhongpai.github.io/FactorSplat/.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.