arXiv:2606.27084v1 cs.CV

Pseudo-Text-Conditioned 3D Grounding DINO for Organ Localization in Abdominal CT

Siqi Chen, Han Gong, Keyi Hou, Jingxuan Yang, Sheethal Bhat, Andreas Maier

제출 2026-06-25

원문 초록

Reliable organ localization in abdominal CT can provide spatial priors for downstream trauma analysis. We propose CT-3GDINO, a lightweight 3D detector that adapts a Grounding-DINO-style query-based architecture to fixed organ localization using frozen pseudo-text class tokens instead of a real text encoder. The model combines a Swin3D visual backbone, bidirectional feature enhancement, pseudo-text-guided query selection, and a cross-modality decoder to predict normalized 3D boxes for liver, spleen, left kidney, right kidney, and bowel. We train and evaluate on 193 matched RSNA/RATIC CT volumes with segmentation-derived boxes. The best multi-scale model, trained from scratch, achieves 0.5830 overall top-1 class-wise mAP over 3D IoU thresholds from 0.1 to 0.7, outperforming fixed- and trainable-backbone classification-pretrained variants with 0.5570 and 0.4657 mAP. Performance is strong for coarse localization, with 0.9649 AP at IoU 0.1, but remains limited for strict box alignment, with 0.1552 AP at IoU 0.7. These results establish CT-3GDINO as an open-source baseline for pseudo-text-conditioned 3D organ localization and motivate future work on localization-aware pretraining, richer multimodal conditioning, and injury-focused detection.

요약

복부 CT에서 간·비장·신장·장 등 장기의 3D 위치를 찾는 문제를 위해, Grounding DINO 스타일의 쿼리 기반 3D 검출기 CT-3GDINO를 제안하며 실제 텍스트 인코더 대신 고정된 pseudo-text 클래스 토큰과 Swin3D 백본, 양방향 특징 강화, 교차 모달 디코더를 결합한다. RSNA/RATIC 193개 CT 볼륨에서 평가한 결과, 처음부터 학습한 다중 스케일 모델이 전체 class-wise mAP 0.5830을 달성해 분류 사전학습 변형을 능가했고, IoU 0.1에서는 0.9649 AP로 거친 위치 추정은 강하지만 IoU 0.7에서는 0.1552 AP로 정밀 박스 정렬은 제한적이다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.27084v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01135v2cs.CV공통 태그 Anatomy, Object Detection, Medical Image Analysis, computed tomography ct

RSNA 뇌동맥류(RSNA-ICA) 데이터셋

The RSNA Intracranial Aneurysm (RSNA-ICA) Dataset

뇌동맥류 파열은 상당한 이환율 및 사망률과 관련이 있지만, 특히 작은 병변이거나 비혈관조영 일반 영상 검사에서는 동맥류 탐지가 여전히 까난한 과제로 남아 있습니다. 뇌동맥류 탐지 및 위치 식별을 위한 인공지능(AI) 알고리즘의 개발과 평가를 지원하고자 북미영상의학회(RSNA)는 미국신경영상의학회(ASNR), 신경중재수술학회(SNIS), 유럽신경영상의학회(ESNR)와의 협력을 통해 RSNA 뇌동맥류(RSNA-ICA) 데이터셋을 구축했습니다. 2025 RSNA 뇌동맥류 탐지 챌린지(RSNA Intracranial Aneurysm Detection Challenge)를 위해 개발된 RSNA-ICA는 5개 대륙 12개국 21개 기관에서 수집한 4,278명의 성인 환자로부터 얻은 7,202건의 CTA, MRA 및 MRI 시리즈로 구성된 대규모의 공개 전문가 주석 데이터셋입니다. 이 데이터셋은 낭상 뇌동맥류가 있거나 없는 환자들의 CTA 2,566건, MRA 2,166건, MRI 2,470건 시리즈를 포함하여 상당한 지리적 및 영상학적 다양성을 제공합니다. 전문가 주석에는 동맥류의 유무와 위치가 모두 표시되어 있으며, 178건의 시리즈에는 챌린지에서 정의한 혈관 위치에 대한 3차원 분할(segmentation)이 추가로 포함되어 있습니다. RSNA-ICA는 2025 RSNA 뇌동맥류 탐지 챌린지에서 알고리즘을 개발하고 평가하는 데 사용되었습니다. 7,202건의 영상 시리즈 중 5,041건은 MIRA를 통해 공개되어 있으며, 나머지는 챌린지의 공개 및 비공개 테스트 세트로 사용되었습니다. 이 데이터셋은 비상업적 용도에 한해 연구 커뮤니티에 무료로 제공되며, 혈관조영 검사와 일반 신경영상 검사 전반에서 AI 기반 동맥류 탐지를 발전시키기 위한 종합적인 리소스를 제공합니다.

arXiv:2609.26924v1cs.CV공통 태그 Object Detection, Medical Image Analysis, computed tomography ct

nnFoundation: 방사선학을 위한 3D 파운데이션 모델

nnFoundation: 3D Foundation Models for Radiology

방사선 인공지능은 빠르게 발전했으나, 대부분의 시스템은 여전히 좁은 범위의 과제에 특화되어 있고 데이터 집약적이며 도메인 이동(domain shift) 환경에서 취약하다. 파운데이션 모델은 더 전이 가능하고 데이터 효율적인 해결책을 약속하지만, 기존 접근은 규모가 제한적이고 평가 범위가 좁으며, 종종 단일 사전학습 모델이 다양한 다운스트림 과제를 지원할 수 있다고 가정한다. 본 연구에서는 상보적인 합성곱 및 트랜스포머 기반 3D 방사선학 파운데이션 모델 nnFoundation을 제시한다. Human Radiome Project(THRP) 내에서 개발된 nnFoundation은 125개의 기관 및 공개 데이터셋으로부터 2.1백만 건의 CT, MRI, PET 영상 볼륨으로 학습되었다. 세그멘테이션, 검출, 분류, 리포트 생성, 이미지 검색에 이르는 108개 과제에서 이를 평가했으며, 도메인 이동 하에서의 평가, 외부 파트너에 의한 평가, 저데이터 및 저연산 환경에서의 평가를 포함한다. 모든 과제 유형에서 합성곱 및 트랜스포머 기반 nnFoundation 모델은 기존 3D 파운데이션 모델과 처음부터 학습하는 방법 모두를 일관되게 능가하여 방사선 영상 분야 최신(state-of-the-art) 성능을 확립했다. 다만 성능은 일관된 과제 의존적 구조를 따른다. 합성곱 nnFoundation 모델은 공간적으로 국한된 과제에서 우세하고, 트랜스포머 기반 nnFoundation 모델은 전역적 의미 추론이 필요한 과제와 고정 특징(frozen-feature) 설정에서 뛰어나다. 사후적으로 파운데이션 모델 토폴로지를 데이터셋 특성에 동적으로 정렬하면 이질적인 3D 환경에서의 전이를 더욱 개선한다. 이러한 결과는 전이 가능한 3D 방사선학 성능이 단일 범용 모델이 아니라 확장 가능한 사전학습, 상보적 아키텍처, 데이터셋 인지 적응의 상호작용에 의해 좌우됨을 보여준다. nnU-Net 및 nnDetection에 통합된 nnFoundation 모델을 공개하여 기존 방사선학 워크플로에 즉시 적용할 수 있게 한다.

arXiv:2609.27681v1cs.CV공통 태그 Anatomy, Object Detection, Medical Image Analysis

CasCVS-Net: 안전 핵심 시야(Critical View of Safety) 평가를 위한 단계별 다중 작업 캐스케이드

CasCVS-Net: A Staged Multi-Task Cascade for Critical View of Safety Assessment

복강경 담낭절제술에서 안전 핵심 시야(Critical View of Safety, CVS)의 자동 평가는 세 가지 CVS 기준의 인식과, 크기가 작고 드물며 종종 가려진 담낭-간(hepatocystic) 구조에 대한 해부학적 그라운딩(grounding)을 모두 요구한다. 학습 기반 방법들은 이미지 수준 분류에서 검출, 분할, 또는 그래프 기반 추론에 이르기까지 사용하는 해부학적 정보가 다르지만, 안전에 중요한 해부학 구조의 그라운딩은 여전히 주요 병목으로 남아 있다. 우리는 Endoscapes 데이터셋으로 학습된, 객체 검출, 의미 분할(semantic segmentation), CVS 평가를 공동으로 수행하는 단계별 다중 작업 캐스케이드 CasCVS-Net을 제안한다. 모델은 예측된 해부학을 통해 작업들을 결합한다. 예측된 박스가 분할을 안내하고, 예측된 마스크가 CVS 분류를 위한 영역 수준 특징을 제공하므로, 추론 시 CVS 평가는 정답 주석(ground-truth annotation)이 아닌 모델 예측만을 사용한다. 이 결합 설정에서 최적화(optimization) 불안정성을 줄이기 위해 학습은 검출에서 검출-분할로, 이어서 전체 세 작업 캐스케이드로 진행한 뒤 작업별 미세조정을 수행한다. 공개된 미공개 테스트 세트에 대한 평가는 CasCVS-Net이 세 작업 모두에서 대응되는 단일 작업 기준선보다 개선되며, 검출 mAP 32.0, 의미 mIoU 46.8, 드문 해부학 mIoU 15.3, CVS mAP 67.2를 달성함을 보여준다. 최첨단 LG-CVS 및 SV2LSTG보다 상대 CVS mAP 기준 각각 6.3% 및 4.5% 우수하며, 이는 각각 4.0 및 2.9 mAP 포인트에 해당한다. 이러한 결과는 예측된 박스와 마스크를 통한 단계적 작업 결합이 CVS 평가, 특히 드문 담낭-간 구조에 대한 해부학적 그라운딩을 개선함을 보여준다.

arXiv:2609.27848v1cs.CV공통 태그 Anatomy, Medical Image Analysis, computed tomography ct

전신 감쇠 보정을 위한 기하학 앵커 기반 PET 인식 멀티모달 의사 CT 합성: BIC-MAC 챌린지

Geometry-anchored PET-aware multimodal pseudo-CT synthesis for whole-body attenuation correction: the BIC-MAC Challenge

BIC-MAC 챌린지는 CT 없는 PET 감쇠 보정(attenuation correction)을 위해 NAC-PET, Dixon MRI, 2D 토포그램(topogram)으로부터 전신 의사 CT(pseudo-CT)를 합성하는 것을 목표로 합니다. 본 논문에서는 NAC-PET를 공간적 기준(spatial reference)으로 사용하고 게이트 잔차 융합(gated residual fusion)을 통해 토포그램 및 MRI 특징을 통합하는 기하학 앵커 기반 멀티모달 프레임워크인 GeoPACT를 제안합니다. 절대 좌표와 전신 조건화(whole-body conditioning)는 해부학적으로 일관된 패치 기반 예측을 지원합니다. 학습(training)은 다운스트림 PET 재구성 관련 오차를 줄이기 위해 감쇠 맵 지도(attenuation-map supervision)와 미분 가능한 PET 반응 대리 모델(PET-response surrogate)을 결합합니다. 테스트 시점에서는 CT나 PET 레이블 없이도 슬라이딩 윈도우 추론(inference)을 사용하여 전체 해상도 의사 CT 볼륨을 생성합니다.

arXiv:2609.22760v1cs.AI공통 태그 Anatomy, Medical Image Analysis, computed tomography ct

CTSpinoPelvic1K: 단일 좌표계의 척추·골반·늑골·대퇴골, 요천추 전환부 해부학 주석

CTSpinoPelvic1K: spine, pelvis, ribs and femora in one coordinate frame, annotated for lumbosacral transitional anatomy

목적: 요천추 접합부 천추는 전체 척추 영상에서 C2부터 caudal 방향으로 세어 이름을 붙이지만, 요추 수술 계획은 C2 없이 요추만 영상(T12–S1)으로 세운다. 복부·골반 CT는 그 구간에 최하위 늑골과 골반까지 포함한다. 요천추 전환 천추(lumbosacral transitional vertebra, LSTV)가 개수를 바꾸면 국소 해부는 모호해진다. 늑골 없는 천추가 네 개이면 요추 늑골을 동반한 L1일 수도 있고 천골에 동화된 L5일 수도 있으며, 여섯 개이면 제6요추, 무형성 늑골을 동반한 T12, 또는 요추화된 S1일 수 있다. CTSpinoPelvic1K는 개수 없이 국소 형태만으로 이를 판별할 수 있는지 묻는다. CTSpine1K의 천추와 CTPelvic1K의 골반은 동일 환자를 각각 다뤘으나 결합되지 않았고, 본 공개판은 한 시리즈에서 이를 결합하고 어느 쪽에도 없던 골을 추가한다. 802건의 CT 기록을 제공하며, 레벨별 늑골·대퇴골, 최하위 늑골 부착 천추와 S1에 고정된 레벨, L6·T13·분리된 S1·요추 늑골 클래스를 두어 이상을 그대로 기록한다. 취득 및 검증 방법: 각 환자의 골량이 가장 많은 시리즈에서 VerSe-native 체계 하에 CTSpine1K와 CTPelvic1K 라벨을 짝지었다. 검증은 기하 불변량(802/802 통과), 5,749개 늑골에 대한 늑골–천추 대응(0.035% 오차), 문헌값과 일치하는 척골–골반 측정을 포함했다. 데이터 형식 및 사용 안내: 환자 단위 그룹·LSTV 계층화 5-fold 분할과 로더가 있는 NIfTI 영상/라벨 쌍; https://doi.org/10.5281/zenodo.22139642 에 보관. 잠재적 응용: 국소 특징으로부터 천추 분류, cadaveric 형태계량 갱신, 척골–골반 평가, 기회적 스크리닝, 공개 수술 전 요추 코호트가 없는 상황에서의 수술 계획 연구(377건 prone). 한계: 흉추 ground truth는 시야(field-of-view) 제한, 자세 각도는 supine, 별도 test set 없음, 늑골은 triaged-review 의사라벨, Castellvi 등급은 33건에 대한 두 판독자 합의.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.