저데이터 환경에서 자동 국소 피질 이형증 검출에 미치는 합성 병변 MR 영상의 영향
Impact of Synthetic Lesional MR Images in Automated Focal Cortical Dysplasia Detection in Low-Data Scenarios
한국어 초록
배경 및 목적: 국소 피질 이형증(FCD)의 자동 검출에는 대량의 복셀 단위 병변 경계 MRI 데이터가 필요하며, 이를 확보하기 어렵다. 본 연구는 FCD를 나타내는 합성 MRI 데이터를 생성하고, 그 사실성을 평가하며, 특히 수동 주석의 필요성을 줄이는 측면에서 자동 FCD 검출에 미치는 영향을 평가하는 것을 목표로 한다. 방법: 3개 기관의 FCD 환자 131명과 건강 대조군 90명의 T1 가중(T1w) 및 T2 가중 억액 반전 회복(Fluid-Attenuated Inversion Recovery, FLAIR) MRI 스캔을 후향적으로 연구하였다. 합성 MRI는 이진 FCD 마스크에 조건을 걸어 생성 네트워크로 생성하였다. 두 명의 신경 방사선과 전문의가 무작위로 구성된 14장의 실제 스캔과 14장의 합성 스캔 중 실제 영상을 식별하였다. FCD 검출을 위해 3개의 nnU-Net 모델을 학습하였다: (i) 실제 데이터만(35 FCD / 35 대조군), (ii) 실제 데이터(35 FCD / 35 대조군)와 합성 증강, (iii) 확장된 실제 데이터(70 FCD / 70 대조군). 결과: 전문가들은 실제 영상과 합성 영상을 구분하는 능력이 제한적이었으며, T1w에서 분류 정확도 60%, FLAIR에서 70%였다(평가자 간 일치도 kappa = 0.86). 합성 데이터로 자동 FCD 검출을 증강하면 민감도가 8.14% 증가하였고(p = 0.12), 실제 병변 부위에서의 모델 신뢰도가 향상되었다(0.83 ± 0.11에서 0.89 ± 0.12; p = 0.02). 확장된 실제 데이터 모델은 민감도를 73.8%까지(p < 0.001), 신뢰도를 0.90 ± 0.14까지(p = 0.01) 더욱 향상시켰다. 결론: 조건부 생성 네트워크는 사실적인 합성 FCD-MRI를 생성할 수 있으며, 동등한 민감도를 유지하면서 라벨링된 데이터 필요량을 약 20% 줄일 수 있다. 이용 가능한 경우, 동등한 양의 실제 데이터가 합성 증강보다 여전히 더 효과적이다.
원문 초록
Background and Purpose: Automated detection of focal cortical dysplasia (FCD) requires large volumes of voxelwise lesion-delineated MRI data, which are difficult to acquire. This study aims to generate synthetic MRI data exhibiting FCD, assess their realism, and evaluate their impact on automated FCD detection, particularly in reducing the need for manual annotations. Methods: T1-weighted (T1w) and T2-weighted Fluid-Attenuated Inversion Recovery (FLAIR) MRI scans from 131 FCD patients and 90 healthy controls from multiple (3) sites were retrospectively studied. Synthetic MRIs were generated by conditioning a generative network on binary FCD masks. Two neuroradiologists identified real images from a random set of 14 real and 14 synthetic scans. Three nnU-Net models were trained to detect FCD using: (i) real-only (35 FCD / 35 controls), (ii) real (35 FCD / 35 controls) plus synthetic augmentation, and (iii) expanded real data (70 FCD / 70 controls). Results: Experts showed limited ability to distinguish real from synthetic images, with classification accuracy of 60% for T1w and 70% for FLAIR (inter-rater agreement kappa = 0.86). Augmenting automated FCD detection with synthetic data increased sensitivity by 8.14% (p = 0.12) and improved model confidence at true lesion sites (0.83 +/- 0.11 to 0.89 +/- 0.12; p = 0.02). The expanded real-data model further improved sensitivity to 73.8% (p < 0.001) and confidence to 0.90 +/- 0.14 (p = 0.01). Conclusion: Conditional generative networks can generate realistic synthetic FCD-MRIs, reducing labeled data needs by approximately 20% while maintaining equivalent sensitivity. Equivalent amounts of real data, when available, remain more effective than synthetic augmentation.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.07381v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합
FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology
병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.
MorphoBranch: 분지형 세포 구조의 형태학적 분석을 위한 미세 구조 보존 워크벤치
MorphoBranch: A Fine-Structure-Preserving Workbench for Morphometric Analysis of Branched Cellular Structures
배경 및 목적: 형광 표지된 세포 수지상 분지는 신경 세포 및 미세아교세포(microglia)의 형태에 대한 판독 정보를 제공하지만, 미세하고 약하게 표지된 돌기는 단편화 및 잘못된 연결이 발생하기 쉬워 스켈레톤 기반 측정에 바이어스를 유발합니다. 본 논문에서는 분지형 세포 구조의 형태계측을 위해 미세 구조를 보존하고 사람이 검토 가능한 워크벤치인 MorphoBranch를 제안합니다. 방법: MorphoBranch는 결정론적 형태계측 엔진(Morphometry Engine)과 LLM 보조 정제 엔진(Refinement Engine)을 결합합니다. 형태계측 엔진은 다중 스케일 구조 증거 추출, 히스테리시스 분할, 증거 제약 스켈레톤 정제 및 그래프 기반 형태계측을 통합하는 이미지-투-그래프(image-to-graph) 워크플로우를 구현합니다. 정제 엔진은 자연어 요청을 매개변수 조정, 미리보기 실행, 지표 보고 및 지원되지 않는 요청 처리를 위한 등록된 동작에 매핑하는 한편, 이미지 처리 및 정량적 계산은 결정론적이며 검토 가능한 상태로 유지됩니다. 결과: MorphoBranch는 두 개의 공개 신경 세포 축삭 데이터셋인 AxonMIP 및 AxonStack과 자체 구축한 미세아교세포 형광 이미지 데이터셋인 Cell-Morph에서 평가되었습니다. 세 데이터셋 모두에서 평가된 방법 중 가장 높은 Skeleton F1 및 clDice, 그리고 가장 낮은 길이 추정 오차를 달성했으며, AxonMIP 및 AxonStack에서는 가장 높은 Dice 및 IoU도 기록했습니다. 150개의 자연어 작업 전반에서 정제 엔진은 94.0%의 엔드투엔드 성공률을 달성했습니다. 결론: 이러한 결과는 MorphoBranch가 분지형 세포 구조의 형태학적 분석을 위한 재현 가능하고 사람이 검토할 수 있는 워크플로우를 제공함을 입증합니다. 또한 검사 가능하고 재현 가능한 분석 워크플로우를 유지하면서 신경 세포 축삭 및 미세아교세포 형광 이미지 전반에서 미세 구조를 보존하는 정량화를 지원합니다.
EndoLive: 내시경 경비강 두개저 수술 비디오를 위한 실시간 스타일 전이
EndoLive: Real-Time Style Transfer for Endoscopic Endonasal Skull Base Surgical Video
내시경 경비강 두개저 수술(endoscopic endonasal skull base surgery)과 같이 주요 해부학적 구조 주변에서 이루어지는 복잡한 수술 절차는 외과의가 실제 환자를 대상으로 수술을 집도하기 전에 상당한 연습과 훈련(training)을 거쳐야 합니다. 카다버(사체) 표본은 살아있는 사람과 동일한 중요 구조를 포함하고 있어 통상적으로 이러한 훈련에 활용됩니다. 그러나 카다버는 살아있는 환자를 완벽히 1대1로 대체하지는 못합니다. 카다버의 사후 보존된 조직은 살아있는 인간의 조직과 색상이 완전히 다르며, 복잡하고 값비싼 펌프 시스템이 없다면 동일한 방식으로 출혈이 발생하지도 않습니다. 그 결과, 이 수술을 매우 복잡하게 만드는 핵심 해부학적 구조를 식별하는 일은 실제 수술 사례와 외과의의 카다버 실습 간에 상당한 차이가 있을 수 있습니다. 본 논문에서는 카다버 내시경 비디오와 살아있는 사람의 내시경 비디오 간 실시간 스타일 전이(style transfer)를 위한 프레임워크인 EndoLive를 제시합니다. 본 연구의 방법은 수술 분야에 사실적인 스타일 전이를 제공하는 ConStructS 생성적 적대 신경망(GAN) 모델과, 복잡한 변환을 학습하여 실시간으로 수행할 수 있는 HyPER-GAN 모델을 결합합니다. 내시경으로 촬영한 비쌍(unpaired) 카다버 및 생체 이미지를 기반으로 EndoLive를 학습(training)하고, 학습된 모델을 다양한 장치에서 카다버 비디오로 테스트합니다. 실험 결과는 EndoLive가 주요 해부학적 구조의 의미적 일관성을 유지하면서도 실시간 처리에 필요한 최소 속도를 훨씬 웃도는 속도로 카다버-생체 변환을 수행할 수 있음을 입증합니다. 소스 코드는 https://github.com/griffhurt/endolive 에서 확인할 수 있습니다.
가상 조영증강 유방 MRI를 위한 병변-게이팅 하이브리드 합성: MAMA-SYNTH 챌린지 솔루션
Lesion-Gated Hybrid Synthesis for Virtual Contrast-Enhanced Breast MRI: A MAMA-SYNTH Challenge Solution
목적: 조영증강 유방 MRI는 정맥 내 가돌리늄 기반 조영제에 의존하며, 이는 조영 전(pre-contrast) 영상만으로 조영 후(post-contrast) 모습을 합성하는 방법에 대한 동기를 제공한다. MAMA-SYNTH 챌린지(MICCAI 2026 Deep-Breath 워크숍)는 이러한 합성을 영상 충실도(image fidelity), 종양 관심 영역(tumour region of interest), 다운스트림 분류, 다운스트림 분할(segmentation)의 네 가지 지표 그룹에 걸쳐 평가한다. 네 그룹의 순위는 평균화되므로, 단일 목적 함수를 최적화하는 것만으로는 충분하지 않다. 재료 및 방법: 우리는 병변-게이팅(lesion-gated) 하이브리드 합성 파이프라인을 개발했다. 조영 전 영상만을 사용하는 분할 네트워크 앙상블(ensemble)에 의해 조영 전 슬라이스만으로 추정된 병변 확률 지도는, 종양 중심 회귀(regression) 경로와 배경 중심 Pix2PixHD 합성 경로를 공간적으로 조율하며, 이후 예측된 조영증강에 대한 영역-의존적 보정이 이어진다. 학습(training)에는 환자 단위 분할을 적용한 공개 MAMA-MIA 데이터 수집을 사용했다. 추론(inference)은 단일 조영 전 2D 슬라이스만을 입력으로 사용하며, 마스크, 조영 후 영상, 영상 기하 정보 이외의 보조 메타데이터는 사용하지 않는다. 결과: 내부 검증(validation)(n = 120명의 환자)에서 이 방법은 MSE 0.523, LPIPS 0.185, 종양 영역 SSIM 0.495를 달성했다. 이 방법은 자체 완결형(self-contained) 추론 컨테이너 형태로 비공개 외부 300건 테스트 코호트에 제출되었다. 이 방법은 공식 MAMA-SYNTH 챌린지 리더보드에서 6위를 기록했다. 결론: 조영 전 영상으로부터 도출된, 테스트 시점에도 적용 가능한 병변 확률 지도는 상호 보완적인 종양 중심 회귀와 배경 중심 지각적 합성을 조율할 수 있으며, 이를 통해 다중 지표(multi-metric) 챌린지 환경에서 균형 잡힌 가상 조영증강을 가능하게 한다.
Spatial Action Review: 전자현미경에서의 언어-행동 전환(Language-to-Action Hand-off) 감사를 위한 시각적 분석 대시보드
Spatial Action Review: A Visual Analytics Dashboard for Auditing Language-to-Action Hand-offs in Electron Microscopy
멀티모달 대규모 언어 모델(MLLM)은 과학적 이미지 분석을 위한 인터페이스로 점점 더 많이 탐구되고 있으며, 여기서 시각 질의응답(VQA) 응답은 후속 단계를 안내하는 공간적 출력과 함께 제공될 수 있다. 감독자(supervisor)는 언어 답변을 읽는 반면, 분할(segmentation)이나 영역 검토와 같은 후속 워크플로우는 점 집합(point-set) 출력을 소비한다. 우리는 답변을 검토하는 것에서 그 점 행동(point action)에 의존하는 것으로의 이러한 전환을 언어-행동 전환(language-to-action hand-off)이라 부른다. 답변은 정확하지만 짝을 이루는 행동이 후속 단계에 필요한 주석 처리된 객체를 놓칠 때 침묵 실패(silent failure)가 발생하며, 이 경우 답변 기반 감독은 행동이 신뢰할 수 없는 영역을 통과시켜 버린다. 우리는 전자현미경(EM) 미토콘드리아 분석에서 이러한 실패 양상을 감사하기 위한 시각적 분석 대시보드인 Spatial Action Review를 소개한다. 이는 답변-행동 원장(answer-action ledger), 작업별-데이터셋별 위험 지도, 이미지-영역 감사 뷰를 통해 짝을 이루는 답변-행동 기록을 연결하여 집계 패턴을 이미지 증거와 연결하며, 조정 가능한 행동 신뢰성 게이트(action-reliability gate)가 재감사를 지원한다. 검토는 인간-AI 전환(human-AI hand-off)으로 마무리되며, 여기서 감독자는 행동이 수용되었는지, 상위로 보고(escalated)되었는지, 더 엄격한 게이트 하에 보류되었는지, 또는 모델 수정을 위해 표시되었는지를 기록한다. EM에 적응된 Qwen3-VL 사례 연구 실행에서 얻은 541개의 이미지 영역 전반에서, 점 행동은 VQA 응답이 정확한 기록의 54.4%에서 게이트를 통과하지 못했으며, 전체 기록의 27.4%가 침묵 실패였다. 정확한 답변은 신뢰할 수 있는 행동일 확률을 겨우 5.8퍼센트포인트 높이는 데 그쳤으며, 부트스트랩 구간(bootstrap interval)은 0을 포함했다. 답변 정확성과 객체 커버리지 간의 점-이연 상관계수(point-biserial correlation)는 0.061이었다. 이러한 약한 결합(weak coupling)은 753개의 일치된 이미지 영역에 대한 다섯 가지 모델 조건 전반에서 지속되었다. Spatial Action Review는 답변-행동 불일치를 가시화하고, MLLM 출력이 자율적인 과학 워크플로우에 투입되기 전에 이를 이미지 증거 및 기록된 결정과 연결한다.
Rethinking Dual-Stream Super-Resolution Semantic Learning in Medical Image Segmentation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.