A Generative Shape Compositional Framework to Synthesise Populations of Virtual Chimaeras
원문 초록
Generating virtual populations of anatomy that capture sufficient variability while remaining plausible is essential for conducting in-silico trials of medical devices. However, not all anatomical shapes of interest are always available for each individual in a population. Hence, missing/partially-overlapping anatomical information is often available across individuals in a population. We introduce a generative shape model for complex anatomical structures, learnable from datasets of unpaired datasets. The proposed generative model can synthesise complete whole complex shape assemblies coined virtual chimaeras, as opposed to natural human chimaeras. We applied this framework to build virtual chimaeras from databases of whole-heart shape assemblies that each contribute samples for heart substructures. Specifically, we propose a generative shape compositional framework which comprises two components - a part-aware generative shape model which captures the variability in shape observed for each structure of interest in the training population; and a spatial composition network which assembles/composes the structures synthesised by the former into multi-part shape assemblies (viz. virtual chimaeras). We also propose a novel self supervised learning scheme that enables the spatial composition network to be trained with partially overlapping data and weak labels. We trained and validated our approach using shapes of cardiac structures derived from cardiac magnetic resonance images available in the UK Biobank. Our approach significantly outperforms a PCA-based shape model (trained with complete data) in terms of generalisability and specificity. This demonstrates the superiority of the proposed approach as the synthesised cardiac virtual populations are more plausible and capture a greater degree of variability in shape than those generated by the PCA-based shape model.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
어디를 볼 것인가가 중요하다: 3D 의료 자기지도학습에서의 서브 볼륨 샘플링 재고
Where to Look Matters: Rethinking Sub-Volume Sampling in 3D Medical Self-supervised Learning
3D 의료 영상에서의 자기지도학습(self-supervised learning)은 일반적으로 사전학습(pre-training) 중 무작위 서브 볼륨(sub-volume) 샘플링에 의존합니다. 그러나 무작위 크롭(random cropping)은 해부학적 사전 지식과 공간적 중복성으로 인해 영역 간 표현 학습(representation learning) 가치가 본질적으로 불균등함에도 불구하고, 모든 공간 영역을 관찰할 가치가 동일한 것으로 암묵적으로 취급합니다. 이를 위해, 본 연구는 먼저 제어된 크롭 품질 조작 실험을 통해 더 나은 서브 볼륨이 더 우수한 다운스트림 전이(transfer)로 이어진다는 점을 보임으로써, 관찰 정책(observation policy)이 3D 의료 SSL에서 간과되어 온 병목 현상임을 밝힙니다. 이러한 발견에 착안하여 서브 볼륨 샘플링을 어디를 볼 것인가(\emph{where-to-look})의 문제로 재검토합니다. 우리는 무작위 크롭을 해부학 인식(\textit{anatomy-awareness}), 정보성(\textit{informativeness}), 다양성(\textit{diversity})에 기반한 오프라인 조-세밀(coarse-to-fine) 프로브 뱅크로 대체하는 플러그 앤 플레이 프레임워크인 \textbf{\method}를 제안합니다. 경량 볼륨 내재적 사전 지식만으로 충분한지, 혹은 더 풍부한 의미론적 단서가 신뢰할 수 있는 추가적인 가치를 제공하는지 검증하기 위해 기하학적 및 영상 통계적 단서를 활용하는 경량 변형인 \lite와 고정된 시각적 특징을 활용하는 진단 변형인 \feat로 \method를 구현합니다. 여러 3D 의료 SSL 백본 및 다운스트림 태스크에 걸친 광범위한 실험을 통해, \method-\lite가 무작위 샘플링 대비 전이 성능을 일관되게 향상시킴을 입증합니다. 나아가 메커니즘 분석을 통해 이러한 이득이 해부학적으로 더 타당하고 정보성이 높은 관찰, 감소된 공간적 중복성, 더 효율적인 학습 역학(learning dynamics), 그리고 더 구조화된 표현에 기인함을 밝힙니다.
유전적 발견을 위한 뇌 MRI의 표면-볼륨 자기지도 표현 학습
Surface-volume self-supervised representation learning of brain MRI for genetic discovery
뇌 영상에 대한 기존 전장 유전체 연관성 분석(GWAS)은 사전에 정의되었거나 딥러닝으로 도출된 영상 표현형을 제공하지만, 이러한 표현형은 볼륨(volumetric) 스캔 또는 대뇌 피질 표면 메시(cortical surface mesh) 중 하나에서만 추출되므로 각각 뇌 해부학적 구조의 유전적 변이 중 일부만을 포착합니다. 본 연구에서는 복셀 수준의 이미지 강도와 각 표면 정점(vertex)에서의 곡률 및 피질 두께를 포함한 피질 메시 기하학적 정보를 하나의 공유된 영상 특징 세트로 함께 인코딩하는 자기지도(self-supervised) 프레임워크인 MEVA(Mesh-Enhanced Volumetric Autoencoder)를 소개합니다. MEVA에서 메시와 볼륨 입력을 결합하면 두 입력 중 하나만 사용하는 모델에 비해 연령 및 성별 예측에서 소폭의 성능 향상을 얻을 수 있습니다. 이러한 특징들을 UK 바이오뱅크(UK Biobank)의 GWAS 표현형으로 활용했을 때, 볼륨만으로 학습된 특징이나 메시만으로 학습된 특징보다 더 많은 전장 유전체 유의 수준(genome-wide significant) 유전자 좌(loci)를 발견했습니다. 이러한 결과는 볼륨 기반 자기지도 학습에 대뇌 피질 표면 기하학을 추가함으로써 추가적인 유전적 변이를 포착하고 이를 통해 검출되는 유전자 좌의 수를 증가시킬 수 있음을 시사합니다.
해부학적으로는 충실하지만 시간적으로는 분산됨: 심초음파 기반 좌심실 박출률 추정을 위한 귀속(attribution) 검증
Anatomically Faithful but Temporally Diffuse: Auditing Attribution for Left-Ventricular Ejection-Fraction Estimation from Echocardiography
심층 비디오 모델은 심초음파(echocardiography)로부터 좌심실 박출률(EF)을 거의 전문가 수준의 정확도로 추정하며, 사후 귀속(attribution)은 이러한 모델이 올바른 위치를 보고 있는지를 검증하는 데 점점 더 많이 사용된다. EF는 수축기말(end-systolic, ES) 및 이완기말(end-diastolic, ED) 프레임으로 정의되므로, 충실한 설명은 공간적으로 좌심실뿐 아니라 시간적으로도 결정적인 프레임을 국소화해야 한다. EchoNet-Dynamic에서 파인튜닝(fine-tuning)된 두 가지 구조적으로 상이한 회귀 모델에 대해 공간적 그라운딩(spatial grounding), 교란(perturbation), 시간적 의존(temporal reliance)의 세 축을 따라 귀속의 충실성을 검증한다: Chefer relevance propagation으로 검증한 자기지도 VideoMAE 트랜스포머, 및 Grad-CAM으로 검증한 Kinetics 사전학습(pre-training) R(2+1)D 컨볼루션 네트워크. 모든 통계는 전체 1,276건 연구 테스트 분할에 대해 부트스트랩 95% 신뢰구간으로 보고되며, 명시적 우연(chance) 기준선 및 어텐션 롤아웃과 무작위 귀속 대조군과 비교된다. 시간적 무효(null)가 아니라 뚜렷한 비대칭을 발견한다. 두 모델 모두 해부학적으로는 강하게 충실하지만(우연 대비 3.04배 및 3.76배) 시간적으로는 약하게만 국소화된다: 튜블릿 가림(tubelet occlusion)은 VideoMAE에서 ES/ED에 대한 인과적 의존을 우연 대비 1.05배(95% CI [1.037, 1.068]), R(2+1)D에서는 1.15배([1.134, 1.166])로 나타낸다 — 공간에서보다 3배 약한 집중도 — 그리고 귀속은 이러한 약점을 충실히 반영한다. 수렴과 아키텍처를 분리하면 시간적 의존은 아키텍처에 의해 결정되고 수렴 불변(convergence-invariant)임을 보여준다: R(2+1)D는 단일 학습 에포크 후 1.14배, 수렴 시 1.15배에 도달하는 반면, 두 VideoMAE 변형 모두 사전학습이나 정확도와 관계없이 1.05배를 유지한다. 따라서 공간적 충실성은 시간적 충실성을 함의하지 않으며, 이러한 부족은 추가 학습으로도 보완되지 않는다.
장기 조건 패턴 토큰을 활용한 CT 이해를 위한 세밀한 비전-언어 사전학습
Fine-Grained Vision-Language Pretraining with Organ-Conditioned Pattern Tokens for CT Understanding
페어링된 볼륨과 방사선학 보고서로부터 수행하는 컴퓨트 토모그래피(CT) 비전-언어 사전학습은 확장 가능하면서도 어려운 과제이다. 기존 방법들은 일반적으로 전역 스캔-보고서 대비(global scan-report contrast)를 채택하는데, 이는 확장 가능하지만 이질적인 장기 증거를 모호하게 만든다. 한편, 직접적인 장기 수준 정렬(alignment)은 동일한 해부 구조가 여러 가지 서로 다른 방사선학적 양상을 보일 수 있기 때문에 여전히 거칠다. 따라서 사전학습에는 더 세밀한 정렬 단위, 즉 장기 조건 방사선학 패턴(organ-conditioned radiological pattern)이 필요하다. 본 연구에서는 CT 비전-언어 사전학습을 위한 장기 조건 패턴 토큰 정렬 프레임워크인 OCP-CT를 제안한다. 구체적으로, OCP-CT는 안정적인 전역 CT-보고서 대조(contrastive) 분기를 유지하고 장기 패턴 인터페이스를 도입한다. 희소 전문가 혼합(MoE)이 잠재 방사선학 패턴에 따라 이미지 및 텍스트 토큰을 라우팅하고, 학습 가능한 슬롯(slot)이 라우팅된 토큰을 연속 패턴 토큰으로 쿼리하며, 페어링된 토큰 대조가 보고서에서 유래한 임상 유사도로 구성된 구조화된 소프트 타깃(soft targets)과 함께 이미지-텍스트 패턴 토큰을 정렬한다. 공개된 CT-RATE 및 RAD-ChestCT 벤치마크에서 OCP-CT는 제로샷(zero-shot) 이상 진단에 대해 각각 평균 AUROC 84.5% 및 69.9%를 달성한다. 가장 강력하게 보고된 기존 결과와 비교할 때, 이러한 결과는 절대 AUROC 향상 6.7 및 0.8퍼센트포인트를 제공한다.
포괄적 심장 CT 분할 및 표현형 분석을 위한 통합 프레임워크: 휴먼-인-더-루프 데이터 어노테이션, 비전 파운데이션 모델 개발, 다기관 평가 및 임상 검증
A Unified Framework for Comprehensive Cardiac CT Segmentation and Phenotyping: Human-in-the-Loop Data Annotation, Vision Foundation Model Development, Multicenter Evaluation and Clinical Validation
전산화 단층촬영(CT)으로부터 심장 구조물을 포괄적으로 정량화하는 작업은 데이터 가용성이 아닌 측정의 확장성에 의해 제한되어 있어, 임상 현장에서의 일상적 활용이 비현실적이다. 본 연구에서는 휴먼-인-더-루프 어노테이션 파이프라인, 심장 CT 증강 기법, 그리고 60,000개의 레이블 없는 심장 CT 스캔으로 사전학습된 자기지도(self-supervised) 파운데이션 모델을 결합한 포괄적 심장 CT 분할 및 표현형 분석을 위한 통합 프레임워크를 제시한다. 이 방법을 통해 현재까지 구축된 것 중 가장 크고 포괄적인 전문가 어노테이션 심장 CT 분할 데이터셋을 구성하였으며, 총 1,598개 케이스와 14가지 심장 구조물로 이루어져 있다(학습용 1,000개, 외부 테스트 세트 598개). 다섯 개의 외부 데이터셋에서 본 프레임워크는 기존 오픈소스 도구보다 더 정확하고 포괄적으로 모든 구조물을 분할하였다. 자기지도 사전학습은 레이블링 효율성을 향상시켰으며, 저데이터 환경에서의 외부 평가에서 가장 두드러진 성능 향상이 관찰되었다. 합성곱, 트랜스포머, 상태 공간 아키텍처에 걸친 벤치마킹에서 유사한 성능이 나타나, 정확도를 결정하는 요인이 아키텍처가 아닌 데이터 품질과 사전학습임을 시사하였다. 본 프레임워크는 집단 수준의 표현형 분석으로 확장되었으며, 분할된 해부 구조는 인구통계학적 변수 이상으로 심실 기능 및 질병 중증도에 관한 기능적으로 유의미한 정보를 담고 있음이 확인되었다. 사람 레이블이 포함된 최대 규모의 데이터셋, 코드, 모델 가중치, CT 증강 라이브러리, 소프트웨어를 공개함으로써, 본 연구는 일상적으로 획득된 CT 스캔으로부터의 기회적 심장 표현형 분석을 위한 재현 가능한 기반을 제공한다.
모든 모달리티는 동등하지만, 비디오는 더 동등하다: 공동 비디오 생성에서 크로스-어텐션 격차 줄이기
All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation
비디오는 외형, 기하학, 모션, 시간적 변화를 포착하여 물리적 사건을 풍부하게 표현합니다. 3D 신체 모션이나 오디오와 같은 다른 모달리티(modality)는 동일한 사건의 더 좁은 측면만을 인코딩합니다. 본 연구에서는 공동 멀티모달 확산 트랜스포머(joint multimodal diffusion transformer)가 교차 모달 대응(cross-modal correspondence)에서 그에 상응하는 비대칭성을 보임을 발견했습니다. 즉, 동반 모달리티는 비디오에 대해 강한 대응성을 형성하지만, 이들이 비디오를 제약하는 상호 대응성(reciprocal correspondence)은 실질적으로 훨씬 약하게 유지됩니다. 저자들은 두 방향을 비디오 토큰(token)에 대한 비교 가능한 대응 분포로 표현하고, 이들의 불일치를 상호 대응 격차(reciprocal correspondence gap)로 정의합니다. 또한 상호 교차 모달 어텐션 정규화(Reciprocal Cross-modal Attention Regularization)를 뜻하는 RecCAR를 제안합니다. 이는 이미 잘 확립된 비디오-모달리티 간 대응을 고정된 참조 기준으로 삼고, 더 취약한 모달리티-비디오 간 대응을 이에 맞춰 정렬하는 KL 정규화(regularizer) 기법입니다. 공동 비디오-모션 및 비디오-오디오 생성 전반에 걸쳐, RecCAR는 전반적인 생성을 개선하면서도 Human Anatomy 점수를 0.69에서 0.75로 향상시키고 오디오-비디오 비동기화(desynchronization)를 0.804에서 0.752로 감소시킵니다
토론
이 논문과 연결된 포럼 글이 아직 없습니다.