Multi-scale Neural ODEs for 3D Medical Image Registration
원문 초록
Image registration plays an important role in medical image analysis. Conventional optimization based methods provide an accurate estimation due to the iterative process at the cost of expensive computation. Deep learning methods such as learn-to-map are much faster but either iterative or coarse-to-fine approach is required to improve accuracy for handling large motions. In this work, we proposed to learn a registration optimizer via a multi-scale neural ODE model. The inference consists of iterative gradient updates similar to a conventional gradient descent optimizer but in a much faster way, because the neural ODE learns from the training data to adapt the gradient efficiently at each iteration. Furthermore, we proposed to learn a modal-independent similarity metric to address image appearance variations across different image contrasts. We performed evaluations through extensive experiments in the context of multi-contrast 3D MR images from both public and private data sources and demonstrate the superior performance of our proposed methods.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
학습 기반 알고리즘을 위한 재귀적 불확실성 게이팅 영상 정합
Recursive Uncertainty-Gated Image Registration for Learning-based Algorithms
기존 영상 정합 알고리즘은 도메인 이동(domain shift)에 강건하고 낮은 오차를 달성하지만, 느리고 계산 비용이 크다. 딥러닝 방법은 추론 시점에 효율적이지만 도메인 밖(out-of-domain) 샘플에서 어려움을 겪는다. 본 연구는 학습 기반 정합 모델이 예측한 변형(deformation) 필드를 반복적으로 정제하는 알고리즘인 Recursive Uncertainty-Gated Image Registration(RUGI)를 제안한다. 각 반복에서 정합 모델은 증분 변형을 예측하고, 게이팅 맵이 업데이트를 변조한다. 따라서 정제는 정합이 여전히 어려운 영역에 집중된다. 두 가지 게이팅 전략을 탐구한다: 학습된 불확실성 기반 접근법과 영상 잔차 오차 기반 접근법이다. 심장 MRI 및 심초음파(echocardiography) 데이터셋에서 RUGI를 평가한 결과, 단일 단계 추론 대비 일관된 개선을 보였다. ablation 실험은 반복적 정제만으로도 정합이 개선되지만, 정보가 풍부한 공간적 게이팅이 상당한 추가 이득을 제공함을 보여준다. RUGI의 오차 게이팅 변형은 기존 사전학습 모델에도 직접 적용할 수 있으며, VoxelMorph, TransMorph, CycleMorph에 적용하면 원래 학습 절차를 수정하지 않고 MSE를 27–37% 감소시킨다. 정합 성능의 개선은 ground truth 대비 박출분율(ejection fraction) 추정 오차 감소에 반영된다. 이러한 결과는 공간적으로 선택적인 반복적 정제가 추론 시점에 정합 정확도를 개선하는 효과적인 전략임을 보여준다.
pCLE 모자이크 정합을 위한 변환 모델 평가
Evaluating Transformation Models for pCLE Mosaic Registration
공초점 레이저 내시현미경(Confocal Laser Endomicroscopy, CLE)은 실시간으로 세포 수준 해상도의 광학 생검(optical biopsy)을 제공하지만 시야(field of view)가 좁으며, 이미지 모자이킹(image mosaicing)을 통해 해부학적 맥락(anatomical context)을 제공하도록 시야를 확장할 수 있다. 라인별 획득(line-by-line acquisition), 프로브 움직임, 프로브-조직 상호작용으로 인해 프레임 정렬(frame alignment)은 일반적으로 정확도를 정량화하기 어려운 비선형 변환(non-linear transformation)을 필요로 한다: 유연한 변환 모델은 강도 특징(intensity feature)과 노이즈에 과적합될 수 있어, 정규화 상호상관(Normalized Cross-Correlation, NCC)과 같은 외형 기반(appearance-based) 지표는 실제 기하학적 정확도의 향상 없이도 개선될 수 있다. 이에 우리는 4명의 환자로부터 얻은 14개의 pCLE 시퀀스에 걸쳐 132개의 프레임 쌍으로 구성되고 랜드마크(landmark) 대응 관계가 수동으로 주석 처리된 데이터셋을 구축하여, 목표 정합 오차(Target Registration Error, TRE)가 NCC를 보완하는 기하학적으로 근거 있는 지표로 사용될 수 있도록 하였다. 우리는 이동(translation)부터 박판 스플라인(Thin Plate Spline, TPS)에 이르기까지 변환 모델의 자유도(degrees of freedom)를 점진적으로 늘렸을 때의 효과와, 고전적 방법(Shi-Tomasi, Lucas-Kanade)과 학습 기반 방법(SuperPoint, SuperGlue, LightGlue, LoFTR, RoMa)을 아우르는 여섯 가지 특징 매칭(feature-matching) 백엔드의 효과를 평가한다. 이동 모델과 강체(rigid) 모델은 조직 변형(tissue deformation) 상황에서 불충분한 것으로 나타났으며, 무작위 샘플링(random sampling)을 사용한 TPS가 평가된 구성들 중 랜드마크 기반 정렬에서 가장 우수한 성능을 달성하였다. 미세조정 없이 사용된 학습 기반 매처들 중에서는 RoMa만이 다른 방법들에 비해 견고하지만 다소 미미한 우위를 보였다. 시퀀스 수준에서는 쌍별(pairwise) 정합 품질이 최종 모자이크 품질을 신뢰성 있게 예측하지 못하는 것으로 나타나, 모자이크 품질은 쌍별 지표로부터 추론하기보다는 직접 평가되어야 한다.
GraphSVR: 확산 MRI를 위한 q-공간 인지 그래프 기반 슬라이스-볼륨 정합
GraphSVR: q-Space--Aware Graph-Based Slice-to-Volume Registration for Diffusion MRI
확산강조영상(DWI)은 특히 시간 효율적인 프로토콜과 움직임이 발생하기 쉬운 피험자 집단에서 피험자의 움직임에 매우 취약합니다. 슬라이스-볼륨 정합(SVR)이 슬라이스 간 및 스택 간 불일치를 완화할 수 있지만, 확산 MRI는 확산 방향에 따른 대조도와 수십 개의 측정값을 공통 기준 좌표계 내에 정렬해야 하는 요구사항으로 인해 추가적인 복잡성을 유발하며, 실질적으로 4D 정합 문제를 낳습니다. 기존 접근 방식은 주로 순차적 모델링이나 쌍별 유사도에 의존하며, 희소한 그래디언트 샘플링이나 심한 움직임 환경에서 종종 성능이 저하됩니다. 본 연구에서는 DWI의 4D SVR 정합을 위한 q-공간 인지 그래프 기반 프레임워크인 GraphSVR을 소개합니다. GraphSVR은 획득 구조화된 그래프에서 슬라이스 그룹을 노드로 표현하며, 에지는 시간적 근접성, 공간적 슬라이스 기하구조, 확산 인코딩 관계를 인코딩합니다. 그래프 신경망은 전역적으로 일관된 스택 단위 강체 운동을 예측하며, 쌍을 이루는 정답 움직임 없이 해부학적 참조 영상만을 사용하여 자기지도, 제로샷(zero-shot) 방식으로 최적화됩니다. 제어 가능한 움직임 심각도와 그래디언트 희소성을 갖는 실제 획득 기반의 사실적인 재조합 시뮬레이션 및 완전 합성 확산 시뮬레이션 모두를 사용하여 GraphSVR을 평가합니다. 성능은 알려진 정답 변환 대비 그리드 오차(mm) 및 회전 오차를 사용하여 정량화됩니다. 심각한 움직임 하에서 GraphSVR은 표준 DWI 움직임 보정 방법인 FSL eddy에 비해 그리드 오차와 회전 오차를 73% 감소시키며, 가장 큰 개선 효과는 희소 방향 영역에서 관찰됩니다. 이러한 결과는 그래프 기반 추론을 통해 획득 구조를 명시적으로 모델링하는 것이 4D DWI 움직임 추정에서 견고성과 전역적 일관성을 향상시킨다는 점을 보여줍니다. 코드는 https://github.com/nogakertes/GraphSVR.git 에서 이용할 수 있습니다.
Benchmarking of image registration methods for differently stained histological slides
Deformable medical image registration: setting the state of the art with discrete methods
OCT 및 치매 영상에서 에뮬레이션된 양자 레이어가 CNN의 성능과 설명 가능성에 미치는 영향
On the effects of emulated quantum layers on CNN performance and explainability for OCT and dementia imaging
하이브리드 양자-고전 합성곱 신경망은 고전 딥러닝 모델의 대안으로 제안되어 왔다. 그러나 양자 하드웨어에서 신경망 구성 요소를 실행하면 반복 측정을 통한 기울기 추정과 같은 근본적인 제약이 따르며, 큐비트 수를 늘리면 불모 고원(barren plateau)과 같은 학습 가능성 문제가 발생할 수 있다. 더욱이 이러한 하이브리드 신경망의 보고된 성공은 고전 컴퓨터에서 효율적으로 시뮬레이션될 수 있는 양자 구조와 연관되어 있다. 본 연구는 작고 고전적으로 시뮬레이션되는 양자 회로가 순수 고전 레이어를 대체하여 더 큰 모델 내의 유용한 구성 요소로 기능할 수 있는지를 조사한다. 하이브리드 양자 영감 CNN(HQiCNN)과 표준 CNN 구조를 체계적으로 비교하며, 두 모델은 단 하나의 중간 레이어에서만 다르다. HQiCNN에서는 에뮬레이션된 양자 회로이고 CNN에서는 그에 대응하는 고전 레이어이다. 모델은 두 개의 의료 영상 데이터셋에서 학습 집합 크기, 학습률, 배치 크기, 회로 얽힘, 관측량 집합을 달리하며 평가된다. 엄격한 매개변수 예산 하에서 HQiCNN은 고전 기준 모델보다 우수한 성능을 보인다. 고전 레이어에 더 많은 매개변수를 부여하면 전반적인 성능은 비슷해지며, HQiCNN은 중간 규모 데이터 영역에서만 향상을 보인다. 얽힘을 제거해도 성능은 비슷하고, 더 풍부한 관측량 집합도 성능 향상을 가져오지 않는다. 마지막으로 모델 설명을 비교하기 위한 두 가지 SHAP 기반 지표인 $|$SHAP$|$IoU와 EMD$_{\mathrm{pos}}$를 도입한다. 이들은 모든 구조가 해부학적으로 타당한 영역에 주목하며, 구조 간 공간적 주의 일치도가 학습 집합 크기에 따라 증가함을 보여준다. 이러한 결과는 특정 데이터 영역에서 양자 영감 하이브리드 모델이 의료 영상 분류에서 고전 CNN에 대한 경쟁력 있는 대안임을 시사한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.