arXiv:2303.04873

MOREA: a GPU-accelerated Evolutionary Algorithm for Multi-Objective Deformable Registration of 3D Medical Images

Georgios Andreadis, Peter A. N. Bosman, Tanja Alderliesten

제출 2023-03-08

원문 초록

Finding a realistic deformation that transforms one image into another, in case large deformations are required, is considered a key challenge in medical image analysis. Having a proper image registration approach to achieve this could unleash a number of applications requiring information to be transferred between images. Clinical adoption is currently hampered by many existing methods requiring extensive configuration effort before each use, or not being able to (realistically) capture large deformations. A recent multi-objective approach that uses the Multi-Objective Real-Valued Gene-pool Optimal Mixing Evolutionary Algorithm (MO-RV-GOMEA) and a dual-dynamic mesh transformation model has shown promise, exposing the trade-offs inherent to image registration problems and modeling large deformations in 2D. This work builds on this promise and introduces MOREA: the first evolutionary algorithm-based multi-objective approach to deformable registration of 3D images capable of tackling large deformations. MOREA includes a 3D biomechanical mesh model for physical plausibility and is fully GPU-accelerated. We compare MOREA to two state-of-the-art approaches on abdominal CT scans of 4 cervical cancer patients, with the latter two approaches configured for the best results per patient. Without requiring per-patient configuration, MOREA significantly outperforms these approaches on 3 of the 4 patients that represent the most difficult cases.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28081v1eess.IV공통 태그 Medical Image Analysis, Image Registration

학습 기반 알고리즘을 위한 재귀적 불확실성 게이팅 영상 정합

Recursive Uncertainty-Gated Image Registration for Learning-based Algorithms

기존 영상 정합 알고리즘은 도메인 이동(domain shift)에 강건하고 낮은 오차를 달성하지만, 느리고 계산 비용이 크다. 딥러닝 방법은 추론 시점에 효율적이지만 도메인 밖(out-of-domain) 샘플에서 어려움을 겪는다. 본 연구는 학습 기반 정합 모델이 예측한 변형(deformation) 필드를 반복적으로 정제하는 알고리즘인 Recursive Uncertainty-Gated Image Registration(RUGI)를 제안한다. 각 반복에서 정합 모델은 증분 변형을 예측하고, 게이팅 맵이 업데이트를 변조한다. 따라서 정제는 정합이 여전히 어려운 영역에 집중된다. 두 가지 게이팅 전략을 탐구한다: 학습된 불확실성 기반 접근법과 영상 잔차 오차 기반 접근법이다. 심장 MRI 및 심초음파(echocardiography) 데이터셋에서 RUGI를 평가한 결과, 단일 단계 추론 대비 일관된 개선을 보였다. ablation 실험은 반복적 정제만으로도 정합이 개선되지만, 정보가 풍부한 공간적 게이팅이 상당한 추가 이득을 제공함을 보여준다. RUGI의 오차 게이팅 변형은 기존 사전학습 모델에도 직접 적용할 수 있으며, VoxelMorph, TransMorph, CycleMorph에 적용하면 원래 학습 절차를 수정하지 않고 MSE를 27–37% 감소시킨다. 정합 성능의 개선은 ground truth 대비 박출분율(ejection fraction) 추정 오차 감소에 반영된다. 이러한 결과는 공간적으로 선택적인 반복적 정제가 추론 시점에 정합 정확도를 개선하는 효과적인 전략임을 보여준다.

arXiv:2609.24560v1cs.CV공통 태그 Medical Image Analysis, Image Registration

pCLE 모자이크 정합을 위한 변환 모델 평가

Evaluating Transformation Models for pCLE Mosaic Registration

공초점 레이저 내시현미경(Confocal Laser Endomicroscopy, CLE)은 실시간으로 세포 수준 해상도의 광학 생검(optical biopsy)을 제공하지만 시야(field of view)가 좁으며, 이미지 모자이킹(image mosaicing)을 통해 해부학적 맥락(anatomical context)을 제공하도록 시야를 확장할 수 있다. 라인별 획득(line-by-line acquisition), 프로브 움직임, 프로브-조직 상호작용으로 인해 프레임 정렬(frame alignment)은 일반적으로 정확도를 정량화하기 어려운 비선형 변환(non-linear transformation)을 필요로 한다: 유연한 변환 모델은 강도 특징(intensity feature)과 노이즈에 과적합될 수 있어, 정규화 상호상관(Normalized Cross-Correlation, NCC)과 같은 외형 기반(appearance-based) 지표는 실제 기하학적 정확도의 향상 없이도 개선될 수 있다. 이에 우리는 4명의 환자로부터 얻은 14개의 pCLE 시퀀스에 걸쳐 132개의 프레임 쌍으로 구성되고 랜드마크(landmark) 대응 관계가 수동으로 주석 처리된 데이터셋을 구축하여, 목표 정합 오차(Target Registration Error, TRE)가 NCC를 보완하는 기하학적으로 근거 있는 지표로 사용될 수 있도록 하였다. 우리는 이동(translation)부터 박판 스플라인(Thin Plate Spline, TPS)에 이르기까지 변환 모델의 자유도(degrees of freedom)를 점진적으로 늘렸을 때의 효과와, 고전적 방법(Shi-Tomasi, Lucas-Kanade)과 학습 기반 방법(SuperPoint, SuperGlue, LightGlue, LoFTR, RoMa)을 아우르는 여섯 가지 특징 매칭(feature-matching) 백엔드의 효과를 평가한다. 이동 모델과 강체(rigid) 모델은 조직 변형(tissue deformation) 상황에서 불충분한 것으로 나타났으며, 무작위 샘플링(random sampling)을 사용한 TPS가 평가된 구성들 중 랜드마크 기반 정렬에서 가장 우수한 성능을 달성하였다. 미세조정 없이 사용된 학습 기반 매처들 중에서는 RoMa만이 다른 방법들에 비해 견고하지만 다소 미미한 우위를 보였다. 시퀀스 수준에서는 쌍별(pairwise) 정합 품질이 최종 모자이크 품질을 신뢰성 있게 예측하지 못하는 것으로 나타나, 모자이크 품질은 쌍별 지표로부터 추론하기보다는 직접 평가되어야 한다.

arXiv:2609.24732v1cs.CV공통 태그 Medical Image Analysis, Image Registration

GraphSVR: 확산 MRI를 위한 q-공간 인지 그래프 기반 슬라이스-볼륨 정합

GraphSVR: q-Space--Aware Graph-Based Slice-to-Volume Registration for Diffusion MRI

확산강조영상(DWI)은 특히 시간 효율적인 프로토콜과 움직임이 발생하기 쉬운 피험자 집단에서 피험자의 움직임에 매우 취약합니다. 슬라이스-볼륨 정합(SVR)이 슬라이스 간 및 스택 간 불일치를 완화할 수 있지만, 확산 MRI는 확산 방향에 따른 대조도와 수십 개의 측정값을 공통 기준 좌표계 내에 정렬해야 하는 요구사항으로 인해 추가적인 복잡성을 유발하며, 실질적으로 4D 정합 문제를 낳습니다. 기존 접근 방식은 주로 순차적 모델링이나 쌍별 유사도에 의존하며, 희소한 그래디언트 샘플링이나 심한 움직임 환경에서 종종 성능이 저하됩니다. 본 연구에서는 DWI의 4D SVR 정합을 위한 q-공간 인지 그래프 기반 프레임워크인 GraphSVR을 소개합니다. GraphSVR은 획득 구조화된 그래프에서 슬라이스 그룹을 노드로 표현하며, 에지는 시간적 근접성, 공간적 슬라이스 기하구조, 확산 인코딩 관계를 인코딩합니다. 그래프 신경망은 전역적으로 일관된 스택 단위 강체 운동을 예측하며, 쌍을 이루는 정답 움직임 없이 해부학적 참조 영상만을 사용하여 자기지도, 제로샷(zero-shot) 방식으로 최적화됩니다. 제어 가능한 움직임 심각도와 그래디언트 희소성을 갖는 실제 획득 기반의 사실적인 재조합 시뮬레이션 및 완전 합성 확산 시뮬레이션 모두를 사용하여 GraphSVR을 평가합니다. 성능은 알려진 정답 변환 대비 그리드 오차(mm) 및 회전 오차를 사용하여 정량화됩니다. 심각한 움직임 하에서 GraphSVR은 표준 DWI 움직임 보정 방법인 FSL eddy에 비해 그리드 오차와 회전 오차를 73% 감소시키며, 가장 큰 개선 효과는 희소 방향 영역에서 관찰됩니다. 이러한 결과는 그래프 기반 추론을 통해 획득 구조를 명시적으로 모델링하는 것이 4D DWI 움직임 추정에서 견고성과 전역적 일관성을 향상시킨다는 점을 보여줍니다. 코드는 https://github.com/nogakertes/GraphSVR.git 에서 이용할 수 있습니다.

arXiv:2607.24743v4cs.CV공통 태그 Medical Image Analysis

ClinFusion: 포괄적 의료 이해를 위한 비전 중심 다중모달 LLM 시스템

ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding

다중모달 대규모 언어 모델(MLLM)은 임상 실무를 혁신할 막대한 잠재력을 지니고 있으나, 의료 분야에 이를 배포하는 것은 근본적으로 비전 중심의 과제이다. 모델은 이질적인 2D 및 3D 의료 영상으로부터 지식을 흡수해야 하며, 평가 프로토콜은 방사선 전문의의 임상 실무와 부합해야 하고 정확하고 세밀하며 사실성 중심의 평가를 제공해야 한다. 본 논문에서는 이러한 한계를 체계적으로 해결하기 위해 포괄적 의료 이해를 위해 설계된 비전 중심 MLLM인 ClinFusion을 소개한다. 우리는 Cascade Spatial-Aware Locality Fusion 연산자를 특징으로 하는 구성적·계단식 비전 인코더 아키텍처를 제안하며, 이는 융합 인코더 내에서 다양한 2D 및 네이티브 3D 의료 영상 이해를 통합한다. 또한 지시 따르기(instruction following) 평가를 위한 MedIF-Bench와, 임상적으로 정렬되고 사실성 중심의 보고서 생성 평가를 위한 관심 영역(RoI) 기반 방법을 포함하는 비전 그라운딩(vision-grounded) 평가 프레임워크를 추가로 도입한다. ClinFusion이 시각적 질의응답, 보고서 생성, 지시 따르기에 이르는 2D 및 3D 다중모달 의료 벤치마크와 텍스트 의료 과제를 아우르는 포괄적 벤치마크 모음 전반에서 새로운 최첨단(state-of-the-art) 성능을 달성함을 보인다. 24개 벤치마크 중 20개에서 Hulu-Med, Lingshu 등 선도적인 오픈소스 의료 MLLM을 능가했으며, 16개 벤치마크 중 13개에서 GPT-5.2, Gemini-3-Flash와 같은 강력한 독점 모델보다 우수한 다중모달 능력을 보였고, 검색-증강 생성(RAG) 및 도구 지원 임상 워크플로를 위한 에이전트(agent) 도구 사용으로 더욱 확장할 수 있다. 방사선 전문의 자격을 갖춘 전문의들의 단맹 평가는 ClinFusion이 최상위 순위의 보고서를 생성함을 확인했으며, 우리의 RoI 기반 지표가 검토된 모든 자동 평가 지표 중 전문가 판단과 가장 강한 상관관계를 달성함을 검증했다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.