Purpose: Accurate point cloud registration is essential in computer-aided interventions (CAI) to align multi-modal medical images for intraoperative guidance. Classical methods, such as Iterative Closest Point (ICP), remain attractive for their explainability and minimal training requirements, but typically ignore anatomical semantics and biomechanical properties during regularization. Methods: We present Semantic ICP (SemICP), a novel non-rigid point cloud registration framework that combines semantically informed point matching with linear elastic energy regularization. Semantic labels are used to improve correspondence matching by constraining correspondences to be anatomically consistent. A novel control-point deformation representation with linear-elastic energy regularization is introduced to encourage biomechanically plausible deformations. SemICP was evaluated on a simulation phantom and four datasets against established baselines. It was also tested with labels from AI-based segmentation in a fully automatic segmentation-registration pipeline. Results: On the finite element phantom, SemICP recovered 86% of the interior displacement from surface observations alone. On the real datasets, SemICP achieved the lowest target registration error on Liver MR-US and the lowest surface distances on TORS, and ranked second on AbdominalMR-CT and HippocampusMR, where NR-ICP achieved lower surface distances. The fully automatic registration pipeline was shown to be effective for US-MR registration and to improve the alignment of expert-annotated structures. Conclusion: SemICP improves interior accuracy at competitive surface accuracy by combining semantic correspondence constraints and linear energy regularization. Combined with AI-based segmentation, SemICP provides an effective pipeline for multi-modal registration in CAI.
6~7주에 걸친 양성자 치료 과정 동안 두경부 해부학은 변하며, 계획 수립 시점에는 이후 주차의 해부학을 영상으로 확보할 수 없다. 본 연구는 환자의 치료일 해부학을 전파된 윤곽을 포함한 예측 CT 앙상블로 예측하고, 예측 윤곽의 불확실성을 정량화하는 디지털 트win 프레임워크를 제안한다. 이 트win은 계획 CT와 주간 품질보증 CT(QACT)를 갖춘 기존 치료 환자들의 라이브러리로, 2단계 foundation model 기반 가변 정합(deformable registration)을 통해 환자 특이적으로 구성된다. 환자 간(field)은 라이브러리 환자 각각을 현재 환자에게 맞추고, 현재 환자 좌표계에서 추정한 종단(field)은 해당 환자의 계획–QACT 변화를 현재 환자의 계획 CT 위로 전달한다. 88명 환자로부터 302개 관측으로 이루어진 라이브러리는 환자당 약 300개의 복제본, 즉 실제 치료 환자에서 발생한 변형(deformation) 각각을 제공한다. 전파된 윤곽의 분산은 외향 법선 방향으로 해석되며, 밀리미터 단위의 6방향 윤곽 불확실성이다. 이는 모델 파라미터의 불확실성이 아니라, 현재 환자가 어떤 라이브러리 환자의 경로를 따를지에 대한 예측 입력의 불확실성이며, 정합 엔진을 교체해도 변하지 않는다. 두 QACT에 임상의가 그린 윤곽이 있는 10명 환자에서, 라이브러리만으로도 불확실성의 이방성 형상(4.5~6.2 mm)을 고정한다. 첫 QACT는 윤곽을 그리지 않아도 불확실성 폭을 3.2~3.6배 좁힌다. 승인된 윤곽은 중심은 개선하지만 폭은 개선하지 않는다. 추정은 방향 순서는 올바르게 맞추지만 가우시안 보정(Gaussian-calibrated)은 아니다. 임상 표적 부피(CTV) 확장을 한 가지 응용 사례로 제시한다.
두경부 종양 수술에서 양성 마진은 검체 측 병리 소견을 환자의 절제면에 매핑해야 한다. 이는 절제되어 변형된 검체의 슬라이스에서 병리의가 양성 마진을 확인하는 반면, 외과의는 해당 위치를 절제면에서 시각적 안내 없이 구두 설명만으로 재현해야 하기 때문에 어렵다. 우리는 3차원 검체 스캔의 마진 라벨을 절제면에 매핑하기 위한 마커 없는 증강 현실(AR) 워크플로우를 제안한다. 이 방법은 윤곽 제약 변형, 깊이 스캔에 대한 잔차 정렬, 헤드마운트 디스플레이(head-mounted display)를 위한 표면 기반 융합, 재구성된 절제면에 대한 타깃 투영을 결합한다. 비드(bead)-봉합(suture) 대응 관계로 검체 변형을 추정하며, 환자-디스플레이 융합에는 외부 기준점(fiducial) 마커가 필요하지 않다. 형성 실험(formative experiments) 이후, 5명의 전공의 및 외과의가 시체(cadaver) 볼과 두피 재절제 과제를 구두 안내, 검체 검사를 동반한 구두 안내, AR 안내 조건에서 수행했다. 변형 타깃 오차는 볼에서 $7.63 \pm 3.74$ mm, 두피에서 $3.72 \pm 1.02$ mm였다. 잔차 검체-절제면 거리는 각각 $2.43 \pm 2.15$ mm 및 $2.19 \pm 1.06$ mm였다. 융합 오차는 두 시체 모두에서 마커 없는 방식과 마커 기반 방식 간에 유의한 차이가 없었으며, 전체 마커 없는 융합 오차는 $2.15 \pm 0.87$ mm였다. 종단(end-to-end) 마진 국소화 오차는 구두 안내 시 $21.40 \pm 3.84$ mm, 검체 검사 시 $16.09 \pm 4.30$ mm에서 AR 안내 시 $6.19 \pm 1.79$ mm로 감소했다 ($p < 0.001$). 온라인 융합에는 $5.23 \pm 0.34$ s가 소요되었다. 이러한 결과는 양성 마진 국소화를 위한 마커 없는 AR 안내의 효과를 보여주며, 더 정밀한 종양 절제를 뒷받침한다.
전 세계적으로 연간 89만 건의 신규 환자가 발생하는 두경부 편평상피세포암은 고형 악성 종양 중 재발률이 가장 높은 질환 중 하나입니다. 동결 절편 분석은 수술 중 마진(margin) 평가의 표준이지만, 절제된 검체와 절제면 사이의 부정확한 정렬과 절제 후 점막 조직의 수축으로 인해, 검출된 양성 마진을 절제면에서 정확히 재배치하는 것은 여전히 어렵습니다. 우리는 수술 중 가이던스를 제공하기 위해 절제 후 조직 변형을 교정하는 생체역학 기반 변형 가능 정합 프레임워크를 제안합니다. 우리의 접근 방식은 정규화(regularization)된 켈빈릿(Kelvinlet) 기저 함수를 기반으로 하는 변형 가능 정합 방법을 사용하여 3D 검체 메시를 수술 중 절제면 포인트 클라우드에 정합합니다. 이 정합은 표면 포인트 클라우드, 기준 표식(fiducial landmarks), 그리고 검체와 절제면 경계 사이의 수직 거리 차이를 직접 페널티로 부여하는 경계 윤곽 제약을 일치시킵니다. 피부, 볼 점막, 혀 부위의 9개 검체에 대해, 강체 정합을 사용했을 때 전체 평균 표적 정합 오차는 $11.11 \pm 4.07$ mm였으나, 윤곽 제약이 없는 변형 가능 정합을 사용하면 $8.20 \pm 2.68$ mm(26.19% 감소)로 감소했습니다. 제안된 윤곽 제약 변형 가능 정합은 오차를 $5.62 \pm 2.28$ mm로 더욱 감소시켰으며, 이는 강체 정합 대비 49.41%의 감소입니다. 우리는 임상적으로 가장 어려운 혀 검체에서 가장 큰 감소를 관찰했습니다. 또한, 우리는 표면 정렬, 기준 표식 대응, 윤곽 제약, 변형 에너지 정규화의 상대적 중요성을 특성화하기 위해 체계적인 2단계 매개변수(parameter) 탐색을 수행했습니다. 이 탐색 결과, 측면 변형이 큰 조직 유형의 경우 윤곽 가중치가 정합 정확도를 지배한다는 것이 밝혀졌으며, 알고리즘은 광범위한 매개변수 조합에 걸쳐 작동함을 확인했습니다.