SurgPointTransformer: Vertebrae Shape Completion with RGB-D Data
원문 초록
State-of-the-art computer- and robot-assisted surgery systems heavily depend on intraoperative imaging technologies such as CT and fluoroscopy to generate detailed 3D visualization of the patient's anatomy. While imaging techniques are highly accurate, they are based on ionizing radiation and expose patients and clinicians. This study introduces an alternative, radiation-free approach for reconstructing the 3D spine anatomy using RGB-D data. Drawing inspiration from the 3D "mental map" that surgeons form during surgeries, we introduce SurgPointTransformer, a shape completion approach for surgical applications that can accurately reconstruct the unexposed spine regions from sparse observations of the exposed surface. Our method involves two main steps: segmentation and shape completion. The segmentation step includes spinal column localization and segmentation, followed by vertebra-wise segmentation. The segmented vertebra point clouds are then subjected to SurgPointTransformer, which leverages an attention mechanism to learn patterns between visible surface features and the underlying anatomy. For evaluation, we utilize an ex-vivo dataset of nine specimens. Their CT data is used to establish ground truth data that were used to compare to the outputs of our methods. Our method significantly outperforms the state-of-the-art baselines, achieving an average Chamfer Distance of 5.39, an F-Score of 0.85, an Earth Mover's Distance of 0.011, and a Signal-to-Noise Ratio of 22.90 dB. This study demonstrates the potential of our reconstruction method for 3D vertebral shape completion. It enables 3D reconstruction of the entire lumbar spine and surgical guidance without ionizing radiation or invasive imaging. Our work contributes to computer-aided and robot-assisted surgery, advancing the perception and intelligence of these systems.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
기계는 비언어적으로 추론할 수 있는가?
Can machines reason non-verbally?
현대 기계는 방정식을 풀고 논리를 따르며 언어를 통해 추론할 수 있지만, 시각적 비언어적 추론이 필요한 문제에서는 여전히 어려움을 겪고 있습니다. 이는 추상적 패턴 완성이나 모호한 관심 영역(ROI) 묘사와 같은 시각적 과제에서 여전히 한계를 보이는 DeepSeek, ChatGPT, Gemini와 같은 첨단 시스템에서도 뚜렷하게 나타납니다. 논리나 자동화된 테스트를 통해 검증할 수 있는 언어적 추론의 명시적인 중간 단계와 달리, 시각적 추론은 명확한 검증 방법이 없는 암묵적인 중간 단계를 수반합니다. 따라서 비언어적 추론은 모델링하기가 까다로우며, 그 결과 현재 기계 지능의 근본적인 한계로 남아 있습니다. 본 연구에서는 생성, 검증, 최적화를 기계의 추론 파이프라인으로 통합하는 범용 프레임워크인 GenVerOpt를 소개합니다. GenVerOpt는 후보 해를 생성하고 그 정확성을 검증하며 반복적으로 개선함으로써, 모델 학습(training) 중에 포착된 데이터셋(dataset) 수준의 경향성에만 의존하기보다 샘플별 최적화를 가능하게 합니다. 이 과정은 올바른 해결책이 도출될 때까지 여러 가능성을 구상하고 평가하며 다듬는 인간의 문제 해결 방식을 반영합니다. 다양한 도메인에 걸쳐 GenVerOpt는 기존 시스템을 뛰어넘는 역량을 입증합니다. 즉, 추상적 IQ 퍼즐에서 인간을 능가하고, 전립선암 분할에서 임상의 수준에 도달하며, 간 혈관 재구성에서 전문가를 뛰어넘고, 종양 경계 정렬에서 최신(SOTA) 접근법보다 우수한 성능을 보입니다. 이러한 결과는 기계의 추론이 언어를 넘어 확장될 수 있음을 보여주며, 시각적 비언어적 추론을 보다 유연하고 일반화 가능한 지능의 토대로 확립합니다.
MEGA: 공간 시각 증류를 통한 3D 가우시안 스플래팅 기반 객체 수준 메시 추출
MEGA: Object-Level Mesh Extraction from 3D Gaussian Splatting via Spatial Visual Distillation
3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS) 기반의 메시 추출은 3D 가우시안에 정확한 기하학적 구조를 부여하여 명시적이고 정밀한 3D 점유 공간(occupancy)을 표현하는 것을 목표로 합니다. 그러나 기존 방법들은 주로 장면 수준의 메시 추출에 집중되어 있어 객체 수준의 점유 공간을 표현하지 못하며, 종종 닫히지 않은(non-watertight) 표면을 생성합니다. 이러한 한계를 극복하기 위해, 본 논문에서는 복잡한 3DGS 장면에서 객체 수준의 닫힌(watertight) 메시를 추출하는 '분할 후 메시 생성(segment-then-mesh)' 프레임워크인 MEGA(Mesh Extraction from GAussians)를 제안합니다. MEGA의 핵심은 공간 시각 증류(Spatial Visual Distillation, SVD)와 마스크 기반 신경망 표면 재구성 모듈입니다. SVD는 3DGS 모델을 교사(teacher)로 취급하여 다양한 카메라 포즈를 샘플링하고 분할된 각 객체의 해당 뷰를 렌더링합니다. 이후 이러한 관측 결과는 광도적 감독(photometric supervision)을 통해 메시 재구성 모델을 학습하는 데 사용됩니다. 널리 사용되는 여러 벤치마크에 대한 광범위한 실험을 통해 MEGA가 정확한 객체 수준 3D 점유 공간 복원에서 최고 수준의 성능을 달성함을 입증합니다. 나아가 MEGA는 기하학적 점유 공간을 위한 고품질 객체 수준 메시와 사실적인 렌더링을 위한 3DGS 표현을 결합함으로써 복잡한 물리적 상호작용을 가능하게 합니다.
FleXray: 범용 임상 X선 분할
FleXray: Universal Clinical X-ray Segmentation
X선(X-ray)은 의학 분야에서 가장 널리 사용되는 영상 양식이지만, 여전히 정량적 활용도가 가장 낮은 편에 속합니다. CT나 MRI 같은 볼륨(volumetric) 영상 양식과 달리 X선은 3차원 해부학적 구조를 2차원 투영으로 압축하므로 구조 간 중첩이 발생하고 전문가에게도 해부학적 경계가 모호해집니다. 그 결과, 범용 분할(segmentation) 시스템을 학습(training)하기 위해 X선 데이터베이스를 라벨링하는 것은 비현실적이며, 형태 계측 및 기능적 X선 분석은 좁은 해부학적 부위와 제한된 응용 분야에 국한되어 왔습니다. 이를 해결하기 위해 본 논문에서는 임상 X선에서 전신에 걸친 해부학적 분할을 수행하는 제너럴리스트 모델(generalist model)인 FleXray를 제시합니다. 대규모의 수동 주석 X선 데이터셋(dataset)을 구축하는 대신, 확장 가능한 물리 기반 생성형 X선 데이터 엔진을 구축합니다. 기존의 3차원 전신 CT 분할 데이터셋과 생성형 이미지 편집 모델을 활용하여 다양한 외관, 생리학적 특성 및 촬영 기하학적 조건을 갖춘 완전히 주석 처리된 2차원 X선을 시뮬레이션합니다. 이러한 시뮬레이션을 통해 학습된 FleXray는 학습에 사용되지 않은 연구용 데이터셋 및 야생(in-the-wild) X선에서 60개의 해부학적 구조를 정확하게 분할합니다. 나아가 FleXray가 X선을 정량적 분석에 직접 활용할 수 있도록 만들어, 질환 중증도 분류를 위한 자동 측정, X선 유도 중재 시술 중의 강건한 내비게이션, 병리학적 대상에 대한 데이터 효율적 학습을 가능하게 함을 보여줍니다. 본 연구진은 모델, 코드, 전신 X선 분할 데이터셋, 그리고 사용하기 쉬운 로컬 브라우저 기반 도구를 https://flexray.csail.mit.edu 에 공개합니다.
CTSpinoPelvic1K: 단일 좌표계의 척추·골반·늑골·대퇴골, 요천추 전환부 해부학 주석
CTSpinoPelvic1K: spine, pelvis, ribs and femora in one coordinate frame, annotated for lumbosacral transitional anatomy
목적: 요천추 접합부 천추는 전체 척추 영상에서 C2부터 caudal 방향으로 세어 이름을 붙이지만, 요추 수술 계획은 C2 없이 요추만 영상(T12–S1)으로 세운다. 복부·골반 CT는 그 구간에 최하위 늑골과 골반까지 포함한다. 요천추 전환 천추(lumbosacral transitional vertebra, LSTV)가 개수를 바꾸면 국소 해부는 모호해진다. 늑골 없는 천추가 네 개이면 요추 늑골을 동반한 L1일 수도 있고 천골에 동화된 L5일 수도 있으며, 여섯 개이면 제6요추, 무형성 늑골을 동반한 T12, 또는 요추화된 S1일 수 있다. CTSpinoPelvic1K는 개수 없이 국소 형태만으로 이를 판별할 수 있는지 묻는다. CTSpine1K의 천추와 CTPelvic1K의 골반은 동일 환자를 각각 다뤘으나 결합되지 않았고, 본 공개판은 한 시리즈에서 이를 결합하고 어느 쪽에도 없던 골을 추가한다. 802건의 CT 기록을 제공하며, 레벨별 늑골·대퇴골, 최하위 늑골 부착 천추와 S1에 고정된 레벨, L6·T13·분리된 S1·요추 늑골 클래스를 두어 이상을 그대로 기록한다. 취득 및 검증 방법: 각 환자의 골량이 가장 많은 시리즈에서 VerSe-native 체계 하에 CTSpine1K와 CTPelvic1K 라벨을 짝지었다. 검증은 기하 불변량(802/802 통과), 5,749개 늑골에 대한 늑골–천추 대응(0.035% 오차), 문헌값과 일치하는 척골–골반 측정을 포함했다. 데이터 형식 및 사용 안내: 환자 단위 그룹·LSTV 계층화 5-fold 분할과 로더가 있는 NIfTI 영상/라벨 쌍; https://doi.org/10.5281/zenodo.22139642 에 보관. 잠재적 응용: 국소 특징으로부터 천추 분류, cadaveric 형태계량 갱신, 척골–골반 평가, 기회적 스크리닝, 공개 수술 전 요추 코호트가 없는 상황에서의 수술 계획 연구(377건 prone). 한계: 흉추 ground truth는 시야(field-of-view) 제한, 자세 각도는 supine, 별도 test set 없음, 늑골은 triaged-review 의사라벨, Castellvi 등급은 33건에 대한 두 판독자 합의.
GRAPE: 관절형 초상화 메쉬 추정을 위한 Graduated Routing
GRAPE: Graduated Routing for Articulated Portrait mesh Estimation
관절형 초상화 메쉬 추정은 3D 이해, 아바타 생성, 몰입형 상호작용의 기본이 된다. 기존 접근법은 주로 3D Morphable Models(3DMM)에 의존한다. 그러나 얼굴 중심 모델은 "floating head" 가정으로 인해 목 관절 운동학(kinematics) 부재로 머리 자세와 전역 회전을 혼동하는 문제가 있다. 반대로 신체 중심 모델은 고충실도 얼굴 표정 능력이 부족하다. 또한 현재 방법들은 표현 블렌드셰이프(expression blendshape)와 턱 관절(jaw articulation)을 분리하는 데 어려움을 겪으며, 입 벌림에 표정에 과도하게 의존하는 경우가 많다. 이러한 한계로 인해 단안(monocular) 초상화 복원은 표현, 지도(supervision), 해부학적 매개변수 추정 측면에서 어렵다. 이러한 한계를 해결하기 위해 GRAPE(Graduated Routing for Articulated Portrait mesh Estimation)를 제안한다. 우리는 명시적인 몸통-머리 운동학 체인과 FLAME과 SMPL-X 몸통을 병합하는 정규(canonical) 주입 단계를 갖춘 Portrait Parametric Model(PPM)을 구축한다. 또한 사전학습된 초상화 인코더, Graduated-Mask Router, 초상화 해부학적 사전지식(prior)을 따르는 coarse-to-fine 전문가로 구성된 Progressive Anatomical Alignment(PAA) 네트워크를 제안한다. 그런 다음 희소 해부학적 키포인트, 특징 증류(feature distillation), 전경 마스크 제약, 상대 기하 제약을 결합한 다중 소스 지도로 이 네트워크를 학습한다. 실험 결과 GRAPE는 기존 방법 대비 초상화 메쉬 복원 품질, 자세 정렬, 턱-표정 분리를 개선함을 보여준다. 또한 우리 방법이 오디오 기반 talking-head 생성 및 3D 초상화 생성과 같은 하위 작업에 도움이 될 수 있음을 보여준다.
GNM Head: 인간 머리의 생성적 인체측정 모델(Generative aNthropometric Model)
GNM Head: A Generative aNthropometric Model of the human head
인간 머리의 파라미터 모델은 애니메이션, 렌더링, 재구성을 위해 컴퓨터 비전(CV)과 그래픽스 분야에서 전통적으로 사용되어 온 필수 도구이다. 최근에는 생성 대규모 비전 모델 내에서 중요한 조건화(conditioning) 신호로 활용되어, 생성된 영상에 대한 긴밀한 공간적 제어를 가능하게 한다. 그러나 기존에 공개적으로 이용 가능한 모델들은 일반적으로 해부학적 범위가 제한되어 외부 기하학만 모델링하고 구내(intra-oral) 및 안구(ocular) 구조는 무시하며, 저품질 입력 데이터셋에서 비롯된 기하학적 품질 저하를 자주 겪는다. 본 보고서에서는 인간 게놈(genome)과의 동음이의어로 명명된 생성적 인체측정 모델(Generative aNthropometric Model, GNM)이라는 새로운 파라미터 모델을 소개한다. GNM은 머리, 얼굴, 목, 안구, 치아, 혀를 포함하며, 고해상도 3D 스캔의 광범위한 데이터베이스와 고품질 해부학 특화 아티스트 제작 샘플을 결합하여 구축되었다. 본 보고서는 데이터 출처, 안구 및 구내 구조를 위한 특화 서브모델을 포함한 모델 아키텍처를 상세히 설명하고, 대상 3D 얼굴 스캔 적합(fitting)에서의 SotA(state-of-the-art) 성능을 보여준다. 커뮤니티 혁신을 촉진하기 위해 완전한 GNM 프레임워크를 공개한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.