수술 조직 견인은 부분적이고 노이즈가 있는 인식 하에서 효과적인 조작 계획을 필요로 한다. 본 연구는 변형 가능한 조직 견인에 대한 상태 추정을 다루며, 의사결정 시점에는 조직 표면의 희소 관측만 이용 가능하다. 우리는 40개의 노이즈가 있는 정점 관측으로부터 전체 변형 가능 메시 상태를 복원하는 학습 기반 상태 추정기를 제안한다. 이 추정기는 다층 퍼셉트론과 저차원 PCA 잠재 표현을 결합하며, 매끄럽고 물리적으로 타당한 변형을 유도하는 기하학 인식 정규화를 사용하여 학습된다. 우리는 단일 단계 및 다중 단계 견인 계획을 사용하여 2D 변형 가능 시트 시뮬레이션에서 이 접근법을 평가한다. 결과는 학습된 추정기가 다중 단계 견인에서 효율적인 추론을 지원하면서 오라클 성능의 98.1%를 달성함을 보여준다. 이러한 결과는 학습 기반·기하학적으로 정규화된 상태 추정이 현실적인 인식 제약 하에서 효과적인 변형체 조작을 지원할 수 있음을 보여준다.
Track2Map은 로봇 보조 최소 침습 수술에서 카메라 궤적 사전 정보 없이도 수술 영상으로부터 카메라 포즈와 3D 변형 장면을 공동 최적화하는 온라인 3D 가우시안 스플래팅 기반 SLAM 파이프라인을 제안한다. 광학 흐름 방향 분포를 이용해 카메라 정지 구간을 감지하고 포즈 업데이트를 게이팅함으로써 조직 변형과 카메라 움직임을 분리하며, StereoMIS 벤치마크에서 기존 SLAM 및 비-SLAM 방법 대비 우수한 재건 품질과 카메라 궤적 정확도를 달성했다.
Vision-Language-Action (VLA) models represent a promising direction for embodied intelligence in surgical robotics. Despite the prevalence of VLA benchmarks for general robotics, standardized evaluation platforms specifically designed for surgical contexts remain absent. To address this limitation, we present SurgVLA-Bench, the first comprehensive benchmark for evaluating VLA models in laparoscopic surgical robotics. Leveraging the SurRoL simulation platform, we construct a hierarchical task taxonomy ranging from atomic actions to complete surgical procedures, complemented by a multi-dimensional evaluation framework assessing action accuracy and semantic consistency. We then systematically evaluate two representative paradigms, including autoregressive models such as OpenVLA, and flow matching models such as $π_{0}$, $π_{0.5}$, and SmolVLA. Our experiments show that autoregressive models tend to excel in semantic understanding, while flow matching models often achieve higher task precision but may face generalization trade-offs. However, even the best-performing models remain far from satisfactory, as the constrained endoscopic field of view, restricted viewing angles, and frequent occlusions persist as fundamental physical bottlenecks. The code and data are available at https://github.com/VCL-HNU/SurgVLA
고급 수술 로봇 기술의 발전으로 로봇 보조 내시경 점막하 박리술(ESD)은 큰 병변의 en-bloc resection(일괄 절제)에 유망한 접근법이 되었으며, 재발 감소 및 장기 예후 개선의 잠재력을 지니고 있다. 그러나 ESD의 기술적 복잡성과 합병증 위험은 정확한 절제 통로와 안전한 조직 여백을 유지하기 위해 안정적이고 정밀한 시각적 가이던스를 요구한다. 밀집 신뢰도 필드(dense confidence fields)는 선호 절제 영역과 주변 조직으로의 공간적 전이를 모두 설명함으로써 이 목적에 효과적인 표현을 제공한다. 그러나 연기, 정반사(specular highlights), 조직 변형, 약한 텍스처, 목표 영역의 얇은 기하학적 구조로 인해 동적인 내시경 장면에서 신뢰할 수 있는 신뢰도 필드 추정은 여전히 어려운 과제이다. 이러한 문제를 해결하기 위해 본 연구는 절제 가이던스를 기하학 인식 신뢰도 필드 추정(geometry-aware confidence field estimation) 문제로 정식화하고, 사전학습(pre-trained)된 DINOv3 백본을 기반으로 하는 기하학 인식 신뢰도 필드 네트워크인 GeoCFNet을 제안한다. GeoCFNet은 클래스 토큰(class-token) 맥락과 밀집 패치 표현을 집계하는 토큰 차별화 융합(Token-Differentiated Fusion) 모듈, 신뢰도 회귀(confidence regression)를 위한 SegFormer 디코더, 공간적 일관성과 국소 기하학적 전이를 보존하는 기하학 인식 공간 정규화(Geometry-Aware Spatial Regularization, GASR)를 통합한다. 실험 결과 GeoCFNet은 RMSE 0.0480, PSNR 27.1995, SSIM 0.3397, CC 0.2466을 달성하여, 로봇 보조 ESD 가이던스를 위한 정확하고 기하학적으로 안정적인 신뢰도 필드 추정이 가능함을 보여준다.