Autonomously Navigating a Surgical Tool Inside the Eye by Learning from Demonstration
원문 초록
A fundamental challenge in retinal surgery is safely navigating a surgical tool to a desired goal position on the retinal surface while avoiding damage to surrounding tissues, a procedure that typically requires tens-of-microns accuracy. In practice, the surgeon relies on depth-estimation skills to localize the tool-tip with respect to the retina in order to perform the tool-navigation task, which can be prone to human error. To alleviate such uncertainty, prior work has introduced ways to assist the surgeon by estimating the tool-tip distance to the retina and providing haptic or auditory feedback. However, automating the tool-navigation task itself remains unsolved and largely unexplored. Such a capability, if reliably automated, could serve as a building block to streamline complex procedures and reduce the chance for tissue damage. Towards this end, we propose to automate the tool-navigation task by learning to mimic expert demonstrations of the task. Specifically, a deep network is trained to imitate expert trajectories toward various locations on the retina based on recorded visual servoing to a given goal specified by the user. The proposed autonomous navigation system is evaluated in simulation and in physical experiments using a silicone eye phantom. We show that the network can reliably navigate a needle surgical tool to various desired locations within 137 microns accuracy in physical experiments and 94 microns in simulation on average, and generalizes well to unseen situations such as in the presence of auxiliary surgical tools, variable eye backgrounds, and brightness conditions.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
GeoScaffold: 효율적인 비전-언어 내비게이션을 위해 재구성을 통한 컴팩트 기하학적 잠재 표현 학습
GeoScaffold: Learning Compact Geometric Latents via Reconstruction for Efficient Vision-Language Navigation
최근 비전-언어 내비게이션(VLN) 시스템은 1인칭 시점 RGB 관측값과 지시문을 저수준 행동으로 직접 매핑하는 스트리밍 Video-LLM 정책을 점점 더 많이 채택하고 있습니다. 그러나 이러한 정책들은 2D 사전학습(pre-training)으로부터 취약한 3D 기하학적 사전 지식(prior)을 물려받습니다. 기존의 기하학 인지형 확장 기법들은 깊이(depth) 센서, 3D 인코더, 스텝별 인식 도구 호출 등 지속적인 추론(inference) 시간 비용을 초래합니다. 본 논문에서는 기하학적 정보를 정책 자체에 내재화함으로써 이러한 비용을 학습(training) 시점에 단 한 번만 치르는 기하학적 지도 프레임워크인 GeoScaffold를 제안합니다. GeoScaffold는 먼저 학습 궤적의 깊이 맵에서 컴팩트한 깊이 토크나이저를 학습한 뒤 이를 동결합니다. 그런 다음 소수의 학습 가능한 기하학 쿼리 토큰으로 정책을 파인튜닝(fine-tuning)하며, 해당 은닉 상태가 깊이, 연결성, 주행 가능성(traversability)과 같이 내비게이션에 중요한 기하학적 정보를 재구성하도록 학습시킵니다. 이러한 지도 학습은 쿼리 상태를 행동 디코딩을 위한 컴팩트한 기하학적 잠재 표현으로 변환하며, 공유 가중치를 통해 백본 자체의 표현에도 기하학적 정보를 내재화합니다. 비계(scaffold)처럼 토크나이저, 타깃 생성기, 재구성 헤드는 학습 후 폐기되어 백본과 행동 인터페이스를 그대로 유지합니다. 광범위한 실험을 통해 GeoScaffold가 연속적인 VLN 벤치마크(benchmark)에서 주요 비전 전용 내비게이터들을 지속적으로 능가함을 보였으며, 공간을 인지하는 임바디드(embodied) 내비게이션 모델의 경량 엣지 배포(edge deployment)를 위한 실용적인 패러다임을 제공합니다.
고해상도 Depth와 초저해상도 RGB를 활용한 프라이버시 보존 시맨틱 세그멘테이션
Privacy-Preserving Semantic Segmentation from High-Resolution Depth and Ultra-Low-Resolution RGB
모바일 로봇이 일상 환경에 점차 융합됨에 따라, 탑재된 온보드 카메라로 인해 발생하는 프라이버시 위험이 커지는 우려로 부각되고 있습니다. 초저해상도(ULR) RGB는 원천적으로 시각적 프라이버시 노출을 완화할 수 있으나, ULR 외형 정보만으로는 의미론적 및 공간적 이해가 크게 제한됩니다. 이에 따라 본 논문에서는 고해상도(HR) depth와 ULR RGB를 결합하여 세밀한 시각 정보는 제한하면서도 조밀한 기하학적 구조는 보존하는 프라이버시 보존형 비대칭 센싱 설정을 도입합니다. HR depth와 ULR RGB 간의 극심한 정보 불균형을 해결하기 위해, HR 기하학 정보를 활용하여 시맨틱 지향적 RGB 재구성 및 RGB-D 세그멘테이션을 유도하는 결합형 2D 프레임워크를 제안합니다. 신뢰성 높은 프레임 단위 예측에도 불구하고, 비대칭 HR depth-ULR RGB 설정에서는 일관된 씬(scene) 수준의 이해가 여전히 어렵습니다. 이에 따라 3D 세그멘테이션을 위해 2D 시맨틱 특징을 통합하는 엔드투엔드(end-to-end) 2D-to-3D 파이프라인을 개발합니다. ScanNet 기반 실험 결과, 제안하는 방법은 프라이버시 보존 접근법 중 최고의 2D 및 3D 세그멘테이션 성능을 달성하며 SUN RGB-D 및 SceneNN에 대해 가장 강력한 제로샷(zero-shot) 전이 성능을 보여줍니다. 프라이버시 복구 가능성 분석을 통해 제안된 HR depth-ULR RGB 입력이 민감한 데이터의 복구 가능성을 낮춤을 확인하였으며, 실제 로봇 실험을 통해 생성된 3D 시맨틱이 객체 목표 내비게이션(object-goal navigation)에 유용함을 입증합니다.
시각장애인 다중모달 이동 보조를 위한 저렴한 AI 통합 스마트 지팡이
An Affordable AI-Integrated Smart Cane for Multimodal Mobility Assistance of Visually Impaired Users
전 세계 22억 명 이상이 시각장애를 겪고 있으나, 기존 흰 지팡이는 높이 있는 위험 요소를 감지하거나 의미론적 환경 맥락을 제공할 수 없다. 기존 AI 보조 내비게이션 시스템은 일반적으로 고가의 하드웨어 또는 클라우드 연결에 의존하여, 자원이 제한된 환경에서의 접근성을 제한한다. 본 논문은 초저전력 Raspberry Pi Zero 2W에서 다중모달 이동 보조를 위해 설계된 저렴한(88 USD) 완전 오프라인 AI 통합 스마트 지팡이를 제안한다. 시스템은 RGB 비전 감지와 Time-of-Flight(ToF) 거리 추정을 융합하고, INT8 양자화 SSD MobileNet V1 모델을 거리 인식 진동 촉각 피드백 및 실시간 오디오 알림과 결합한다. 제한된 하드웨어에서의 운영 견고성을 위해, 멀티프로세싱 아키텍처가 센서 획득, 신경망 추론, 햅틱 피드백을 장애 안전 센싱 지원과 함께 독립 프로세스로 분리한다. 실내 이동 시나리오에 걸친 실험 평가는 macro-averaged F1-score 0.82(정밀도: 0.85, 재현율: 0.81), 평균 end-to-end 지연 330 ms, 최대 전력 소모 2.8 W를 보여준다. 12명 참가자(SUS: 78.5, NASA-TLX)를 대상으로 한 예비 사용성 연구는 긍정적인 사용자 인식과 향상된 장애물 인식을 보여주었다. 제안된 프로토타입은 비용에 민감한 이동 보조를 위한 프라이버시 보존형 엣지 네이티브 보조 지능 배포의 타당성을 검증한다.
StenoVLA-3D: 위장관 협착 통과를 위한 3D 인식 추론 VLA
StenoVLA-3D: 3D-Aware Reasoning VLA for Navigation Through Gastrointestinal Stenoses
자율 내시경 내비게이션에서는 정책 모델이 질감 정보가 빈약한 단안(monocular) 관측으로부터 행동을 예측하고, 안전한 제어 결정을 내려야 하며, 병변이 시야(field of view)를 벗어난 뒤에도 병변에 대한 증거를 유지해야 한다. 기존 비전-언어-행동(VLA) 모델은 주로 시각적 외관과 단기 문맥에 의존하여 기하학적 그라운딩(grounding)과 에피소드 수준 보고가 제한된다. 본 연구는 협착(stenotic) 구간 통과 내비게이션을 위한 3D 인식 VLA 프레임워크인 StenoVLA-3D를 제안한다. 학습된 기하 게이트 융(geometry-gated fusion)을 통해 포인트 맵(point-maps)을 Cosmos-Reason 2 백본에 통합하고, 통과 진행(traversal progress)을 모델링하기 위한 시간적 상태 분기(temporal state branch)도 제안한다. 추론-행동 백본은 행동과 함께 그라운딩된 추론을 예측하며, 전용 헤드는 협착 형상을 추정하고 최종 병변 보고서를 생성한다. 또한 병변 주석, 행동, 시간적으로 그라운딩된 추론을 포함한 에피소드 수준 데이터셋 EndoCausal를 도입한다. 보류(hold-out)된 40개 녹화 테스트 에피소드에서 StenoVLA-3D는 95.2%의 의미 정확도와 83.4%의 행동 정확도를 달성한다. 물리적 3-DoF 내시경에서는 식도 및 결장 팬텀(각 36회 시험)에서 각각 88.9% 및 77.8%의 과제 성공률을 기록하여, 평가한 베이스라인을 크게 상회한다.
시각-언어 내비게이션을 위한 인스턴스 강화 의미 지도
Instance-Enriched Semantic Maps for Visual Language Navigation
시각-언어 내비게이션(VLN)은 자연어 지시를 따라 복잡한 환경에서 구현체 에이전트(embodied agent)가 이동할 수 있도록 하는 것을 목표로 한다. 최근 접근법들은 의미 공간 지도(semantic spatial maps)를 구축하고 추론과 의사결정을 위해 대규모 언어 모델(LLM)을 활용한다. 이러한 발전에도 불구하고, 기존 시스템은 인스턴스 수준의 객체 세부 정보와 다양한 사용자 질의에 대한 견고성이 부족하여 복잡한 실내 환경에서의 신뢰할 수 있는 내비게이션을 제한한다. 이 한계를 해결하기 위해, 우리는 세 가지 핵심 기여를 갖춘 통합 프레임워크인 Instance-Enriched Semantic Maps를 제안한다: (1) 개방 어휘(open-vocabulary) panoptic segmentation을 통해 색상 및 깊이 관측으로부터 지도를 구축하고, 수직적 구분을 보존하며 작은 객체를 포착하면서, 방 수준(room-level) 맥락으로 풍부화된 다양한 의미 속성과 자연어 캡션을 저장하는 인스턴스 수준 2.5차원(2.5D) 풍부 정보 매핑. (2) LLM 기반 목표 선택을 통한 견고한 질의 처리로, 유형별 전문가(type-specialized experts) 간에 질의를 동적으로 라우팅하고 점수 수준(score-level) 융합을 통해 출력을 통합하여, 다양한 질의 표현에 걸쳐 일관된 목표 선택을 가능하게 함. (3) 내비게이션에 필요한 충분한 공간 정보를 보존하면서 3차원(3D) scene-graph 접근법 대비 약 96% 감소를 달성하는 저장 효율적 의미 표현. 제안된 2.5D 표현은 prediction-normalized Area Under the Curve(AUC)에서 3D 기준선보다 27% 이상 우수한 성능을 보인다. 내비게이션 실험에서, 우리 방법은 다양한 질의 유형에 걸쳐 기준선 대비 객체 검색에서 17% 이상, 내비게이션 성공률에서 23% 이상의 개선을 달성한다. 프로젝트 페이지는 https://rcilab.github.io/iesm_vln 에서 확인할 수 있다.
RASR: 메트릭 UAV 내비게이션을 위한 거리 인식형 스케일 복원
RASR: Range-Aware Scale Recovery for Metric UAV Navigation
GNSS(Global Navigation Satellite System) 차단 환경에서의 이미지 목표(image-goal) UAV 내비게이션에서 핵심적인 과제는 현재 시점과 목표 시점 간의 메트릭 거리와 방향(heading)을 추정하는 것이다. 밀집 쌍별(pairwise) 기하 모델은 상대적인 장면 구조를 포착하지만, 보정된 메트릭 스케일 없이는 내비게이션에 필요한 신뢰할 수 있는 거리 추정값을 직접 제공할 수 없다. 전역 스케일 보정이 지배적인 스케일 바이어스를 보정하더라도, 남은 오차는 거리에 따라 체계적으로 변한다. 본 논문에서는 전역 스케일 보정에 거리 인식형 잔차 보정을 더해 보완하는 Range-Aware Scale Recovery(RASR)를 제안한다. RASR은 고정(frozen)된 Matching And Stereo 3D Reconstruction(MASt3R) 백본이 추출한 쌍별 기하를 간결한 디스크립터(descriptor)로 인코딩하고, 스케일 복원 핵심 모듈을 과제별 명령 보정과 분리한다. UAVs in Multimedia 2026 PairUAV 챌린지의 공식 온라인 평가에서 RASR은 총 오차 0.003189를 기록했으며, 전역 스케일 보정만 사용한 경우보다 더 낮은 총 오차를 달성했다. 결과는 거리 인식형 잔차 보정이 전역 스케일 보정을 넘어 메트릭 거리 추정을 향상시킨다는 것을 보여준다. 코드와 자료는 https://github.com/lht-research/rasr-pairuav 에서 확인할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.