SoftEnNet: Symbiotic Monocular Depth Estimation and Lumen Segmentation for Colonoscopy Endorobots
원문 초록
Colorectal cancer is the third most common cause of cancer death worldwide. Optical colonoscopy is the gold standard for detecting colorectal cancer; however, about 25 percent of polyps are missed during the procedure. A vision-based autonomous endorobot can improve colonoscopy procedures significantly through systematic, complete screening of the colonic mucosa. The reliable robot navigation needed requires a three-dimensional understanding of the environment and lumen tracking to support autonomous tasks. We propose a novel multi-task model that simultaneously predicts dense depth and lumen segmentation with an ensemble of deep networks. The depth estimation sub-network is trained in a self-supervised fashion guided by view synthesis; the lumen segmentation sub-network is supervised. The two sub-networks are interconnected with pathways that enable information exchange and thereby mutual learning. As the lumen is in the image's deepest visual space, lumen segmentation helps with the depth estimation at the farthest location. In turn, the estimated depth guides the lumen segmentation network as the lumen location defines the farthest scene location. Unlike other environments, view synthesis often fails in the colon because of the deformable wall, textureless surface, specularities, and wide field of view image distortions, all challenges that our pipeline addresses. We conducted qualitative analysis on a synthetic dataset and quantitative analysis on a colon training model and real colonoscopy videos. The experiments show that our model predicts accurate scale-invariant depth maps and lumen segmentation from colonoscopy images in near real-time.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
이벤트-이미지 단안 깊이 추정을 위한 깊이 가설 기반 반복 정제 기법
Depth Hypothesis Guided Iterative Refinement for Event-Image Monocular Depth Estimation
이벤트 카메라는 뛰어난 동적 특성을 지니고 있어 단안 깊이 추정(MDE) 분야에서 큰 잠재력을 보여줍니다. 그러나 기존 방법들은 주로 문맥적 특징을 최적화하여 성능을 개선하는 데 그치며, 직접적인 전체 깊이 회귀가 지닌 불량조건(ill-posed) 문제와 비선형적 특성으로 인해 여전히 어려움을 겪고 있습니다. 본 논문에서는 최초의 이벤트-이미지 단안 깊이 반복 정제 프레임워크인 HypoDepth를 제안합니다. 이산적인 깊이 가설 볼륨(DHV)을 도입하여 깊이 회귀 문제를 제약된 깊이 탐색 과제로 변환합니다. 구체적으로, DHV 특징과 문맥적 특징 사이에 3D 비용 볼륨(cost volume)을 구성하고 다중 스케일 상관관계 탐색을 수행하여 안정적인 잔차 최적화를 유도합니다. 이 경량 비용 볼륨은 다중 해상도에 걸쳐 효율적인 전역-지역(global-to-local) 정제를 가능하게 합니다. 제안하는 방법은 DSEC 및 MVSEC에서 최고 성능(SOTA)을 달성하고 강력한 제로샷(zero-shot) 일반화 능력을 보이며 기존 기법들을 능가합니다. 아울러 제안된 초소형 모델은 정확도와 효율성 사이에서 뛰어난 균형을 달성하여 자원이 제한된 기기에서도 실시간 성능을 발휘할 수 있도록 합니다.
학습된 관절 운동 제약을 이용한 단안 영상 기반 수술 운동학
Surgical Kinematics from Monocular Video with Learned Articulated Motion Constraints
로봇 수술의 객관적 평가는 기구 운동학을 사용하며, 영상만 이용 가능한 경우 이를 재구성해야 한다. 우리는 단안 영상으로부터 기구의 위치, 방향 및 jaw 각도를 추정하는 운동학 재구성 네트워크를 제안한다. 시각 표현은 고정(frozen) DINOv3 특징에 대한 전역 어텐션 풀링과 파인튜닝된 SAM 3.1 마스크로 얻은 기구 랜드마크에서의 국소 풀링을 결합한다. 공유 트랜스포머 인코더와 시간적 합성곱 헤드는 이 표현을 마스크 기하, 단안 깊이, 및 팔(arm)별 다층 회귀 네트워크의 시각 상태 추정치와 통합한다. 위치 분기는 이동 거리를 보존하기 위해 변위 크기와 방향을 각각 예측한다. 예측된 상태 관측 및 운동 증분에 대해 미분 가능 가중 최소자승법으로 궤적을 맞추며, 누적 예측 회전에 상대적인 쿼터니언 관측을 표현하여 이차 방향 목적함수를 얻는다. 2,802개의 Open-H 에피소드에서 재구성을 평가한다. 주 Open-H 벤치마크에서 LiveMAE와 비교할 때, 본 방법은 경로 길이 평균 절대 오차를 0.45cm에서 0.34cm로 줄이고, 동작 분할을 위한 시간적 평균 평균 정밀도를 44.54%에서 54.44%로 높인다.
FRAMES: 휴머노이드 로코-매니퓰레이션을 위한 체화된 스킬의 실패 복구 및 모니터링
FRAMES: Failure Recovery And Monitoring of Embodied Skills for Humanoid Loco-Manipulation
대규모 언어 모델(LLM) 플래너는 자연어 지시를 분해하고 재사용 가능한 로봇 스킬을 선택할 수 있지만, 올바른 스킬을 선택하는 것만으로는 물리적 실행의 성공을 보장하지 못합니다. 이러한 격차는 접근, 파지, 운반 또는 배치 중 발생하는 오류가 긴 시계(long-horizon) 계획의 나머지 부분을 무효화할 수 있는 휴머노이드 로코-매니퓰레이션(loco-manipulation)에서 특히 중요합니다. 본 논문에서는 CEER 전신 제어기(whole-body controller) 위에서 작동하는 Unitree G1 휴머노이드를 위한 실패 인식 감독 프레임워크인 FRAMES를 제시합니다. 플래너 에이전트(Planner Agent)는 매개변수화된 중간 수준 스킬을 통해 하위 작업을 선택하며, 비전-언어 모델(VLM) 기반의 모니터 에이전트(Monitor Agent)는 시계열 다중 뷰 관측과 구조화된 로봇 및 접촉 증거를 사용하여 각 스킬을 평가합니다. 감지된 실패는 활성화된 스킬을 중단시키고 복구 에이전트(Recovery Agent)에 그라운딩된 피드백을 제공합니다. 본 프레임워크는 이전 스킬 경험을 재사용하기 위한 메모리 모듈과 깊이 및 분할(segmentation)을 통한 기하학적 그라운딩을 추가로 포함합니다. 저자들은 5가지 작업에 걸쳐 50회의 실패와 50회의 성공적인 실행으로 구성된 100회의 시행을 사용하여 MuJoCo 환경에서 프레임워크의 모니터링 모듈을 독립적으로 평가합니다. 모니터는 50회 중 48회의 실패를 감지하고, 50회 중 46회의 성공적인 실행을 올바르게 수용하여 94.0%의 전체 정확도를 달성합니다. 이러한 결과는 모니터링 구성요소에 대한 초기 증거를 제공하며, 완전한 복구 루프의 엔드투엔드 평가는 현재 진행 중입니다.
TransBiolab: 혼잡한 투명 생의학 객체의 실세계 다중 시점 데이터셋
TransBiolab: A Real-World Multi-View Dataset of Cluttered Transparent Biomedical Objects
자율 생의학 실험실은 투명 플라스틱 기구를 인식하고, 위치를 특정하며, 조작하는 데 점점 더 시각적 지각에 의존하고 있지만, 이 환경을 위한 고품질 실세계 데이터셋은 여전히 제한적이다. 도메인 관련 데이터의 부족은 특히 혼잡한 다중 객체 장면에서 제약적이며, 여기서 상호 가림과 시점 의존적 외관 변화는 최신 시각 기반 모델(foundation model)에서도 여전히 어려운 과제로 남아 있다. 기존 투명 객체 데이터셋은 분할(segmentation), 깊이, 자세 추정을 발전시켜 왔지만, 일반적으로 실험실 조작 장면을 특징짓는 다중 객체 혼잡, 가림, 보정된 다중 시점 캡처의 결합된 설정을 평가하지는 않는다. 이 공백을 해소하기 위해, 우리는 보정된 다중 시점 시퀀스로 캡처된 혼잡한 투명 생의학 객체의 실세계 RGB-D 데이터셋인 TransBiolab을 제시한다. TransBiolab은 98개 장면에서 161,315프레임과 15가지 실험실 객체 유형에 걸친 103만 개의 인스턴스 주석을 포함하며, 6D 자세, 전체 및 가시 마스크, 깊이, 프레임별 카메라 보정을 제공한다. 데이터셋은 운영 난이도를 반영하는 세 가지 축을 따라 구성된다: 객체 범주, 프레임 내 객체 총수, 카메라 시점. 우리는 또한 분할, 깊이 추정 및 완성(completion), 6D 자세 추정을 위한 데이터셋 중심 벤치마크를 정의하고, 공개된 주석과 보정을 통해 가능해진 시스템 수준의 로봇 조작 평가를 보고한다. 반복되는 투명 인스턴스, 혼잡, 다중 시점 실험실 캡처에 초점을 맞춤으로써, TransBiolab은 자율 실험실 조작에서 분할, 깊이 추정, 6D 자세 추정, 다중 시점 추론을 위한 자원을 제공한다. 프로젝트 페이지: https://dualtransparency.github.io/TransBiolab/.
SAM 기반 의사 주석과 상태 공간 상호작용 확산을 통한 약지도 RGB-D 현저 객체 검출
Weakly-Supervised RGB-D Salient Object Detection via SAM-driven Pseudo Annotation and State Space Interaction-based Diffusion
약지도 RGB-D 현저 객체 검출(SOD)은 픽셀 수준 주석의 큰 부담을 줄이기 위해 연구되어 왔다. 그러나 스크리블 주석은 객체의 구조와 세부 정보를 갖추지 못해 부정확한 현저성 맵을 초래한다. 본 논문에서는 스크리블 지도 RGB-D SOD 방법을 제안하며, 이는 Segment Anything Model(SAM) 기반 의사 주석 생성 방법(SAM-PAG)과 상태 공간 상호작용 기반 조건부 확산 모델(S²Diff)으로 구성된다. 구체적으로 SAM-PAG는 희소한 지도 정보 문제를 해결하도록 맞춤 설계되었다. SAM-PAG에서는 이중 분기 구조와 분할 마스크의 일관성을 통해 희소한 스크리블을 조밀한 픽셀 수준 의사 주석으로 확장하기 위해 고급 SAM을 채택한다. S²Diff에서는 조건 정보의 안내 하에 노이즈가 있는 현저성 맵을 반복적으로 정제하여 정확한 현저성 맵을 생성하기 위해 확산 모델을 채택한다. 당연히 우리 S²Diff의 핵심은 조건 특징의 획득과 현저성 맵의 노이즈 제거에 있다. 전자에 대해, 주파수 통합과 암시적-명시적 상태 공간 상호작용을 통해 다중 모달 특징을 엮는 크로스 모달 조건부 생성 모듈을 사용하여 효과적으로 전역 조건 특징을 달성한다. 후자에 대해, 조건적 문맥으로 객체 정보를 강화하고 노이즈 간섭을 완화하기 위해 문맥 주입 모듈을 사용한다. SAM-PAG와 S²Diff의 긴밀한 협력을 통해, 우리 방법은 관련 스크리블 지도 방법들을 능가하고 7개 데이터셋에서 완전 지도 방법과 비교해 경쟁력 있는 성능을 달성한다. 우리 방법의 코드와 결과는 https://github.com/Switch457/WeakS2Diff_SOD 에서 확인할 수 있다.
DM-KG: 거리뷰 영상에서 비전-언어 모델의 공간 인지 능력을 향상시키는 새로운 방법
DM-KG: A Novel Method for Boosting Spatial Cognition of Vision-Language Models in Street View Imagery
비전-언어 모델(VLM)이 지리공간 질의응답과 시각적 장면 이해에 점점 더 배치됨에 따라, 복잡한 논리적 추론을 위해 거리뷰 영상에서의 공간 인지 능력을 향상시키는 것이 핵심 연구 과제로 부상했다. 그러나 기존 VLM은 실제 거리뷰 장면에서 물체의 위치, 거리, 방향을 인지할 때 "공간 의미 환각(spatial semantic hallucinations)"을 자주 겪는다. 또한 이러한 오류는 추적 및 보정에도 종종 잘 대응되지 않아, 지리공간 작업에서의 실용적 배치에 심각한 병목이 된다. 이러한 긴급한 과제를 해결하기 위해, 본 연구는 거리뷰 영상을 위한 구조적으로 기반을 둔 공간 표현 프레임워크인 DM-KG(Direction-Metric Knowledge Graph)를 제안한다. 단일 2D 영상에서 개체 간의 방향적 및 거리(metric) 관계를 명시적으로 추출함으로써, 이 프레임워크는 구조화된 지식 그래프를 통해 VLM의 공간 추론 정확도를 향상시킨다. 구체적으로, panoptic segmentation과 metric depth estimation을 통합하여 개체 수준의 3D 공간 좌표를 견고하게 계산한다. 이후 개체 쌍의 시계 방위각(clock azimuths)과 유클리드 거리를 JSON 형식의 지식 그래프로 인코딩하고, 이를 VLM에 공간 추론을 안내하는 명시적 기하학적 사전(prior)으로 주입한다. 공개 공간 질의응답(QA) 벤치마크에서의 실험 결과, DM-KG는 거리 추정의 평균 절대 오차(MAE)를 31.1% 줄이고 방향 판단의 평균 각도 오차를 65.8% 줄였으며, 동시에 높은 QA 성공률을 유지함을 보여준다. 완전한 증강 추론 파이프라인을 구축함으로써, 본 연구는 거리뷰 시나리오에서 VLM의 공간 인지 능력을 크게 향상시키며, 개방 환경에서의 지리 시각 질의응답(GeoVQA)을 위한 유연하고 일반화 가능하며 해석 가능한 프레임워크를 제공한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.