단안 대장내시경 3D 재구성은 수술 로봇 대장내시경에 중요하지만, 낮은 텍스처, 정반사, 제한된 시야 중첩, 비강체 조직 운동 때문에 여전히 어렵다. 기존 다중 시점 3D 재구성 방법은 안정적인 대응(correspondence)과 근사 강체 가정에 의존하며, 이는 대장내시경에서 자주 위반된다. 기존 내시경 방법은 종종 도메인 특화 지도에 의존하지만, 기하학 기반 모델(geometry foundation model)을 임상 대장내시경에 적응시키기에는 in-vivo 라벨 데이터가 충분하지 않다. 본 연구는 사전학습된 VGGT 위에 구축한 크로스 도메인 반지도 학습 프레임워크 Colon3R을 제안한다. 라벨이 있는 phantom 및 시뮬레이션 데이터에서 결합된 카메라·깊이·pointmap 기하를, 목표 도메인 기하 주석 없이 라벨 없는 in-vivo 대장내시경으로 전이한다. phantom과 시뮬레이션 데이터만으로 학습하는 소스 전용 미세조정과 달리, Colon3R은 교사 모델에서 유도한 교차 시점 지도를 통해 라벨 없는 in-vivo 영상을 직접 활용한다. 제안한 계층적 준강체(quasi-rigid) 신뢰도는 시퀀스, 방향 쌍, 픽sel 수준에서 신뢰할 수 있는 지도를 선택하고, 소스 보존 적응(source-preserving adaptation)은 목표 도메인 적응 동안 학습된 결합 기하를 유지한다. 광범위한 실험에서 본 방법은 깊이, pointmap, 카메라 포즈 추정에서 최신 방법들보다 전반적으로 우수한 성능을 보인다. 실제 in-vivo 대장내시경에 대한 정성 비교는 임상 도메인 이동 하에서도 경쟁 방법 대비 훨씬 더 완전하고 기하적으로 일관된 재구성을 보여준다. 코드는 논문이 accept된 후 공개될 예정이다.
2015~2026년 사이 출판된 27편의 대장내시경 용종 분할(polyp segmentation) 논문을 체계적으로 감사한 결과, 25편이 경계 정확도 지표인 Hausdorff distance를 생략하고, 동일 데이터셋에 대해 5가지 이상의 호환 불가능한 훈련/테스트 분할 프로토콜이 혼재하며, 26편이 통계적 유의성 검정 없이 성능을 주장하는 세 가지 구조적 문제가 발견되었다. 이를 바탕으로 5가지 항목의 용종 분할 보고 체크리스트(PSRC)를 제안하며, 통제된 재평가를 통해 보고된 지표가 경계 및 재현율 실패를 은폐하고 지표 선택에 따라 최고 모델이 달라짐을 실증적으로 보여준다.
사후 정제(post-refinement)는 호스트 추론 이후 대장내시경 분할 성능을 향상시킬 수 있지만, 많은 설계들이 여전히 별도의 보정 헤드나 다단계 파이프라인에 의존하여 무시할 수 없는 매개변수 또는 계산 비용이 발생한다. 폴립 분할에서 호스트 예측은 전체적으로 이미 합리적인 경우가 많으며, 잔여 오류는 모호한 경계와 어려운 국소 구조 주변에 집중되는 경향이 있다. 이러한 잔여 오류는 대장내시경 이미지에서 중요한데, 유용한 마스크는 병변 영역의 정확한 커버리지와 미세한 점막 전환에 걸친 깔끔한 윤곽 묘사를 필요로 하기 때문이다. 이러한 환경은 전체 마스크를 재처리하는 것보다 예측 공간에서의 선택적 국소 수정에 적합하다. 이에 우리는 예측 공간에서 위험 기반 재귀적 정제를 위한 경량 사후 정제 플러그인인 RIGS-Refiner를 제안한다. 동결된 호스트 앵커 예측을 시작점으로, RIGS-Refiner는 경량 이미지 사전 정보와 예측 단서를 추출하고, 위험 기반 업데이트를 적용하며, 공유 재귀 셀을 통해 잔여 보정값을 기록한다. 이 모듈은 +519개의 매개변수와 +0.631 GFLOPs만을 추가하여 배포를 위한 정제 경로를 간결하게 유지한다. 실험은 Kvasir-SEG를 학습에 사용하고, PraNet과 SegFormer-B0 두 가지 동결 호스트 하에서 Kvasir, ClinicDB, ColonDB, ETIS를 평가에 활용한다. 결과는 두 호스트 모두에서 일관된 성능 향상과 대표적인 사후 정제 방법들에 비해 효율성-정확도 균형 면에서 우수함을 보여준다. 코드는 https://github.com/tyui99/RIGS-Refiner 에서 이용 가능하다.
Early screening via colonoscopy is critical for colon cancer prevention, yet developing robust AI systems for this domain is hindered by the lack of densely annotated, long-sequence video datasets. Existing datasets predominantly focus on single-class polyp detection and lack the rich spatial, temporal, and linguistic annotations required to evaluate modern Multimodal Large Language Models (MLLMs). To address this critical gap, we introduce Colon-Bench, generated via a novel multi-stage agentic workflow. Our pipeline seamlessly integrates temporal proposals, bounding-box tracking, AI-driven visual confirmation, and human-in-the-loop review to scalably annotate full-procedure videos. The resulting verified benchmark is unprecedented in scope, encompassing 528 videos, 14 distinct lesion categories (including polyps, ulcers, and bleeding), over 300,000 bounding boxes, 213,000 segmentation masks, and 133,000 words of clinical descriptions. We utilize Colon-Bench to rigorously evaluate state-of-the-art MLLMs across lesion classification, Open-Vocabulary Video Object Segmentation (OV-VOS), and video Visual Question Answering (VQA). The MLLM results demonstrate surprisingly high localization performance in medical domains compared to SAM-3. Finally, we analyze common VQA errors from MLLMs to introduce a novel "colon-skill" prompting strategy, improving zero-shot MLLM performance by up to 9.7% across most MLLMs. The dataset and the code are available at https://abdullahamdi.com/colon-bench .