PyTorchKR Papers

최신 논문

총 11편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02343v1cs.CV

SCOPE-4D: 내시경 4D 기하학 파운데이션 모델

SCOPE-4D: Endoscopic 4D Geometry Foundation Models

기하학적 이해는 내시경 내비게이션과 로봇 보조를 뒷받침하지만, 신뢰할 수 있는 내시경 기하학을 학습하는 것은 기하학적 주석의 부족과 카메라 움직임과 조직 변형 간의 모호성이라는 두 가지 과제에 직면해 있습니다. 본 논문에서는 단안 RGB 비디오로부터 단일 순전파(forward pass)만으로 카메라 파라미터, 조밀한 기하학, 3D 조직 궤적을 공동으로 예측하는 내시경 4D 기하학 파운데이션 모델인 SCOPE-4D를 제시합니다. 본 연구의 큐레이션 및 주석 파이프라인은 실제 및 합성 위장 내시경과 복강경을 아우르는 약 5,000개 클립 모음인 SCOPE-5K를 구축합니다. 이 컬렉션은 풍부한 기하학적 감독을 제공하며, 새롭게 수집된 팬텀 및 실제 대장 내시경 평가 세트를 포함합니다. SCOPE-5K에 대한 기하학 지도 미세조정(supervised fine-tuning)은 내시경 사전 지식(prior)을 학습하여 카메라 및 깊이 추정을 향상시킵니다. 공통-잔차 모션(Common--Residual Motion, CRM)은 공통 조직 움직임에 상대적인 국소 변형을 추가로 제약합니다. 기하학적 감독과 더불어, CRM 및 궤적 감독은 기하학 미세조정(fine-tuning) 단독 대비 카메라 및 깊이 추정을 더욱 향상시키는 동시에 조밀한 3D 조직 추적을 가능하게 합니다. 공개 벤치마크 및 새로 수집된 벤치마크에 대한 평가는 도메인 내 및 도메인 외 기하학에서의 강력한 성능, 우수한 3D 추적, 그리고 보다 안정적인 긴 시퀀스 대장 재구성을 입증합니다. 맹검 사용자 연구는 실제 임상 비디오에서 체감 재구성 품질을 추가로 뒷받침합니다. 이러한 결과는 공동 기하학 추정 및 조직 추적을 위한 대규모 내시경 감독과 모션 제약의 가치를 종합적으로 입증합니다.

arXiv:2610.00414v1cs.CV

이미지 잠재 공간에서 퍼지 규칙으로: 위장관 파운데이션 모델의 해석 가능한 분석

From Image Latent Space to Fuzzy Rules: Interpretable Analysis of Gastrointestinal Foundation Model

대규모 데이터셋으로 사전학습된 파운데이션 모델은 의료 영상 과제로의 강력한 전이 가능성을 보여준다. 그러나 이들의 잠재 표현이 임상적으로 관련 있는 정보를 어떻게 인코딩하는지 이해하는 것은 안전이 중요한(safety-critical) 영역에서 여전히 미해결 과제로 남아 있다. 본 연구는 사전학습된 파운데이션 모델의 내부 레이어가 생성하는 패치 수준 특징을 어떠한 미세조정 없이 해석하는 프로토타입 기반 퍼지 규칙 프레임워크를 제안한다. 클래스별 프로토타입은 특징 공간에서의 군집화(clustering)를 통해 학습되며, 이를 통해 압축된 시각적 패턴을 얻는다. 이후 패치 특징은 프로토타입과의 유사도로 표현되고, 사람이 읽을 수 있는 언어적 IF-THEN 조건을 가진 퍼지 규칙에 의해 분류된다. 이 프레임워크는 ImageNet-1K와 GastroNet-5M으로 사전학습된 ViT-S/16 백본의 마지막 두 블록에 걸쳐 적용되며, 동일한 고정(frozen) 특징 조건에서 k-최근접 이웃(k-nearest neighbours), 커널 SVM, 선형 프로빙(linear probing)과 비교하여 무선 캡슐 내시경 분류, 위장관 내시경 분류, 대장 용종 분할(segmentation) 과제에서 벤치마크된다. 실험 분석 결과, 제안된 방법은 백본 미세조정 없이도 이러한 블랙박스 분류기들과 비슷한 정확도에 도달하며, 도메인 특화 사전학습이 판별력이 있으면서도 기호적으로 압축 가능한 특징을 산출함을 보여준다. 도출된 규칙은 실제 데이터로부터 추출되어 해석 가능한 용어로 표현되기 때문에, 합성 의료 영상을 조사하는 도구로도 추가로 활용되어, 생성 모델이 어떤 실제 프로토타입과 규칙을 재현하거나 재현하지 못하는지를 사람이 읽을 수 있는 방식으로 설명하며, 단일 점수로 요약하는 대신 합성 영상이 실제 조직과 어디에서 달라지는지를 국소적으로 파악할 수 있게 한다. 따라서 이 프레임워크는 파운데이션 모델이 임상적으로 관련 있는 구조를 어떻게 조직화하는지에 대한 투명하고 깊이 수준에서 해석 가능한(depth-resolved) 시각을 제공하며, 추출된 규칙의 실용적인 후속 활용 방안도 함께 제시한다.

arXiv:2609.24187v1cs.RO

StenoVLA-3D: 위장관 협착 통과를 위한 3D 인식 추론 VLA

StenoVLA-3D: 3D-Aware Reasoning VLA for Navigation Through Gastrointestinal Stenoses

자율 내시경 내비게이션에서는 정책 모델이 질감 정보가 빈약한 단안(monocular) 관측으로부터 행동을 예측하고, 안전한 제어 결정을 내려야 하며, 병변이 시야(field of view)를 벗어난 뒤에도 병변에 대한 증거를 유지해야 한다. 기존 비전-언어-행동(VLA) 모델은 주로 시각적 외관과 단기 문맥에 의존하여 기하학적 그라운딩(grounding)과 에피소드 수준 보고가 제한된다. 본 연구는 협착(stenotic) 구간 통과 내비게이션을 위한 3D 인식 VLA 프레임워크인 StenoVLA-3D를 제안한다. 학습된 기하 게이트 융(geometry-gated fusion)을 통해 포인트 맵(point-maps)을 Cosmos-Reason 2 백본에 통합하고, 통과 진행(traversal progress)을 모델링하기 위한 시간적 상태 분기(temporal state branch)도 제안한다. 추론-행동 백본은 행동과 함께 그라운딩된 추론을 예측하며, 전용 헤드는 협착 형상을 추정하고 최종 병변 보고서를 생성한다. 또한 병변 주석, 행동, 시간적으로 그라운딩된 추론을 포함한 에피소드 수준 데이터셋 EndoCausal를 도입한다. 보류(hold-out)된 40개 녹화 테스트 에피소드에서 StenoVLA-3D는 95.2%의 의미 정확도와 83.4%의 행동 정확도를 달성한다. 물리적 3-DoF 내시경에서는 식도 및 결장 팬텀(각 36회 시험)에서 각각 88.9% 및 77.8%의 과제 성공률을 기록하여, 평가한 베이스라인을 크게 상회한다.

arXiv:2606.20919v4cs.CV

GIM-ENDO: 위장 장상피화(GIM) 형태학 및 병리학을 위한 다중 모달 내시경 이미지·비디오 데이터셋

GIM-ENDO: A Multimodal Endoscopic Image and Video Dataset for Gastric Intestinal Metaplasia Morphology and Pathology

위장 장상피화(GIM)는 위 이형성증 및 선암의 전구 병변으로, 발암 연쇄 과정에 개입하기 위해서는 조기 발견이 매우 중요하다. 인공지능(AI)은 GIM의 실시간 내시경 검출 및 특성화(characterization)에 상당한 잠재력을 지니고 있다. 그러나 신뢰할 수 있는 AI 모델 개발은 상세한 내시경 주석, 조직학적 아형(완전형 및 불완전형), 표준화된 등급 체계, 정상 점막 패턴을 함께 포함하는 공개적으로 이용 가능하고 조직병리학적으로 검증된 데이터셋의 부재로 제약을 받아 왔다. GIM-ENDO는 이러한 공백을 메우기 위해 설계되었다. 이 데이터셋은 Olympus EVIS X1 시스템을 사용하여 백색광 내시경(WLE) 및 영상 강화 내시경(IEE)—협대역 영상(NBI) 및 확대 NBI(M-NBI)를 포함—으로 수집한 인구통계학적 데이터, 내시경 소견, 조직병리학적 결과, H. pylori 상태, 그리고 24명의 환자(22명 GIM 양성, 2명 정상 대조군)로부터의 이미지 및 비디오 클립으로 구성된다. 주석은 6가지 주요 IEE 내시경 징후—light blue crest(LBC), marginal turbid band(MTB), white opaque substance(WOS), TV pattern(Fusion), 위축(atrophy), map-like erythema(MLE)—을 포함하며, 추가로 2가지 내시경 소견(AHP 및 GA)이 해당되는 경우 기록된다. GIM 아형(완전형 및 불완전형)은 모든 GIM 양성 사례에 대해 주석이 달려 있으며, 완전한 조직학적 샘플링이 가능했던 경우 OLGA 및 OLGIM 병기가 제공된다. 데이터셋은 https://doi.org/10.5281/zenodo.20707267 에서 공개적으로 이용할 수 있다. 이 데이터셋에 대한 최신 업데이트 및 추가 정보는 DataBioX 웹사이트(https://databiox.com)를 참조하라. 본 연구의 축약판은 MICCAI 2026 Open Data Track에 투고되었다.

arXiv:2607.21370v1cs.CV

ASTRA-Net: 약물 유도 수면 내시경 분할을 위한 해부학 특이적 전이 및 표현 정렬

ASTRA-Net: Anatomy-Specific Transfer and Representation Alignment for Drug-Induced Sleep Endoscopy Segmentation

정량적 약물 유도 수면 내시경(DISE)은 특정 해부학적 수준에서 신뢰할 수 있는 기도 경계가 필요하다. 픽셀 수준 DISE 주석은 희소하며, 수동 윤곽선 추출은 정량 평가의 확장성을 제한한다. 이러한 한계를 해결하기 위해, 우리는 제한된 실제 주석을 갖춘 알려진 평면 DISE 분할을 위한 ASTRA-Net을 개발했다. 1단계에서는 컴퓨터 단층촬영(computed tomography)에서 파생된 14,250개의 레이블 없는 가상 내시경 프레임과 실제 DISE 프레임으로부터 ConvNeXt-Base의 중간 표현을 정렬했다. 가상 이미지는 특징 정렬에만 사용되었다. 2단계에서는 401개의 실제 주석 프레임에 대해 네 개의 독립적인 UNet++ 디코더를 파인튜닝했다. 구조화된 제로 마스크 지도(structured zero-mask supervision)는 호환되지 않는 평면 출력과 유효하지 않은 프레임을 제약했다. 여섯 가지 정렬 구성은 최대 평균 불일치(maximum mean discrepancy, MMD), 도메인 적대적 학습(domain adversarial learning), 또는 두 목적 함수를 모두 사용했다. 100개 프레임으로 구성된 홀드아웃 평가 세트에서, MMD만 사용하는 5모델 분할 앙상블은 평균 Dice 0.8927을 달성했으며, 95% 이미지 수준 부트스트랩 구간은 0.8631~0.9160이었다. 평균 교집합 대 합집합(intersection over union)은 0.8239였다. 동일한 정렬 구성의 분류 활성화 변형은 동일한 홀드아웃 프레임에서 제한된 4평면 top-1 정확도 0.92를 달성했다. 이러한 결과는 ASTRA-Net이 실제 주석이 제한적일 때 프레임 수준, 평면 특이적 DISE 경계 구분을 지원할 수 있음을 나타낸다.

arXiv:2607.12785v2cs.CV

ExtraGS: 확산 모델 안내 3D Gaussian Splatting을 통한 내시경 시점 외삽 향상

ExtraGS: Enhancing Endoscopic View Extrapolation via Diffusion-Guided 3D Gaussian Splatting

로봇 보조 최소침습 수술(MIS)은 탐색 및 안전을 위해 신뢰할 수 있는 내시경 인식에 매우 의존합니다. 그러나 기존 내시경은 제한된 시야만을 제공하여 주변 해부학적 구조의 상당 부분이 관측되지 못합니다. Neural Radiance Fields(NeRF)와 3D Gaussian Splatting과 같은 최근 신경 렌더링(neural rendering) 접근법은 내시경 영상으로부터 새로운 시점 합성(novel view synthesis)을 가능하게 하지만, 희소 관측에 의존하기 때문에 학습 궤적을 벗어나 외삽할 때 심각한 아티팩트가 발생하는 경우가 많습니다. 본 연구에서는 확산 모델 안내 3D Gaussian Splatting을 통해 내시경 시점 외삽을 향상시키는 프레임워크인 ExtraGS를 제안합니다. 초기 재구성(reconstruction)에서 출발하여, 사각지대를 적극적으로 탐색하고 정보 이득을 극대화하기 위한 불확실성 안내 가상 카메라 샘플링 전략을 도입합니다. 이 샘플링 위치에서 렌더링된 시점은 확산 모델(diffusion model)을 사용해 정제하여 그럴듯한 해부 구조를 복원하고, 추가 최적화(optimization)를 안내하는 의사 관측(pseudo-observations)을 생성합니다. 생성된 내용이 신뢰할 수 있는 영역을 저하시키는 것을 방지하기 위해, 이러한 의사 관측을 통합할 때 신뢰도 가중 미세조정(fine-tuning) 전략을 채택합니다. 여러 공개 내시경 데이터셋(dataset)에 대한 광범위한 실험을 통해 ExtraGS가 외삽 아티팩트를 크게 줄이고 내시경 새로운 시점 합성에서 최첨단(state-of-the-art) 성능을 달성함을 보여줍니다.

arXiv:2607.12416v1cs.CV

조절 가능한 가시성 향상을 갖춘 가상 크로모엔도스코피

Virtual Chromoendscopy with Tunable Visibility Enhancement

크로모엔도스코피(chromoendoscopy, CE)는 위 표면에 인디고카민(indigo carmine) 청색 염료를 분사하여 조기 암과 같은 위 병변의 가시성을 높이는 일반적인 임상 시술이다. CE는 병변 검출에 효과적이지만, 염료를 준비하고 분사하는 데 추가 비용과 시간이 필요하며, 이는 환자와 의료진 모두에게 바람직하지 않다. 이 문제를 극복하기 위해 최근 가상 크로모엔도스코피(virtual chromoendoscopy, V-CE)가 제안되었으며, 이는 학습된 이미지 변환(image translation) 모델을 적용하여 표준 내시경(standard endoscopy, SE) 영상으로부터 CE 영상을 가상으로 생성한다. 본 논문에서는 V-CE와 이미지 향상(image enhancement) 기법을 결합하여 위 병변의 가시성을 더욱 개선하는 가상 향상 크로모엔도스코피(virtual enhanced chromoendoscopy, V-ECE)를 제안한다. 원하는 향상 수준은 검사 대상 병변과 시술자의 선호에 따라 달라지므로, 사용자가 조절할 수 있는 향상 수준으로 V-ECE 영상을 생성할 수 있는 새로운 이미지 변환 모델을 도입한다. 실험 결과, 제안 모델이 단일 통합 모델로 다양한 향상 수준의 V-ECE 영상을 그럴듯하게 생성할 수 있음을 보여준다.

arXiv:2607.08397v1cs.CV

개방형 어휘 내시경 합성 참조 분할을 위한 속성 검색

Attribute Retrieving for Open-Vocabulary Endoscopic Compositional Referring Segmentation

내시경 영상에서 자연어 기반 참조 이미지 분할(RIS)을 위한 대규모 벤치마크 ReferEndoscopy(65,964장 이미지, 1,452,330개 이미지-마스크-지시문 트리플렛)를 구축하고, 속성 검색 기반 AR-ERIS 프레임워크를 제안하여 개방형 어휘 내시경 합성 참조 분할에서 최고 수준의 성능과 미관측 도메인 일반화를 달성했다.

arXiv:2606.24115v1cs.CV

위장관 내시경을 위한 비전-언어 모델의 환각 탐지 벤치마크

A Benchmark for Hallucination Detection in VLMs for Gastrointestinal Endoscopy

비전-언어 모델(VLM)은 환각에 취약하며, 이는 임상 현장에서의 안전한 배포에 있어 주요 장벽으로 남아 있다. 현재까지 대부분의 환각 탐지 방법은 MIMIC-CXR 및 VQA-RAD와 같은 방사선학 벤치마크에서 평가되어 왔으며, 위장관(GI) 내시경 분야는 여전히 충분히 탐구되지 않은 상태이다. 본 논문에서는 4,392개의 테스트 시각적 질의응답(VQA) 쌍을 포함하는 GI 진단 VQA 데이터셋인 Gut-VLM 데이터셋을 사용하여, 다섯 가지 VLM(MedGemma-4B, MedGemma-27B, LLaVA-Med-7B, LLaVA-v1.6-7B, Lingshu-32B)에 걸쳐 아홉 가지 환각 탐지 방법을 벤치마크한다. 해당 방법들은 세 가지 범주에 걸쳐 있다: 블랙박스 방법(RadFlag, SelfCheckGPT-NLI), 그레이박스 방법(AvgProb, AvgEnt, MaxProb, MaxEnt, Semantic Entropy, VASE), 화이트박스 방법(ReXTrust). 실험 결과, 화이트박스 방법인 ReXTrust가 다섯 가지 모델 전체에서 가장 높은 AUC를 달성하여 각 VLM에서 가장 강력한 대안 방법을 통계적으로 유의한 마진으로 능가하였으며(쌍별 순열 검정, 모든 경우에서 p < 0.001), MedGemma-4B에서 최고 AUC 93.0을 기록하였다. 화이트박스 은닉 상태 접근은 평균 19.5 AUC 포인트의 일관된 이점을 제공하며(범위: 9.5--33.5), ReXTrust는 블랙박스 방법과 클러스터링 기반 그레이박스 방법이 거의 무작위 수준으로 성능이 붕괴되는 LLaVA-v1.6-7B(AUC 79.9)에서도 강력한 성능을 유지한다. 비화이트박스 방법 중에서는 토큰 수준 그레이박스 통계(MaxEnt, MaxProb)가 가장 강력한 대안으로, 평균적으로 클러스터링 기반 그레이박스 방법(Semantic Entropy, VASE)과 블랙박스 접근법 모두를 능가한다. 나아가 본 연구는 모델이 높은 샘플 간 일관성 또는 높은 토큰 수준 확률로 환각을 생성하는 실패 모드인 확신에 찬 작화(confident confabulation)를, 일관성 기반 방법과 불확실성 기반 방법 모두에 대한 시스템적 실패로 규명한다.

arXiv:2606.22144v1cs.CV

SAGE: 멀티모달 학습 및 환각 분석을 위한 전문가 주석 남아시아 GI 내시경 데이터셋

SAGE: An Expert-Annotated South Asian GI Endoscopy Dataset for Multimodal Learning and Hallucination Analysis

위장관(GI) 암은 사회경제적 조건과 생활 습관의 급격한 변화에 크게 기인하여 남아시아 지역에서 점점 더 큰 보건 부담을 나타내고 있다. 그러나 이러한 악성 종양의 조기 진단은 여전히 중요한 과제로 남아 있으며, 이는 주로 현대적 장비 부족, 재정적 지원 부족, GI 전문가 부족 때문이다. AI 지원 진단 및 보고서 생성은 숙련도가 낮은 인력에게 진단 수행에 필요한 기술적 전문성을 제공함으로써 이 문제 완화에 큰 가능성을 보여준다. 그러나 공개적으로 이용 가능한 오픈소스 데이터셋은 거의 모두 유럽 지역에서 주로 수집되었으며, 남아시아 지역의 대표성이 전혀 없다. 다양한 지리적 지역에서의 오픈소스 GI 데이터셋 부재는 기존 모델에 인구 바이어스가 존재하는지 평가하고, 자동 GI 진단을 위한 지리적으로 포괄적인 AI 도구를 개발하기 어렵게 만들었다. 이 공백을 해소하기 위해, 우리는 이미지 캡셔닝(image captioning), 다중 레이블 분류(multi-label classification), 시각적 질의응답(VQA) 과업을 위한 SAGE: 전문가 주석 남아시아 GI 내시경 데이터셋을 소개한다. 이 데이터셋은 1,300장의 이미지, 환각 태그가 포함된 캡션, 18개 레이블, 14,726개의 질의-응답 쌍으로 구성되어 분류, 벤치마킹, 대규모 멀티모달 모델(LMM) 미세조정을 포함한 다양한 과업에 잘 적합하다. 또한 GI 영상 AI 과업에서 인구 이동(population shift)이 다중 클래스 분류기에 미치는 영향과, 최신 LMM의 성능에 대해 벤치마킹을 수행하였다. 우리 연구는 과업 특화 모델, 예를 들어 다중 클래스 분류 모델이 가장 큰 타격을 받으며, 남아시아 데이터셋에서 평가할 때 평균 58%의 성능 하락을 보인다는 것을 밝혔다. 최신 LMM의 경우, 벤치마킹 결과 해부학적 랜드마크 탐지(0.308)와 이상 소견 탐지(0.410)에서 평균 GREEN 점수가 상당히 하락하는 것으로 나타났다.

arXiv:2606.17340v1cs.CV

구조화된 파운데이션 모델 적응을 통한 이미지 유도 내비게이션을 위한 기하학적 일관성을 갖는 내시경 표현

Geometry-Consistent Endoscopic Representations for Image-Guided Navigation via Structured Foundation Model Adaptation

단안 내시경(monocular endoscopy)에서 정확한 비전 기반 내비게이션은 제한된 깊이 단서(depth cues), 약한 조직 질감, 비강체 변형(non-rigid deformation), 도메인 간의 상당한 외관 변화로 인해 어렵습니다. 이러한 요인들은 자세 추정(pose estimation), 깊이 예측(depth prediction), 이미지-해부학 정렬(image-to-anatomy alignment)을 복잡하게 만듭니다. 최근 비전 파운데이션 모델(vision foundation models)이 가능성을 보였지만, 학습된 표현은 종종 기하학적 일관성이 부족하여 안정적인 특징(feature) 대응을 방해하고 하류 내비게이션 작업에 대한 신뢰성을 제한합니다. 우리는 단안 내시경을 위해 기하학적 일관성과 도메인 강건성을 갖는 이미지 표현을 학습하는 통합 프레임워크를 제안합니다. 이 프레임워크는 정확한 기하학적 지도(geometric supervision)를 제공하는 합성 데이터 파이프라인과 Hierarchy-Aware Geometry-Semantic Adaptation을 결합합니다. 이는 표준 LoRA에 대한 구조화된 대안으로, 트랜스포머(transformer) 계층 구조 전체에 선택적으로 저순위 어댑터(low-rank adapters)를 삽입하고 층별(layer-wise) 학습 목표와 결합하여 중간 특징에서는 기하학적 대응을, 더 깊은 특징에서는 의미적 일관성을 장려합니다. 공용 및 독점 데이터셋(dataset)에 대한 실험은 개선된 기하학적 및 의미적 표현 품질을 보여주었으며, 이는 자세 추정 및 단안 깊이 추정(monocular depth estimation)을 포함한 하류 내비게이션 작업에서 더 나은 성능으로 이어졌습니다. 학습된 표현은 임상 기관지내시경(clinical bronchoscopy)에서 유리한 합성-실물 전이(synthetic-to-real transfer)를 보여주며, 제한된 지도 하에서 부비동 내시경(sinus endoscopy) 및 대장내시경(colonoscopy)으로의 적응을 위한 유용한 초기화(initialization)를 제공합니다. 이 프레임워크는 또한 모델 크기와 학습 데이터에 따라 유리한 스케일링(scaling)을 보여줍니다. 이러한 결과는 계층 인식(hierarchy-aware), 기하학적 유도(geometry-guided) 적응이 내시경 표현 학습을 위한 실용적인 접근 방식임을 뒷받침합니다.