arXiv:2009.08674

TopNet: Topology Preserving Metric Learning for Vessel Tree Reconstruction and Labelling

Deepak Keshwani, Yoshiro Kitamura, Satoshi Ihara, Satoshi Iizuka, Edgar Simo-Serra

제출 2020-09-18

원문 초록

Reconstructing Portal Vein and Hepatic Vein trees from contrast enhanced abdominal CT scans is a prerequisite for preoperative liver surgery simulation. Existing deep learning based methods treat vascular tree reconstruction as a semantic segmentation problem. However, vessels such as hepatic and portal vein look very similar locally and need to be traced to their source for robust label assignment. Therefore, semantic segmentation by looking at local 3D patch results in noisy misclassifications. To tackle this, we propose a novel multi-task deep learning architecture for vessel tree reconstruction. The network architecture simultaneously solves the task of detecting voxels on vascular centerlines (i.e. nodes) and estimates connectivity between center-voxels (edges) in the tree structure to be reconstructed. Further, we propose a novel connectivity metric which considers both inter-class distance and intra-class topological distance between center-voxel pairs. Vascular trees are reconstructed starting from the vessel source using the learned connectivity metric using the shortest path tree algorithm. A thorough evaluation on public IRCAD dataset shows that the proposed method considerably outperforms existing semantic segmentation based methods. To the best of our knowledge, this is the first deep learning based approach which learns multi-label tree structure connectivity from images.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.25597v2cs.CV공통 태그 Segmentation, Semantic Segmentation

망막 혈관 분할에서의 관찰자 선택과 임계값 선택: 피험자 분리 평가

Observer Choice and Threshold Selection in Retinal Vessel Segmentation: A Subject-Separated Evaluation

분할 임계값(threshold)을 선택하는 데 사용되는 주석(annotation)은 평가 프로토콜의 일부이지만, 그 효과는 모델 품질과 쉽게 혼동된다. 우리는 CHASE DB1의 전체 28개 이미지와 두 명의 사람 주석자(human annotations) 모두를 사용하여 망막 혈관 분할에서 이러한 선택을 조사한다. 고정된 7-폴드(seven-fold) 프로토콜은 14명의 피험자 각각의 양쪽 눈을 함께 유지한다. 랜덤 포레스트(Random Forest)와 Extra Trees는 관찰자 1을 기준으로 세 개의 무작위 시드(random seed)로 학습되어 총 42개의 적합(fit) 결과를 산출했다. 다섯 가지 임계값 정책은 동일한 점수 맵(score map)을 공유한다: 고정값 0.50, 관찰자 1 튜닝, 관찰자 2 튜닝, 평균 관찰자 튜닝, 그리고 이미지별 낮은 관찰자 Dice의 맥시민(maximin) 튜닝. 랜덤 포레스트의 경우, 맥시민은 21개 적합 중 19개에서 임계값을 변경했지만, 최악 관찰자(worst-observer) Dice는 70.53%에서 70.45%로 감소했다. 쌍별 차이(paired difference)는 -0.073 퍼센트 포인트이며, 조건부 피험자 부트스트랩(subject-bootstrap) 95% 구간은 [-0.384, 0.238]이다. Extra Trees도 동일한 방향을 보인다. 동일한 관찰자-1 튜닝된 랜덤 포레스트 마스크는 관찰자 1 대비 73.66%, 관찰자 2 대비 71.06%의 점수를 기록했다. 이 결과는 임계값 선택 기준(reference)과 평가 기준 모두를 명시적으로 보고해야 한다는 것을 지지하지만, 이 코호트(cohort)에서 맥시민 튜닝으로 인한 정확도 향상을 지지하지는 않는다. 모든 분할(split), 원시 예측(raw prediction), 지표(metric) 및 코드가 함께 제공된다. AI의 도움을 받았음을 명시한다.

arXiv:2610.00040v1cs.CV공통 태그 Segmentation, Semantic Segmentation

DSSR-3D: 3D 가우시안에서 시점 의존적 참조를 위한 분리 추론

DSSR-3D: Decoupled Reasoning for View-Dependent Referring in 3D Gaussians

3D 가우시안 스플래팅(3D Gaussian Splatting)의 최근 발전은 2D 파운데이션 모델의 의미론적 지식을 3D 표현으로 증류하여 개방형 어휘(open-vocabulary) 및 참조 세그멘테이션(referring segmentation)을 가능하게 했습니다. 그러나 기존의 참조 필드는 언어 특징을 전역적으로 시점 불변인 공간에 임베딩하므로, 카메라 포즈에 의존하는 관찰자 중심의 공간 관계(예: "~의 왼쪽에 있는")를 근본적으로 해결하지 못합니다. 본 논문에서는 연속적인 3D 가우시안 필드에서 시점 의존적 참조 세그멘테이션을 수행하기 위한 추론(inference) 시점 프레임워크인 DSSR-3D를 제안합니다. 이는 포즈 불변 의미론적 위치 추정과 포즈 조건부 공간 추론이라는 두 인터페이스로 정형화되어, 이러한 제약 조건을 만족하는 함수 쌍이라면 어떠한 조합이든 유효한 구현체가 될 수 있으며, 기반 의미 필드의 재학습이나 바운딩 박스와 같은 이산적 기하학적 대용물(proxy)에 의존하지 않습니다. 우리는 온도 파라미터로 선명화된 소프트맥스(softmax) 위치 추정 메커니즘과 투영 기반 방향 점수화 함수로 두 인터페이스를 구현하고 경량의 학습(training) 없는 단계를 통해 이를 융합하였으며, 별도의 적응 과정 없이 구조적으로 상이한 의미 필드에도 제로샷(zero-shot)으로 전이됨을 보입니다. 나아가 3D 가우시안 필드에서 시점 의존적 세그멘테이션을 분리 평가하는 벤치마크인 ViewRef-GS를 제안하고, 증강된 Ref-LERF와 함께 평가하여 시점 의존적 공간 그라운딩(grounding)을 위한 종합적인 테스트베드를 제공합니다. 실험 결과, 기본 의미 필드 외의 추가 학습 없이도 기존 3DGS 기반 참조 방식 대비 일관된 성능 향상을 보였습니다.

arXiv:2609.22834v1cs.CV공통 태그 Segmentation, Semantic Segmentation

SatOV: 원격 탐사 영상에서 학습이 필요 없는 개방형 어휘 분할을 위한 공간 사전 정보 복원

SatOV: Restoring Spatial Priors for Training-Free Open-Vocabulary Segmentation in Remote Sensing Imagery

원격 탐사 영상의 개방형 어휘 의미 분할(open-vocabulary semantic segmentation, OVS)은 원격 탐사 데이터의 공간적 특성에 대한 강한 일반화와 적응을 요구하는 어려운 픽셀 수준 과제이다. 기존의 비전-언어 파운데이션 모델은 일반 도메인에서는 우수한 성능을 보이지만, 이미지 수준 분류 설계로 인해 고해상도 원격 탐사 분할에 필요한 공간 사전 정보(spatial priors)가 약화된다. 즉, 구조적인 공간적 관계는 깊은 특징(feature) 변환 과정에서 저하되고, 미세한 공간적 세부 정보는 다운샘플링 과정에서 손실된다. 이러한 상호 보완적인 결함을 해결하기 위해, 우리는 표현(representation) 파이프라인의 두 단계에서 공간 사전 정보를 복원하는, 학습이 필요 없는(training-free) 원격 탐사 개방형 어휘 분할 프레임워크인 SatOV를 제안한다. 구체적으로, 잔차 QQ 어텐션(Residual QQ Attention, ResQQ)은 CLIP의 중간 층(layer)에서 Query-Key 셀프 어텐션을 추출하고, 이를 잔차 결합(residual combination)을 통해 마지막 층의 Query-Query 어텐션과 융합함으로써 마지막 층 표현에 의해 억제된 구조적 공간 사전 정보를 복원한다. 공간적으로 변조된 업샘플링(Spatially Modulated Upsampling, SatUp)은 원본 고해상도 RGB 이미지를 공간적 안내(spatial guidance)로 사용하며, 공간 특징 변조와 안내된 크로스 어텐션을 결합하여 픽셀 수준의 텍스처와 경계를 재구성한다. DOTA, UDD, LoveDA, Vaihingen에 대한 광범위한 실험을 통해 SatOV가 학습이 필요 없는 OVS를 일관되게 개선하며, 최신(state-of-the-art) 기법들과 비교해 경쟁력 있는 정량적 및 정성적 결과를 달성함을 보인다. 이러한 결과는 원격 탐사 개방형 어휘 분할에서 표현 단계와 공간 해상도 단계 모두에서 공간 사전 정보를 복원하는 것의 효과를 입증한다.

arXiv:2607.23451v1cs.CV공통 태그 Semantic Segmentation, Metric Learning

Prompt-S6와 시맨틱 인식 지식 가이던스를 활용한 다중 모달 객체 재식별

Multi-Modal Object Re-Identification with Prompt-S6 and Semantic-Aware Knowledge Guidance

다중 모달 객체 재식별(ReID)은 여러 모달리티의 상보적 정보를 통합하여 특정 객체를 검색하는 것을 목표로 한다. 그러나 기존 다중 모달 ReID 방법은 배경 간섭 억제나 삼중 모달 정렬을 효과적으로 다루지 못하고, 대신 쌍별 특징 융합에 집중한다. 또한 현재 많은 집계 접근법은 높은 계산 복잡도를 겪는다. 이러한 한계를 해결하기 위해, 우리는 Prompt-S6(PS6)와 시맨틱 인식 지식 가이던스를 기반으로 한 새로운 다중 모달 ReID 프레임워크인 PRISM을 제안한다. PS6는 Mamba의 선형 복잡도와 강력한 시퀀스 모델링 능력을 유지하면서 효율적인 교차 모달 상호작용을 가능하게 한다. 이러한 장점을 활용하여, 우리는 두 가지 핵심 구성 요소인 시맨틱 기반 토큰 가지치기(Semantic-Driven Token Pruning, SDTP)와 점진적 융합 네트워크(Progressive Fusion Network, PFN)를 설계한다. 분할 기반 모델(segmentation foundation models)에서 시맨틱 사전 정보를 파싱한 SDTP는 이 사전 정보를 활용하고 동적 토큰 가지치기를 적용하여 배경 노이즈를 억제하고 특징 표현을 정제한다. PFN은 다중 모달 특징을 점진적으로 집계하여 삼중 모달 정렬을 달성하고 모달리티 상보성을 충분히 활용한다. 제안된 모듈을 통해 PRISM은 복잡한 시나리오에서 더 견고한 다중 모달 표현을 생성한다. 네 가지 다중 모달 객체 ReID 벤치마크에 대한 광범위한 실험은 우리 접근법의 효과와 효율성을 입증한다. 소스 코드는 https://github.com/zw-absin/PRISM 에서 이용 가능하다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.