arXiv:2403.14465

CathFlow: Self-Supervised Segmentation of Catheters in Interventional Ultrasound Using Optical Flow and Transformers

Alex Ranne, Liming Kuang, Yordanka Velikova, Nassir Navab, Ferdinando Rodriguez y Baena

제출 2024-03-21

원문 초록

In minimally invasive endovascular procedures, contrast-enhanced angiography remains the most robust imaging technique. However, it is at the expense of the patient and clinician's health due to prolonged radiation exposure. As an alternative, interventional ultrasound has notable benefits such as being radiation-free, fast to deploy, and having a small footprint in the operating room. Yet, ultrasound is hard to interpret, and highly prone to artifacts and noise. Additionally, interventional radiologists must undergo extensive training before they become qualified to diagnose and treat patients effectively, leading to a shortage of staff, and a lack of open-source datasets. In this work, we seek to address both problems by introducing a self-supervised deep learning architecture to segment catheters in longitudinal ultrasound images, without demanding any labeled data. The network architecture builds upon AiAReSeg, a segmentation transformer built with the Attention in Attention mechanism, and is capable of learning feature changes across time and space. To facilitate training, we used synthetic ultrasound data based on physics-driven catheter insertion simulations, and translated the data into a unique CT-Ultrasound common domain, CACTUSS, to improve the segmentation performance. We generated ground truth segmentation masks by computing the optical flow between adjacent frames using FlowNet2, and performed thresholding to obtain a binary map estimate. Finally, we validated our model on a test dataset, consisting of unseen synthetic data and images collected from silicon aorta phantoms, thus demonstrating its potential for applications to clinical data in the future.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.08297v1cs.CV공통 태그 Segmentation, Optical Flow Estimation

ARGUS: 가속화된, 강건한, 범용적, 비지도 세포 추적 솔루션

ARGUS: Accelerated, Robust, General, and Unsupervised Cell Tracking Solutions

배경 및 목적: 세포 동역학의 정량적 분석은 현대 생물학 연구의 핵심으로, 면역 세포 상호작용, 질병 진행, 약물 기전에 대한 중요한 통찰을 제공한다. 타임랩스 현미경에서의 자동 세포 추적은 노이즈, 형태학적 변이, 세포 중첩, 분열 및 융합과 같은 동적 이벤트로 인해 여전히 어려운 과제로 남아 있다. 방법: 본 논문에서는 가속화된, 강건한, 범용적, 비지도 세포 추적 솔루션을 위한 프레임워크인 ARGUS를 제시한다. ARGUS는 적응형 세포 검출, 밀집 Farneback 광학 흐름 예측, 프레임 간 선형 할당, 그리고 짧은 시간적 공백에 걸쳐 궤적 단편을 재연결하는 시퀀스 수준의 트랙렛 정제 단계를 결합한다. 결과: 공개된 Cell Tracking Challenge 데이터셋에서 ARGUS는 0.905–0.971의 검출 정확도와 0.897–0.964의 추적 정확도를 달성하였으며, 실행 시간은 1분 이내(3프레임 기준 5–6초)였다. 결론: ARGUS는 학습 데이터나 GPU 인프라 없이도 다양한 이미징 모달리티 및 생물학적 응용에 적용 가능한 모듈식, 해석 가능한 프레임워크이다. 구현체는 https://github.com/Gitinc/argus 에서 공개적으로 이용 가능하다.

arXiv:2604.22160v2cs.CV공통 태그 Segmentation, Optical Flow Estimation

GenMatter: 생성 물질 모델을 이용한 물리적 객체 지각

GenMatter: Perceiving Physical Objects with Generative Matter Models

인간의 시각 지각은 움직임 기반 장면 해석의 계산 원리를 이해하는 데 귀중한 통찰을 제공한다. 인간은 희박한 움직이는 점, 질감이 있는 표면, 자연주의적 장면을 관찰하는 경우에도, 독립적으로 움직일 수 있는 물질 덩어리를 구성하는 움직이는 개체를 견고하게 탐지하고 분할한다. 이와 대비하여, 기존 컴퓨터 비전(CV) 시스템은 이러한 다양한 설정에서 작동하는 통합적 접근법을 갖추지 못한다. 인간 지각의 원리에서 영감을 받아, 우리는 저수준 움직임 단서와 고수준 외관 특징을 파티클(국소 물질을 나타내는 작은 가우시안)로 계층적으로 묶고, 파티클을 일관되게 그리고 독립적으로 움직일 수 있는 물리적 개체를 포착하는 클러스터로 묶는 생성 모델을 제안한다. 우리는 안정적인 파티클 움직임과 그룹핑을 복원하기 위해 병렬화된 블록 Gibbs 샘플링(block Gibbs sampling)에 기반한 하드웨어 가속 추론 알고리즘을 개발한다. 우리 모델은 다양한 종류의 입력(랜덤 도트, 스타일화된 질감, 자연주의적 RGB 비디오)에서 동작하며, 생물학적 시각은 성공하지만 기존 컴퓨터 비전 접근법은 그렇지 못한 설정에서도 작동할 수 있게 한다. 우리는 이 통합 프레임워크를 세 영역에서 검증한다: 2D 랜덤 도트 키네마토그램(random dot kinematogram)에서는, 우리 접근법이 모호한 조건에서의 단계적 불확실성을 포함하여 인간의 객체 지각을 포착한다; 위장된 회전 객체로 구성된 게슈탈트(Gestalt) 영감 데이터셋에서는, 우리 접근법이 움직임으로부터 올바른 3D 구조를 복원하고 이를 통해 정확한 2D 객체 분할을 이룬다; 자연주의적 RGB 비디오에서는, 우리 모델이 변형되는 객체를 구성하는 움직이는 3D 물질을 추적하여 견고한 객체 수준 장면 이해를 가능하게 한다. 이 연구는 인간 시각의 원리에 기반한 움직임 기반 지각을 위한 일반적 프레임워크를 확립한다.

arXiv:2607.07984v2cs.AI공통 태그 Segmentation

에이전틱 신경망 구조 탐색

Agentic Neural Architecture Search

신경망 구조 탐색(NAS) 방법은 점점 더 효율적으로 발전해 왔지만, 여전히 도메인 전문 지식이 필요하고 새로운 과제마다 다시 구축해야 하는 수작업 설계 탐색 공간 안에서 동작한다. 대규모 언어 모델(LLM)은 개방형 코드 공간에서 아키텍처를 작성할 수 있으나, LLM 기반 설계와 NAS 기반 탐색 사이에 작업을 어떻게 분담해야 하는지는 불분명하다. 우리는 이 둘을 결합하는 방법을 제안한다. LLM이 먼저 시드 아키텍처를 설계한 뒤 이를 슬롯형 아키텍처로 분해한다. 슬롯형 아키텍처는 이름이 붙은 교체 가능한 모듈 슬롯을 가진 골격으로, 과제별로 제한된 탐색 공간을 정의하며, 기존 NAS 알고리즘이 수작업 없이 이를 탐색한다. 우리는 이를 각 단계를 별도로 평가할 수 있는 3단계 파이프라인인 AgentNAS로 구현한다. 분류, 밀집 회귀, 분할, 다중 레이블 태깅을 포괄하는 NAS-Bench-360과 Unseen NAS의 17개 과제에서 AgentNAS는 과제별 전문가 설계를 포함한 공개된 기준선을 11개 과제에서 능가한다. 광범위한 제거 연구는 LLM이 강력한 아키텍처를 빠르게 찾지만 곧 정체되며, 이 시점에 NAS로 전환하면 추가 이득을 얻음을 보여 주어 두 접근법이 상호 보완적임을 시사한다. 다섯 개의 LLM을 이용한 실험은 시드 아키텍처 설계가 모든 LLM에서 효과적인 반면, 사용 가능한 탐색 공간을 구성하려면 최소 수준의 모델 능력이 필요함을 보여 준다. 코드는 https://github.com/alroimfebruary/AgentNAS 에서 이용할 수 있다.

arXiv:2606.09289v4cs.LG공통 태그 Segmentation

시간적 그래프 학습을 통한 축구 점유전 경기 단계의 의도 기반 식별

Intention Driven Identification of In-Possession Match Phases in Association Football through Temporal Graph Learning

연속적인 이동 궤적으로부터 의도를 인식하는 것은 시공간 데이터 마이닝에서 중요한 문제이다. 이는 행동이 시간에 따라 변하고 그 경계를 직접 관측할 수 없을 때 어려워진다. 축구는 점유 중 여러 선수의 조율된 움직임에서 전술적 의도가 나타나므로 이 문제를 연구하기에 유용한 환경이다. 경기 국면 인식을 위한 기존 방법은 개별 프레임을 분류하거나, 사전 정의된 공간 규칙을 사용하거나, 일부 선택된 전술 패턴만 식별한다. 따라서 전술적 의도가 시간에 따라 변하는 연속적인 점유 시퀀스를 충분히 기술하지 못한다. 우리는 점유 중 경기 국면의 식별을 계층적 시퀀스 분할 과제로 다룸으로써 이 간극을 해결한다. 이 틀은 세 가지 전술적 의도(상대 공간 침투, 점유 유지, 득점)와 여섯 가지 국면(빌드업, 전진, 역습, 유지, 지속적 위협, 마무리)을 포함한다. 우리는 선수 상호작용 그래프, 맥락 특징, 트랜스포머 기반 시간 모델링을 결합한 시간적 그래프 어텐션 네트워크(T-GAN)를 제안한다. 이 틀은 분데스리가 7개 경기에 대해 한 경기 제외(leave-one-match-out) 검증으로 평가되었으며, 프레임 수준과 시퀀스 수준 모두에서 규칙 기반, 랜덤 포레스트, GNN, 트랜스포머 기준선과 비교되었다. 결과는 일관된 국면 분할에 시간적 모델링이 중요하며, 그래프 모델링은 역습과 같은 전환 국면에 추가적인 가치를 제공함을 보여 준다. 이 틀은 연속적인 선수 추적 데이터로부터 의도 기반 행동 구간을 발견하는 해석 가능한 방법을 제공하며 축구의 자동화된 전술 분석을 지원한다.

arXiv:2610.15929v1cs.CV공통 태그 Segmentation

트래커가 실패할 때: 강건한 비디오 객체 분할을 위한 VLM 유도 검증 및 복구

When Trackers Fail: VLM-Guided Verification and Recovery for Robust Video Object Segmentation

SAM(Segment Anything Model)과 같은 파운데이션 모델을 기반으로 구축된 최근의 트래커들은 메모리를 통해 객체 마스크를 전파함으로써 뛰어난 성능을 달성합니다. 그러나 이러한 장점은 동시에 주요 실패 원인이 되기도 합니다. 가림, 재등장, 방해 요소가 발생하는 상황에서 잘못된 예측이 추적 루프에 유입되어 시간에 따라 전파되면 지속적인 아이덴티티 드리프트(identity drift)가 발생할 수 있습니다. 기존 접근법들은 개선된 메모리 및 시간 모델링을 통해 이러한 실패를 방지하고자 하지만, 일단 실패가 발생하면 트래커에는 이를 인식하거나 수정할 수 있는 명시적인 메커니즘이 없습니다. 본 논문에서는 명시적인 검증 및 복구를 통해 전파 과정을 보완하는 실패 인지형 추적 프레임워크인 Dual-Agent로 이러한 간극을 해결합니다. 본 논문에서는 명시적인 검증 및 복구를 통해 전파 과정을 보완하는 실패 인지형 추적 프레임워크인 Dual-Agent로 이러한 간극을 해결합니다. 먼저 비전-언어(vision-language) 검증 에이전트가 시공간적 컨텍스트를 추론하여 트래커가 여전히 대상을 추적하고 있는지 판단합니다. 실패가 감지되면, 수정 에이전트가 시간적 컨텍스트를 활용하여 추적이 계속되기 전에 대상을 복구합니다. 수정 에이전트는 실제 SAM3 실패 사례를 바탕으로 학습되었으며, 복구 과정에서 까다로운 모호성에 노출되도록 목표 지향적 아이덴티티 전환 및 방해 요소 섭동을 적용하여 증강되었습니다. LVOS-v2 및 SecVOS에서 Dual-Agent는 SAM3의 성능을 각각 1.2 및 2.7 $J\&F$ 향상시킵니다. 중요한 점은 제안된 프레임워크가 재학습 없이도 SAM2.1, SeC, Cutie뿐만 아니라 LaSOT-ext, TNL2K, VOT-LT2022를 포함한 장기 비디오 객체 추적 벤치마크로 전이된다는 것입니다. 우리의 결과는 추적이 언제 실패하고 어떻게 복구할 것인지를 명시적으로 추론하는 것이 단순히 전파 성능을 개선하는 것을 넘어 강건한 추적을 달성하기 위한 상호보완적인 경로를 제공함을 보여줍니다. 프로젝트 페이지: valaybundele.github.io/Dual-Agent.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.