arXiv:2607.02919v1 physics.med-ph

자기 입자 영상의 중재 시술에서 실시간 카테터 위치 추정을 위한 고조파 인식 트랜스포머

Harmonic-Aware Transformer for Real-Time Catheter Localization in Interventional Procedures of Magnetic Particle Imaging

Abuobaida M. Khair, Wenjing Jiang, Xiaoli Yang, Moritz Wildgruber, Xiaopeng Ma

제출 2026-07-03

한국어 초록

자기 입자 영상(MPI)은 자기 나노입자가 코팅된 기구의 실시간 방사선 없는 추적을 가능하게 하여 중재 시술에 매우 적합하다. 본 연구는 원시 MPI 전압 신호로부터 카테터 팁 위치를 직접 예측하는 고조파 인식 트랜스포머 프레임워크를 제안하며, 이미지 재구성의 필요성을 제거하고 연산 지연을 줄인다. 이 프레임워크는 주파수 도메인 전처리를 통해 2차에서 8차 구동 필드 고조파를 분리하여 신호 대 잡음비를 향상시키면서 움직임 관련 특징을 보존한다. 6개의 인코더 레이어와 8개의 어텐션 헤드로 구성된 트랜스포머 아키텍처를 사용하여 세 수신 축(x, y, z)에 걸친 시공간적 의존성을 학습하고 정확한 3차원 위치 추정을 수행한다. 모델은 시뮬레이션된 MPI 신호로 학습되고, 표준·굽힘·심박 유사 운동 조건에서의 실제 시험관 내(in vitro) 데이터셋으로 평가된다. 제안된 방법은 서브밀리미터 수준의 위치 추정 정확도를 달성하며, 굽힘 데이터셋에서 최소 L2 오차 0.103 ± 0.092 mm, (x, y, z) 축의 평균 절대 오차(MAE)는 각각 0.039 ± 0.046 mm, 0.054 ± 0.049 mm, 0.060 ± 0.044 mm를 기록한다. 전체 데이터셋에 걸쳐 MAE는 0.165 mm에서 0.655 mm 범위로 일관된 성능을 보인다. 최적화된 추론은 프레임당 0.55 ms의 지연과 초당 약 1800 프레임의 처리량을 달성하여 실시간 처리 능력을 확인한다. 이미지 재구성에 의존하는 기존 MPI 기반 접근법과 비교하여, 제안된 프레임워크는 복잡한 운동 조건에서 향상된 정확도, 감소된 지연, 강화된 강건성을 제공한다. 이러한 결과는 고조파 인식 트랜스포머 모델이 중재 MPI에서 실시간 카테터 위치 추정을 위한 효율적이고 확장 가능한 솔루션으로서의 잠재력을 부각시킨다.

원문 초록

Magnetic particle imaging (MPI) enables real-time, radiation-free tracking of magnetic nanoparticle-coated instruments, making it highly suitable for interventional procedures. This study proposes a harmonic-aware transformer framework that directly predicts catheter tip positions from raw MPI voltage signals, eliminating the need for image reconstruction and reducing computational latency. The framework incorporates frequency-domain preprocessing to isolate the 2nd to 8th drive-field harmonics, enhancing the signal-to-noise ratio while preserving motion-relevant features. A transformer architecture with six encoder layers and eight attention heads is employed to learn spatio-temporal dependencies across the three receive axes (x, y, z) for accurate three-dimensional position estimation. The model is trained on simulated MPI signals and evaluated on real in vitro datasets under standard, bending, and heartbeat-like motion conditions. The proposed method achieves sub-millimeter localization accuracy, with a minimum L2 error of 0.103 +/- 0.092 mm and mean absolute errors (MAEs) of 0.039 +/- 0.046 mm, 0.054 +/- 0.049 mm, and 0.060 +/- 0.044 mm along the (x, y, z) axes, respectively, for the bending dataset. Across all datasets, the MAE ranges from 0.165 mm to 0.655 mm, demonstrating consistent performance. The optimized inference achieves a latency of 0.55 ms per frame and a throughput of approximately 1800 frames per second, confirming real-time capability. Compared with conventional MPI-guided approaches relying on image reconstruction, the proposed framework provides improved accuracy, reduced latency, and enhanced robustness under complex motion conditions. These results highlight the potential of harmonic-aware transformer models as efficient and scalable solutions for real-time catheter localization in interventional MPI.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.02919v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28328v1cs.CV공통 태그 Medical Image Analysis, Object Tracking

BronchoTop: RGB 전용 위상 국소화 기반 기관지경 내비게이션

BronchoTop: Bronchoscopy Navigation via RGB-Only Topological Localization

기관지 나무 내에서 기관지경의 정확한 위치 추정(localization)은 임상의가 목표 병변에 도달하고 생검을 수행하며, 진단 및 치료 시술 중 기도 분절을 잘못 식별하는 것을 피하는 데 필수적이다. 그러나 기존 내비게이션 시스템은 일반적으로 환자별 CT 스캔이나 추가 외부 센서에 의존하여 비용, 설정 시간, 환자의 방사선 노출을 증가시킨다. 본 연구는 환자별 데이터가 필요 없는 RGB 전용 실시간 위상 기관지경 국소화 프레임워크인 BronchoTop을 제present한다. BronchoTop은 네 개의 모듈—관강(lumen) 검출 및 추적, 관강-분지(branch) 라벨 연관, 확률적 스코프 위치 추정, 전환(switch) 검증—을 통해 일반적인 기도 모델 대비 스코프 위치를 추정한다. 표준 기관지경 비디오 입력만 사용함으로써 BronchoTop은 의사에게 실용적이고 실시간 내비게이션 보조를 제공한다. 팬텀, 시뮬레이션, 실제 데이터에 대한 평가는 최첨단 정확도를 보여 주며, 실제 기관지경 시퀀스에서 기존 접근법 성능을 20% 이상 개선한다. BronchoTop은 국소화 알고리즘과 사용된 모든 실제 데이터, 추가 시뮬레이션 생성 코드를 함께 공개한 최초의 프레임워크로, 후속 개발과 벤치마킹(benchmarking)을 장려하고 촉진한다. 결과는 BronchoTop이 임상 및 로봇 기관지경에서 시술 안전성, 효율성, 접근성을 향상시킬 잠재력을 보여 준다.

arXiv:2607.14968v1cs.CV공통 태그 Medical Image Analysis, Object Tracking

Stitch-Inferencer: 파노라마 재구성을 통한 내시경 영상 분할 및 추적 향상

Stitch-Inferencer: Enhance Endoscopic Video Segmentation and Tracking via Panoramic Reconstruction

수술 영상 이해는 내비게이션 시스템의 기본이다. 내시경 지각은 제한된 시야(field-of-view)와 잦은 기구 가림으로 인해 자주 방해되며, 견고한 추론을 위해 시공간(spatio-temporal) 문맥이 필수적이다. 이러한 과제는 프레임 간 정보를 집계하는 영상 모델을 자극해 왔다. 그러나 기존 영상 모델은 과거 관측을 학습된 특징 표현에 암묵적으로 저장하는 경우가 많아, 종종 과제별 영상 학습, 상당한 주석 데이터, 증가된 계산 비용을 요구한다. 우리는 암묵적 특징 메모리를 명시적 이미지 공간 파노라마 캔버스로 대체하는 실시간, 모델 독립적(model-agnostic) 추론 프레임워크인 Stitch-Inferencer를 제안한다. 프레임 간 유효한 관측을 이어 붙임(stitching)함으로써 Stitch-Inferencer는 온라인·기구 없는(instrument-free) 시야에서 이전에 관측된 픽셀을 보존하여 유효 시야를 확장하고, 현재 프레임에서 일시적으로 가려지거나 존재하지 않는 영역에 직접 접근할 수 있게 한다. 다운스트림 분할 또는 추적 모델을 파노라마상의 컴팩트한 관심 영역(region of interest)에 적용하고, 그 예측을 현재 프레임으로 재투영(reproject)하여 기존 모델이 재학습 없이 장거리(long-range) 문맥을 활용할 수 있게 한다. 해부 구조(anatomy) 분할 및 포인트/박스 추적 실험은 실시간 처리량(throughput)을 유지하면서 다양한 베이스라인에서 일관된 개선을 보여준다. 스티칭 모듈만으로도 60 FPS 이상으로 동작하여, 계산 자원이 제한된 수술 중(intraoperative) 환경에서 내시경 지각을 향상시키는 실용적인 추론 시간(inference-time) 해결책을 제공한다. 소스 코드는 공개될 예정이다.

arXiv:2607.15268v1cs.CV공통 태그 Medical Image Analysis, Object Tracking

심초음파 기반 심근경색 국소화를 위한 운동 조건부 다중 뷰 융합

Motion-Conditioned Multi-View Fusion for Myocardial Infarction Localization from Echocardiography

심근경색(MI)은 전 세계적으로 주요 사망 원인으로 남아 있다. 심초음파(Echo)는 MI 평가에 널리 사용 가능한 검사 방식이며, 여기서 국소 벽 운동 이상은 핵심 지표이다. 기존 학습 기반 심근 운동 분석 방법은 종종 handcrafted descriptors나 밀집 감독(densely supervised) 추정을 사용하지만, 광범위한 주석(annotation) 필요성이 적용 가능성을 제한한다. 파운데이션 모델(foundation models)이 최근 비전 기반 Echo 분석을 개선했지만, 대부분의 방법은 단일 뷰에서 동작하며 세그먼트 수준 국소화는 뷰 의존적 모호성 하에서, 특히 심첨부(apical) 뷰에서 신뢰할 수 없다. 이를 해결하기 위해, 우리는 심근 운동 단서와 파운데이션 모델 표현을 융합하여 경색을 국소화하는 새로운 운동 유도 다중 뷰 융합 프레임워크인 MCF-Net을 제안한다. 시각적 특징은 이중 뷰에 공유되는 사전학습(pre-training)된 Echo 파운데이션 모델인 EchoPrime을 사용해 추출한다. 심장 운동은 매우 희소한 감독으로 모델링된다. 단일 주석이 달린 템플릿 프레임이 동영상 전체로 전달되어 포인트 추적(point tracking)을 초기화하므로 밀집 라벨을 피할 수 있다. 운동으로부터 파생된 세그먼트 인식(segment-aware) 소프트 마스크는 도전적인 심근 세그먼트에 대해 특징을 선택적으로 강화하는 거친 공간 사전(prior) 정보를 제공한다. 운동 조건부 융합 메커니즘은 뷰 간 운동과 시각 정보를 통합하여, 강한 외관(appearance) 단서를 무시하지 않으면서 예측을 정제한다. 세그먼트 수준 MI 국소화에서 MCF-Net은 72.4% F1과 84.9% 정확도(accuracy)를 달성하여, 최신 운동 전용, 비전 전용, 융합 기준선(baseline)들을 능가한다.

arXiv:2607.13573v1cs.RO공통 태그 Object Tracking, State Estimation

IMMNet: 기동 표적 추적을 위한 모델 기반 및 데이터 기반 접근법의 하이브리드 융합

IMMNet: Hybrid Fusion of Model-based and Data-driven Approaches for Maneuvering Target Tracking

3차원 공간에서의 기동 표적 추적은 복잡한 운동 역학과 모델 불일치로 인해 여전히 어려운 문제이다. 이를 해결하기 위해 본 논문은 상호작용 다중 모델(interacting multiple model, IMM) 알고리즘의 해석 가능한 구조와 학습 가능한 신경망 구성 요소를 통합한 하이브리드 모델/데이터 기반 알고리즘 IMMNet을 제안한다. 엔드투엔드 블랙박스 방식과 달리, 제안된 IMMNet 알고리즘은 실시간 레이더 응용에 필수적인 베이지안 추론 메커니즘을 유지할 수 있을 뿐만 아니라, 데이터로부터 운동 패턴과 노이즈 특성을 적응적으로 학습할 수 있다. 광범위한 실험을 통해 제안된 IMMNet 알고리즘이 다양한 시나리오에서 기존 알고리즘을 일관되게 능가함을 보여주며, 이는 기동 표적 추적을 위한 견고하고 해석 가능하며 실용적인 해결책임을 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.