UU-Mamba: Uncertainty-aware U-Mamba for Cardiovascular Segmentation
원문 초록
Building on the success of deep learning models in cardiovascular structure segmentation, increasing attention has been focused on improving generalization and robustness, particularly in small, annotated datasets. Despite recent advancements, current approaches often face challenges such as overfitting and accuracy limitations, largely due to their reliance on large datasets and narrow optimization techniques. This paper introduces the UU-Mamba model, an extension of the U-Mamba architecture, designed to address these challenges in both cardiac and vascular segmentation. By incorporating Sharpness-Aware Minimization (SAM), the model enhances generalization by targeting flatter minima in the loss landscape. Additionally, we propose an uncertainty-aware loss function that combines region-based, distribution-based, and pixel-based components to improve segmentation accuracy by capturing both local and global features. While the UU-Mamba model has already demonstrated great performance, further testing is required to fully assess its generalization and robustness. We expand our evaluation by conducting new trials on the ImageCAS (coronary artery) and Aorta (aortic branches and zones) datasets, which present more complex segmentation challenges than the ACDC dataset (left and right ventricles) used in our previous work, showcasing the model's adaptability and resilience. We confirm UU-Mamba's superior performance over leading models such as TransUNet, Swin-Unet, nnUNet, and nnFormer. Moreover, we provide a more comprehensive evaluation of the model's robustness and segmentation accuracy, as demonstrated by extensive experiments.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
STAC: 비디오 추론 분할을 위한 선택적 시공간 집계 및 압축
STAC: Selective Spatiotemporal Aggregation and Compression for Video Reasoning Segmentation
비디오 추론 분할은 복잡한 자연어 쿼리 하에서 수백 프레임에 걸쳐 픽셀 수준의 정확한 객체 추적을 요구하며, 이차(quadratic) 셀프 어텐션 비용으로 인해 장시간 비디오 처리를 불가능하게 만드는 밀집된 시공간 토큰을 생성한다. 기존 방법들은 토큰 압축을 통해 이를 해결하지만, 일반적으로 시간적 문맥이 부족한 인코더 특징에서 작동하여 콘텐츠 중복성을 신뢰성 있게 평가하기 이전에 선택을 제한한다. 정보에 기반한 압축은 문맥 인식을 필요로 하지만, 전체 해상도에서 해당 인식을 획득하면 압축이 줄이고자 하는 바로 그 이차 비용이 발생한다. 상태 공간 모델(state-space model)은 선형 재귀가 $\mathcal{O}(T)$ 비용으로 각 토큰을 시간적 문맥에 선택적으로 조건화하여 콘텐츠 중복성을 평가할 수 있는 표현을 생성함으로써 이 제약을 해결한다. 이를 기반으로, 선택적 시공간 집계 및 압축(STAC)은 분리된 양방향 공간 스캐닝과 인과적 시간 스캐닝을 통해 특징을 강화하고, 재귀에서 파생된 중복성을 활용하여 분할 목표로 최적화된 적응형 임계값을 갖는 계층적 압축을 수행한다. STAC는 제로샷 스트리밍 호환 환경에서 추론 분할 벤치마크의 압축 없는 기준선을 능가하면서 85% 토큰 감소와 1.8배 속도 향상을 달성한다. 코드는 \href{https://github.com/MCG-NKU/nku-video}{여기}에서 이용 가능하다.
Reload-Mamba: 다중 클래스 의미론적 분할을 위한 계층적 희석 방지 상태 공간 모델링
Reload-Mamba: Hierarchical Anti-Dilution State-Space Modeling for Multi-Class Semantic Segmentation
Mamba 기반 상태 공간 모델은 고해상도 밀집 예측을 위한 선형 시간 장거리 모델링을 제공하지만, 순차적 상태 공간 전파는 다중 클래스 의미론적 분할에서 중요한 경계 민감 및 세부 사항 민감 반응을 약화시킬 수 있습니다. 우리는 이러한 전파 유발 반응 희석을 세 가지 분할 특화 설계를 통해 해결하는 의미론적 분할 프레임워크인 Reload-Mamba를 제안합니다: (i) 반응 복원이 필요한 영역을 식별하기 위해 정답 경계 마스크로 명시적으로 학습된 경계 감독 지역 세부 사항 사전(prior); (ii) Reload 이전 보조 헤드의 픽셀별 클래스 엔트로피를 추가 게이팅 신호로 통합하는 클래스 불확실성 인식 Reload 게이트(이는 다중 클래스 밀집 예측에서만 유의미한 형식화임); 그리고 (iii) 세 개의 디코더 레벨에서 희석 방지 정제를 적용하고 복원된 표현을 하향식(top-down)으로 융합하는 계층적 다중 레벨 Reload 메커니즘입니다. 멀티 스케일 디코더 및 픽셀별 방향성 어텐션(attention)을 갖춘 4방향 Mamba 스캐닝을 포함하는 ConvNeXt-Tiny 인코더를 기반으로 구축된 Reload-Mamba는 ADE20K에서 47.9% 단일 스케일 (48.9% 멀티 스케일) mIoU를, Cityscapes에서 83.2% 단일 스케일 mIoU를 달성했습니다. 표준 DeepLab 스타일 프로토콜 하에서 ResNet-101과 COCO 사전학습(pre-training)을 사용할 때, Reload-Mamba는 PASCAL VOC 2012 검증 세트에서 87.8% mIoU에 도달했습니다. 제어된 소거 연구(ablations)에 따르면, 세 가지 분할 특화 설계 각각은 이진화(binarization)를 위해 제안된 기존 희석 방지 아키텍처의 직접 이식보다 더 많이 기여하며, ADE20K에서 직접 이식 기준선(baseline) 대비 누적적으로 +2.2 mIoU를 개선했습니다.
에이전틱 신경망 구조 탐색
Agentic Neural Architecture Search
MS-rPPG: 운전자 모니터링 시스템에서 원격 광용적맥파를 위한 다중 스펙트럼 상태 공간 모델
MS-rPPG: Multi-spectral State Space Model for Remote Photoplethysmography in Driver Monitoring Systems
원격 광용적맥파(rPPG)는 생리 신호, 특히 심장 활동을 측정하는 카메라 기반 기법이다. 원격으로 측정된 신호로부터 심박수를 추정할 수 있으며, 이는 건강 모니터링에 매우 중요하다. 본 연구에서는 원격 심박수 추정에 기반한 운전자 건강 모니터링 시스템을 조사한다. 그러나 운전 환경은 제어되지 않은 환경으로, 영상이 다양한 조명 조건과 빈번한 머리 움직임의 영향을 받는다. MS-rPPG를 도입한다. 이는 RGB와 근적외선(NIR) 얼굴 영상을 결합하여 어려운 운전 조건 하에서 rPPG 추정을 완화하는 다중 스펙트럼 프레임워크이다. 두 스펙트럼 영상의 상보적 특징을 결합하기 위해, 주파수 영역 분석에 기반한 교차 스펙트럼 선형 변조(CSLM) 전략을 제안한다. 또한 다중 스펙트럼 특징 간 교차 채널 상호작용을 공동으로 포착하면서 장거리 시간적 의존성을 효과적으로 모델링하도록 설계된 새로운 상태 공간 모델인 MS-Mamba를 도입한다. 50명의 참가자가 차량을 운전하는 동안 기록한 MS-Drive라는 실세계 데이터셋을 수집했다. 제안 방법은 MR-NIRP Car 데이터셋과 MS-Drive 데이터셋에서 평가되었다. 실험 결과, MS-rPPG가 이전 방법들보다 더 나은 견고성과 심박수 추정 정확도를 보였으며, 운전자 건강 모니터링에 대한 잠재력을 강조한다. 코드는 github.com/ziiho08/MS-rPPG에서 이용할 수 있다.
원격 탐사 변화 탐지를 위한 시간 순서화된 영역 토큰 Mamba와 로짓 공간 확산 모델
Temporally Ordered Region-Token Mamba with Logit-Space Diffusion for Remote Sensing Change Detection
Certifying Residual Architectures from Their Primitives: Growth Exponents and Criticality
토론
이 논문과 연결된 포럼 글이 아직 없습니다.