Graph Convolutional Neural Networks for Automated Echocardiography View Recognition: A Holistic Approach
원문 초록
To facilitate diagnosis on cardiac ultrasound (US), clinical practice has established several standard views of the heart, which serve as reference points for diagnostic measurements and define viewports from which images are acquired. Automatic view recognition involves grouping those images into classes of standard views. Although deep learning techniques have been successful in achieving this, they still struggle with fully verifying the suitability of an image for specific measurements due to factors like the correct location, pose, and potential occlusions of cardiac structures. Our approach goes beyond view classification and incorporates a 3D mesh reconstruction of the heart that enables several more downstream tasks, like segmentation and pose estimation. In this work, we explore learning 3D heart meshes via graph convolutions, using similar techniques to learn 3D meshes in natural images, such as human pose estimation. As the availability of fully annotated 3D images is limited, we generate synthetic US images from 3D meshes by training an adversarial denoising diffusion model. Experiments were conducted on synthetic and clinical cases for view recognition and structure detection. The approach yielded good performance on synthetic images and, despite being exclusively trained on synthetic data, it already showed potential when applied to clinical images. With this proof-of-concept, we aim to demonstrate the benefits of graphs to improve cardiac view recognition that can ultimately lead to better efficiency in cardiac diagnosis.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
문제가 보이는 곳이 해결하는 곳은 아니다: 확산 모델 구성에서의 디노이징 이전 진단과 모달리티 의존적 제어
Where to Look Is Not How to Fix: Pre-Denoising Diagnostics and Modality-Dependent Control in Diffusion Composition
텍스트-이미지 확산(diffusion) 모델에서 구성적 실패(compositional failure)를 이해하려면 스트레스가 감지되는 위치와 개입(intervention)이 출력을 어떻게 변화시키는지 모두 파악해야 합니다. 본 연구에서는 텍스트 인코더 진단과 디노이저 개입을 함께 평가하는 통제된 앵커-스트레스 프로토콜을 통해 이러한 질문들을 탐구합니다. 저자들은 SD1.5, SDXL 및 SD3 텍스트 경로 전반에서 흔한 구성과 희귀한 구성을 구분하고 업스트림 진단 좌표를 제공하는 텍스트 전용 구성 스트레스 지수(CSI, Compositional Stress Index)를 도입합니다. 매칭된 6개 프롬프트(prompt) 국소화 연구는 개입 위치를 서로 다른 결과와 연결합니다. 즉, 잔차 최소화 임베딩(embedding) 어댑터는 표현 적합도를 향상시키는 반면, 다운스트림 크로스 어텐션(cross-attention) 개입은 색상 적중률(CHR)을 0.0272 증가시킵니다. SD1.5와 SDXL 디노이저 블록 전반에서 가장 큰 양의 진단 접근성 평균은 딥 인코더에서 나타나는 반면, 선택적 부스트는 디코더 블록에서 가장 큰 양의 평균 CHR 반응을 보입니다. 선택적 차감 및 광범위한 어블레이션은 추가적인 모달리티 및 아키텍처 의존적 반응을 드러내며, 여기에는 SDXL 디코더 크로스 어텐션이 광범위하게 제거될 때 상당한 CHR 감소가 포함됩니다. 본 연구는 통제된 속성-객체 구성 설정에서 진단과 제어의 해리(dissociation)를 발견했습니다. 구성적 결함은 디노이징 이전에 진단할 수 있지만, 위험을 드러내는 표현 좌표가 생성을 개선하는 좌표나 모달리티와 반드시 일치하는 것은 아닙니다.
DualStabSleepNet: 견고한 수면 단계 분류를 위한 이중 영역 확산 안정화 네트워크
DualStabSleepNet: A Dual-Domain Diffusion Stabilization Network for Robust Sleep Staging
자동 수면 단계 분류를 위한 기존 심층 학습 방법은 이질적인 기록 조건에서 견고성이 제한되는데, 비정상성 노이즈, 피험자 간 차이, 데이터셋 간 분포 이동이 불안정한 특징과 낮은 일반화를 유발한다. 본 연구는 견고한 수면 단계 분류를 위한 이중 영역 확산 안정화 네트워크인 DualStabSleepNet(DSSNet)을 제안하며, 데이터 영역과 특징 영역 모두에서 견고성을 향상시킨다. 다채널 다원수면기록(PSG) 전처리 후, 연속 스케일 확산 기반 안정화 모듈이 생리학적 신호 구조를 보존하면서 노이즈를 억제한다. 안정화된 신호는 시간-주파수 표현으로 변환되어 Vision Transformer 백본에 입력된다. 교사-학생 유도 확산 특징 안정화 모듈이 특징 drift를 추가로 완화하고 다수준 특징 일관성을 강제한다. 공개 PSG 데이터셋 SleepEDF-20, SleepEDF-78, SHHS, ISRUC-S3 네 곳에서 평가한 결과, DSSNet은 각각 89.2%, 88.0%, 89.7%, 86.7%의 최첨단 정확도를 달성했으며 macro-F1과 Cohen's kappa도 개선되었다. 어려운 전이 단계(예: SHHS에서 N1에 대해 12.5%p 향상)에서 눈에 띄는 개선을 보였고 N2/REM 인식도 향상시켰다. 데이터셋 간 설정에서는 DSSNet이 분포 이동에 견고하며, 대상 데이터셋에서 학습한 baseline과 동등하거나 더 우수한 성능을 보여, 이질적인 코호트 전반의 실제 수면 단계 분류에 대한 실용적 잠재력을 입증한다.
SACNN: Self-Attention Convolutional Neural Network for Low-Dose CT Denoising With Self-Supervised Perceptual Loss Network
모든 모달리티는 동등하지만, 비디오는 더 동등하다: 공동 비디오 생성에서 크로스-어텐션 격차 줄이기
All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation
비디오는 외형, 기하학, 모션, 시간적 변화를 포착하여 물리적 사건을 풍부하게 표현합니다. 3D 신체 모션이나 오디오와 같은 다른 모달리티(modality)는 동일한 사건의 더 좁은 측면만을 인코딩합니다. 본 연구에서는 공동 멀티모달 확산 트랜스포머(joint multimodal diffusion transformer)가 교차 모달 대응(cross-modal correspondence)에서 그에 상응하는 비대칭성을 보임을 발견했습니다. 즉, 동반 모달리티는 비디오에 대해 강한 대응성을 형성하지만, 이들이 비디오를 제약하는 상호 대응성(reciprocal correspondence)은 실질적으로 훨씬 약하게 유지됩니다. 저자들은 두 방향을 비디오 토큰(token)에 대한 비교 가능한 대응 분포로 표현하고, 이들의 불일치를 상호 대응 격차(reciprocal correspondence gap)로 정의합니다. 또한 상호 교차 모달 어텐션 정규화(Reciprocal Cross-modal Attention Regularization)를 뜻하는 RecCAR를 제안합니다. 이는 이미 잘 확립된 비디오-모달리티 간 대응을 고정된 참조 기준으로 삼고, 더 취약한 모달리티-비디오 간 대응을 이에 맞춰 정렬하는 KL 정규화(regularizer) 기법입니다. 공동 비디오-모션 및 비디오-오디오 생성 전반에 걸쳐, RecCAR는 전반적인 생성을 개선하면서도 Human Anatomy 점수를 0.69에서 0.75로 향상시키고 오디오-비디오 비동기화(desynchronization)를 0.804에서 0.752로 감소시킵니다
원격 탐사 변화 탐지를 위한 시간 순서화된 영역 토큰 Mamba와 로짓 공간 확산 모델
Temporally Ordered Region-Token Mamba with Logit-Space Diffusion for Remote Sensing Change Detection
원격 탐사의 변화 탐지(Change Detection, CD)는 변화된 영역을 정확히 위치시키기 위해 이시점 문맥과 세밀한 공간적 세부 정보를 함께 모델링해야 한다. 밀집 어텐션은 이시점 관계를 효과적으로 포착하지만, 계산 비용 때문에 고해상도 영상으로의 확장성이 제한된다. 반면 기존의 특징 융합과 거친 디코딩은 실제 변화와 외형 변이를 구별하고 객체 경계를 보존하는 데 어려움을 겪는 경우가 많다. 이러한 한계를 극복하기 위해, 우리는 시간적으로 구조화된 상태 공간 모델링과 로짓 공간 확산 정제를 통합한 프레임워크인 BMD-CD(Bitemporal Mamba-Diffusion for Change Detection)를 제안한다. BMD-CD는 먼저 심층 이시점 특징을 영역 토큰으로 변환하고 이를 명시적인 시간 분할로 조직하여 양방향 상태 공간 전파를 수행한다. 이어서 시간 정보를 통합하는 학습 가능한 삼각 융합(Learnable Trigonometric Fusion, LTF) 모듈과, 짧은 DDIM 스케줄로 로짓 공간에서 거친 예측을 정제하여 세밀한 고해상도 변화 지도를 생성하는 조건부 확산 디코더를 사용한다. LEVIR-CD, WHU-CD, DSIFN-CD, CDD, S2Looking에서의 광범위한 실험을 통해 제안 방법의 효과를 입증한다. BMD-CD는 WHU-CD, DSIFN-CD, LEVIR-CD, CDD에서 각각 0.923, 0.957, 0.882, 0.979의 IoU 점수를 달성하며, ValaisCD와 B-FLAIR-test에서도 강력한 제로샷 견고성을 보인다.
롱샷 윈드서핑 영상의 동일성 일관 분석: 도메인 특화 오프라인 추적 시스템
Identity-Consistent Analysis of Long-Shot Windsurfing Video: A Domain-Specific Offline Tracking System
롱샷 윈드서핑 영상은 작은 표적, 큰 카메라 팬, 장시간 겹침, 빠르게 변하는 배경이 결합된다. 원하는 출력은 일반적인 MOT 궤적이 아니라 각 서퍼마다 분리되고 안정적인 라이더 기준 상대 영상이며, 한 번의 잘못된 동일성 병합만으로도 그 외에는 유용한 결과 전체를 무효화할 수 있다. 우리는 서퍼를 검출하고, 보수적인 로컬 tracklet을 구성하며, 카메라 보상 운동과 전경 마스크 기반 돛 색상 descriptor로 전역 연결하고, rig의 두 포즈 키포인트로 라이더 기준 가상 카메라를 구동하는 오프라인 분석 시스템을 제시한다. 추적 단계는 41,004개의 유지 관측을 포함하는 수동 재구성 개발 영상 21편에서 평가했다. 이 고정 관측 프로토콜에서 프로덕션 시스템은 쌍별 정밀도 0.957, 재현율 0.918, F1 0.937을 달성했으며, OC-SORT의 F1 0.792, BoT-SORT의 0.828과 비교된다. OC-SORT 대비 fragmentation excess는 845에서 42로 줄였지만, 95개 출력 트랙 중 9개가 라이더 동일성을 혼합했고 이 오류는 21편 중 7편에 영향을 준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.