PyTorchKR Papers

최신 논문

총 12편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.17437v2cs.CV

EV9V: An Echocardiographic Video Benchmark with Uncertainty Guided View Classification

Automated classification of standard echocardiographic views is crucial for efficient clinical workflow but faces three main challenges. First, publicly available datasets are scarce and limited in scale and view coverage. Second, the performance of some modern video-level architectures for echocardiographic view classification remains underexplored. Third, some view categories exhibit highly similar spatial appearances, making single-frame features insufficient for discrimination, while heterogeneous frame quality complicates robust temporal information fusion. To address these challenges, we release the Echocardiographic Videos of Nine Views (EV9V) dataset, comprising 5,138 videos, 910,579 frames, and 9 standard views, which is, to the best of our knowledge, the largest openly released echocardiography video dataset. Furthermore, we propose a Spatio-Temporal Fusion Model (STFM), an efficient dual-stream framework that jointly captures spatial anatomical structures and temporal cardiac dynamics. The STFM leverages uncertainty-aware learning to preferentially sample representative video segments during training and evidence-based fusion during inference, improving robustness to variations in frame quality across echocardiographic videos. Extensive experiments demonstrate that STFM achieves competitive performance and effectiveness compared with diverse video classification architectures, including two-dimensional and three-dimensional convolutional neural networks, recurrent neural networks, and Transformers. The code is released at https://huggingface.co/datasets/bgx666/EV9V and the EV9V dataset is available at https://github.com/bgx666/stfm.

arXiv:2610.13599v1cs.LG

EchoTab: 정형 데이터 재구성을 통한 심초음파 진단용 측정 기반 표현 학습

EchoTab: Learning Measurement-Grounded Representations for Echocardiographic Diagnosis through Tabular Reconstruction

심초음파와 같은 다중 뷰(multi-view) 의료 영상 검사에서 진단 정보는 여러 뷰에 분산되어 있으며, 각 뷰는 심장 구조와 기능의 서로 다른 측면을 포착합니다. 임상 현장에서는 이러한 뷰들을 먼저 정량적 측정을 통해 해석한 후, 이를 바탕으로 구체적인 진단을 내립니다. 그러나 기존의 심초음파 표현 학습 방법들은 뷰와 진단 사이의 중간 표현으로서 측정을 명시적으로 모델링하지 않습니다. 그 결과 개별 측정이 다운스트림 진단 태스크에서 선택적으로 활용할 수 있는 형태로 명시적 표현되지 않아 정확한 진단을 저해합니다. 이러한 계층적 임상 워크플로우에서 착안하여, 본 논문에서는 심초음파 뷰와 진단 사이의 중간 표현으로 측정별 토큰(measurement-specific token)을 활용해 다중 뷰 심초음파 검사를 표현하는 측정 기반(measurement-grounded) 표현 학습 프레임워크인 EchoTab을 제안합니다. 각 측정 토큰은 추정에 관련된 뷰에 선택적으로 어텐션(attention)하며, 해당 측정값을 예측하도록 정형 데이터 재구성(tabular reconstruction)을 통해 학습됩니다. 이렇게 도출된 토큰들은 임상적으로 유의미한 구조적 및 기능적 특성을 인코딩하는 요인화된(factorized) 심초음파 표현을 형성하여 다운스트림 진단에 선택적으로 활용될 수 있습니다. 흔히 사용되는 대조 학습 접근법과 달리 EchoTab은 네거티브 샘플이나 큰 배치(batch) 크기를 필요로 하지 않습니다. 두 가지 데이터셋에 대한 실험을 통해 EchoTab이 다중 뷰 심초음파에서 진단 분류(classification) 성능을 향상시키는 효과적인 측정 기반 표현을 학습하며, 학습된 어텐션이 심장 전문의가 사용하는 기존의 측정-뷰 관계와 일치함을 입증합니다. 코드는 https://github.com/michelleespranita/EchoTab 에서 확인할 수 있습니다.

arXiv:2609.19730v2eess.IV

분할 한계선: 명시적 좌심실 마스크가 학습 기반 박출률 회귀 성능을 개선하지 못하는 이유

The segmentation ceiling: why explicit left-ventricular masks do not improve learned ejection-fraction regression

심장초음파를 통한 좌심실 박출률(EF)의 정확한 추정은 심혈관 치료의 핵심이며, 심층 학습(deep learning)은 심장초음파 비디오로부터 자동화된 EF 예측을 가능하게 합니다. 임상적으로 EF가 좌심실(LV) 용적에서 도출되기 때문에, 명시적인 좌심실 분할(segmentation)이 예측 성능을 향상시킬 것이라는 직관이 널리 받아들여져 왔습니다. 본 연구에서는 이를 검증 가능하게 하는 정량적 기준인 '분할 한계선(segmentation ceiling)'을 제안합니다. 이완기말 및 수축기말 용적의 정규화된 차이로 정의되는 EF로부터, 프레임별 분할 영역 오차가 EF 오차로 전파되는 과정을 닫힌 형식(closed form)으로 유도하고, 이를 통해 마스크가 직접 회귀보다 성능을 개선하기 위해 도달해야 하는 정확도를 도출합니다. EchoNet-Dynamic, UniFormer-S 백본, 그리고 실증적으로 측정된 환자 내 오차 상관관계를 사용했을 때, 이 기준은 손익분기점을 프레임별 영역 오차 약 10% 부근으로 설정하는 반면, 대표적인 분할 모델은 한계선을 상회하는 약 14% 수준에서 작동합니다. 이에 부합하게 분할 또는 영역 정보를 주입하는 네 가지 전략(예측 마스크 채널, 이완기말/수축기말 클립 샘플링, 빈(bin)별 및 진폭 영역 일관성 목적 함수)은 원본 비디오 기준선(baseline)을 능가하지 못하며, 실제 정답(ground-truth) 마스크는 레이블 누출을 통해서만 도움이 됩니다. 따라서 입력 표현이 한계 요인이 아님을 보이고 일반화(generalization)를 실질적인 개선 수단으로 식별합니다. 강력한 증강과 결합된 가중치(weight) 평균화는 동일한 조밀 클립 프로토콜에서 R(2+1)D 기준선(0.811)에 필적하는 0.806의 테스트 R^2(MAE 4.08)을 달성하는 동시에 검증(validation)-테스트 간 격차를 줄입니다. 마지막으로, 이분산 베타-NLL(heteroscedastic beta-NLL) 공식화는 몬테카를로 드롭아웃(Monte-Carlo dropout)과 달리 임상적으로 더 까다로운 낮은 EF 사례에서 더 크게 나타나는 유용하고 잘 보정된 예측별 불확실성을 제공합니다. 분할 한계선은 마스크 유도 기반 EF 추정이 언제 가치가 있는지에 대한 구체적인 설계 기준과 함께 단순하고 불확실성을 고려하는 EF 회귀 레시피를 제공합니다.

arXiv:2610.00196v1cs.CV

GPEC: 심장 초음파 비디오 캡션 생성을 위한 효율적인 LLM 사전 가우시안 프로세스 임베딩 보정

GPEC: Efficient Pre-LLM Gaussian Process Embedding Correction for Cardiac Video Caption Generation

멀티모달 대규모 언어 모델(MLLM)은 비디오 이해 및 캡션 생성에서 강력한 잠재력을 보여주었으나, 심장 초음파 검사와 같은 전문 의료 영상 분야에서는 성능이 저하될 수 있습니다. 본 연구에서는 심장 초음파 캡션 생성을 위해 VideoChat2에서 사용하는 시각적 표현을 개선하는 모듈형이자 계산 효율적인 LLM 사전 오류 보정 방법인 가우시안 프로세스 임베딩 보정(Gaussian Process Embedding Correction, GPEC)을 소개합니다. GPEC은 시각적 투영 층(visual projection layer)과 언어 모델 사이에 삽입되어 투영된 시각적 표현을 어노테이션 기반 타깃으로 이동시키는 잔차 보정(residual correction)을 학습합니다. 이 타깃은 구조화된 비디오 어노테이션을 정성적 속성으로 변환하고, 고정된 형식의 참조 캡션을 생성한 뒤, 이를 언어 모델 임베딩 공간으로 매핑하여 구축됩니다. 보정은 유도점(inducing points), 자연 매개변수 변분 업데이트(natural-parameter variational updates), 블록별 선형 커널을 갖춘 희소 변분 가우시안 프로세스(sparse variational Gaussian Process)를 사용하여 모델링되며, 기존 VideoChat2 구성 요소는 고정(frozen) 상태로 유지됩니다. 본 방법은 동일한 입력 및 참조 조건에서 기존 VideoChat2와 VideoChat2 + GPEC을 비교하여 표현 수준, 캡션 수준, 콘텐츠 지향 및 실행 시간 지표를 사용해 평가됩니다. 실험 결과, 제안된 보정을 적용한 후 캡션 유사도 및 콘텐츠 정합성이 향상된 것으로 나타났습니다. 또한 GPEC은 평가 환경에서 비디오당 0.05초 미만의 추론 시간 오버헤드만을 추가합니다. 이러한 결과는 사전학습된 멀티모달 백본의 엔드투엔드 미세조정 없이도 GPEC이 최소한의 계산 비용으로 전문 의료 비디오 분야의 캡션 생성을 향상할 수 있음을 보여줍니다.

arXiv:2606.28164v2cs.CV

EchoSonar-R: 심초음파 질병 분류 및 보고서 생성을 위한 다중 뷰 추론 지원 모델

EchoSonar-R: A Multi-View Reasoning-Enabled Model for Disease Classification and Report Generation in Echocardiography

심초음파는 가장 널리 사용되는 비침습적 심장 영상 검사 방식으로, 심혈관 질환 진단에 필수적인 정보를 제공한다. 심초음파 영상을 해석하려면 여러 심장 뷰에 걸친 상호 보완적인 근거를 종합하여 이상 소견을 식별하고 구조화된 임상 보고서를 작성해야 한다. 최근 연구는 분류 성능 향상에 초점을 맞추고 있지만, 대부분의 모델은 명시적인 진단 추론과 공간적으로 그라운딩된 해부학적 근거가 부족하여 임상의의 신뢰를 제한한다. 우리는 심초음파 검사로부터 다중 라벨 질병 분류와 보고서 생성을 공동으로 수행하는 다중 뷰 추론형 비전-언어 모델 EchoSonar-R을 제안한다. EchoSonar-R은 시공간 비디오 인코더와 구조 인식 심장 검출기를 결합하여, 교차 뷰 추론 과정에서 해석 가능성과 임상의 신뢰를 높이기 위해 공간적으로 그라운딩된 해부학적 단서를 제공한다. EchoSonar-R은 두 단계로 학습된다: 추론 주석이 달린 목표에 대한 지도 미세조정(SFT)에 이어, 분류와 보고서 생성을 통합 강화학습(RL) 프레임워크 내에서 공동으로 정렬하는 과제별 보상을 사용한 Group Relative Policy Optimization(GRPO)이 수행된다. 사설 다중 뷰 데이터셋과 두 공개 벤치마크에서 EchoSonar-R은 가장 강력한 기준선 대비 사설 데이터셋에서 매크로 균형 정확도를 17.1%, MIMICEchoQA에서 6.1% 향상시키고, GREEN 임상 충실도 점수 0.800을 달성하며, 다중 뷰 시각적 근거에 그라운딩된 해석 가능한 추론 추적을 생성한다.

arXiv:2605.16427v3cs.CV

EAGT: 일반화와 전이성을 위한 심초음파 데이터 증강

EAGT: Echocardiography Augmentation for Generalisability and Transferability

심초음파 분할을 위한 심층 학습 모델은 기관, 스캐너, 환자 집단 간 일반화에 자주 어려움을 겪으며, 대규모의 일관되게 주석이 달린 데이터셋을 수집하는 것은 불가능한 경우가 많다. 데이터 증강은 저렴하고 심층 학습 모델의 견고성을 향상시키는 데 널리 사용되지만, 심초음파에서 데이터셋 간 일반화를 향상시키는 데 있어 그 역할은 여전히 충분히 이해되지 않았다. 본 연구는 Unity, CAMUS, EchoNet Dynamic 데이터셋으로 학습된 U-Net을 사용한 2D 좌심실 분할에 대해 29가지 데이터 증강 기법과 그 쌍별 조합을 대규모 다중 데이터셋 평가로 제시한다. 각 증강은 여러 하이퍼파라미터 설정 하에서 탐색되었으며, 도메인 내 및 교차 데이터셋 시나리오 모두에서 Dice와 IoU를 사용한 반복 실행을 통해 평가되었고, 통계적 유의성은 독립 표본 t-검정을 통해 정량화되었다. 도메인 내 정확도는 거의 포화 상태였고 증강에 민감하지 않았으나, 교차 데이터셋 성능은 크게 달랐다. 아핀 변환, shift-scale-rotate, 뒤집기, 원근 변환을 포함한 기하학 기반 증강이 가장 크고 일관된 향상을 보였고, 공격적인 강도 및 아티팩트 기반 변환은 종종 전이를 저하시켰다. 또한 쌍별 조합은 주로 두 변환이 상보적일 때 개별 증강보다 우수한 성능을 보였으며, 특히 어려운 도메인 이동 사례 중 일부를 낮은 수준에서 허용 가능한 수준으로 개선했다. 이러한 결과는 심초음파 분할 모델의 견고성과 전이성을 향상시키는 증강 정책 설계를 위한 실증적 지침을 제공한다.

arXiv:2607.13738v3cs.CV

해부학적으로는 충실하지만 시간적으로는 분산됨: 심초음파 기반 좌심실 박출률 추정을 위한 귀속(attribution) 검증

Anatomically Faithful but Temporally Diffuse: Auditing Attribution for Left-Ventricular Ejection-Fraction Estimation from Echocardiography

심층 비디오 모델은 심초음파(echocardiography)로부터 좌심실 박출률(EF)을 거의 전문가 수준의 정확도로 추정하며, 사후 귀속(attribution)은 이러한 모델이 올바른 위치를 보고 있는지를 검증하는 데 점점 더 많이 사용된다. EF는 수축기말(end-systolic, ES) 및 이완기말(end-diastolic, ED) 프레임으로 정의되므로, 충실한 설명은 공간적으로 좌심실뿐 아니라 시간적으로도 결정적인 프레임을 국소화해야 한다. EchoNet-Dynamic에서 파인튜닝(fine-tuning)된 두 가지 구조적으로 상이한 회귀 모델에 대해 공간적 그라운딩(spatial grounding), 교란(perturbation), 시간적 의존(temporal reliance)의 세 축을 따라 귀속의 충실성을 검증한다: Chefer relevance propagation으로 검증한 자기지도 VideoMAE 트랜스포머, 및 Grad-CAM으로 검증한 Kinetics 사전학습(pre-training) R(2+1)D 컨볼루션 네트워크. 모든 통계는 전체 1,276건 연구 테스트 분할에 대해 부트스트랩 95% 신뢰구간으로 보고되며, 명시적 우연(chance) 기준선 및 어텐션 롤아웃과 무작위 귀속 대조군과 비교된다. 시간적 무효(null)가 아니라 뚜렷한 비대칭을 발견한다. 두 모델 모두 해부학적으로는 강하게 충실하지만(우연 대비 3.04배 및 3.76배) 시간적으로는 약하게만 국소화된다: 튜블릿 가림(tubelet occlusion)은 VideoMAE에서 ES/ED에 대한 인과적 의존을 우연 대비 1.05배(95% CI [1.037, 1.068]), R(2+1)D에서는 1.15배([1.134, 1.166])로 나타낸다 — 공간에서보다 3배 약한 집중도 — 그리고 귀속은 이러한 약점을 충실히 반영한다. 수렴과 아키텍처를 분리하면 시간적 의존은 아키텍처에 의해 결정되고 수렴 불변(convergence-invariant)임을 보여준다: R(2+1)D는 단일 학습 에포크 후 1.14배, 수렴 시 1.15배에 도달하는 반면, 두 VideoMAE 변형 모두 사전학습이나 정확도와 관계없이 1.05배를 유지한다. 따라서 공간적 충실성은 시간적 충실성을 함의하지 않으며, 이러한 부족은 추가 학습으로도 보완되지 않는다.

arXiv:2607.19643v1cs.CV

심초음파의 도메인 변화: 교차 데이터셋 좌심실 분할의 해석 가능한 정량화 및 예측

Domain Shift in Echocardiography: Interpretable Quantification and Prediction of Cross-Dataset Left Ventricular Segmentation

교차 데이터셋 일반화는 심초음파 좌심실 분할의 임상 배포에 있어 여전히 주요 장벽이지만, 이러한 변화의 원인은 거의 분리되지 않는다. 우리는 여섯 개의 심초음파 데이터셋에 걸쳐 수작업 초음파 기술자(descriptors), VAE 잠재 특징, 분할에서 유도된 잠재 특징을 사용하여 배포 전에 전이 성능 저하를 추정할 수 있는지 조사했다. 기하학 인식 전처리는 여러 전이 성능이 낮은 사례를 상당히 개선했으며, 이는 겉보기 도메인 변화의 상당 부분이 본질적인 음향 차이만이 아니라 시야(field-of-view) 및 프레이밍 불일치를 반영함을 시사한다. 강도 z-정규화는 데이터셋 분리 가능성을 0.005 미만으로 변경했으며, 이는 밝기와 대비가 지배적인 변화 축이 아님을 나타낸다. 보류된(hold-out) 소스-타깃 쌍에서 절대 Dice 하락은 R-squared 0.612, MAE 0.082, Spearman rho 0.681로 예측되었다. 좌심실(LV) 및 부채꼴 형태 특징이 없는 변형은 이 설명력의 약 70%를 유지하여, 마스크 없는 전이 위험 모니터링을 뒷받침한다. 가장 정보가 풍부한 불일치 측정은 표현에 따라 달랐으며, z-정규화된 수작업 특징에서는 CMD가 절대 r 약 0.86 및 R-squared 약 0.70으로 가장 강했고, VAE 공간에서는 log-Wasserstein이 r 약 -0.90 및 R-squared 약 0.81로 가장 강했으며, LV 분할 잠재 특징에서는 log-MMD가 r 약 -0.92 및 R-squared 약 0.84로 가장 강했다. 겉보기 벤더 효과는 대부분 데이터셋과 교란(confounded)되어 있었다. 따라서 심초음파 도메인 변화는 구조화되어 있고 측정 가능하며, 분할에 대한 그 영향은 기하학 인식 전처리를 통해 부분적으로 줄일 수 있고 표현별 전이 위험 추정을 사용하여 예측할 수 있다.

arXiv:2607.15268v1cs.CV

심초음파 기반 심근경색 국소화를 위한 운동 조건부 다중 뷰 융합

Motion-Conditioned Multi-View Fusion for Myocardial Infarction Localization from Echocardiography

심근경색(MI)은 전 세계적으로 주요 사망 원인으로 남아 있다. 심초음파(Echo)는 MI 평가에 널리 사용 가능한 검사 방식이며, 여기서 국소 벽 운동 이상은 핵심 지표이다. 기존 학습 기반 심근 운동 분석 방법은 종종 handcrafted descriptors나 밀집 감독(densely supervised) 추정을 사용하지만, 광범위한 주석(annotation) 필요성이 적용 가능성을 제한한다. 파운데이션 모델(foundation models)이 최근 비전 기반 Echo 분석을 개선했지만, 대부분의 방법은 단일 뷰에서 동작하며 세그먼트 수준 국소화는 뷰 의존적 모호성 하에서, 특히 심첨부(apical) 뷰에서 신뢰할 수 없다. 이를 해결하기 위해, 우리는 심근 운동 단서와 파운데이션 모델 표현을 융합하여 경색을 국소화하는 새로운 운동 유도 다중 뷰 융합 프레임워크인 MCF-Net을 제안한다. 시각적 특징은 이중 뷰에 공유되는 사전학습(pre-training)된 Echo 파운데이션 모델인 EchoPrime을 사용해 추출한다. 심장 운동은 매우 희소한 감독으로 모델링된다. 단일 주석이 달린 템플릿 프레임이 동영상 전체로 전달되어 포인트 추적(point tracking)을 초기화하므로 밀집 라벨을 피할 수 있다. 운동으로부터 파생된 세그먼트 인식(segment-aware) 소프트 마스크는 도전적인 심근 세그먼트에 대해 특징을 선택적으로 강화하는 거친 공간 사전(prior) 정보를 제공한다. 운동 조건부 융합 메커니즘은 뷰 간 운동과 시각 정보를 통합하여, 강한 외관(appearance) 단서를 무시하지 않으면서 예측을 정제한다. 세그먼트 수준 MI 국소화에서 MCF-Net은 72.4% F1과 84.9% 정확도(accuracy)를 달성하여, 최신 운동 전용, 비전 전용, 융합 기준선(baseline)들을 능가한다.

arXiv:2607.00748v1cs.CV

FrameONE: 범용 다중 뷰 심장초음파 키프레임 검출을 위한 계층적 모션 모델링

FrameONE: Hierarchical Motion Modeling for Universal Multi-View Echocardiographic Keyframe Detection

심장초음파 영상에서 수축말기(ES)·이완말기(ED) 키프레임을 다중 뷰에 걸쳐 통합 검출하기 위해, FrameONE은 뷰 내 멀티태스크 학습과 뷰 간 일반 모션 학습(IGM)을 결합한 계층적 모션 모델링(Hierarchical Motion Modeling) 전략을 제안한다. 4개 표준 뷰의 25,872개 비디오 실험에서 기존 최고 성능 방법 대비 뛰어난 키프레임 검출 정확도와 강력한 뷰 간 일반화 성능을 달성하였다.

arXiv:2603.01461v2cs.CV

UltraStar: 심초음파 내비게이션을 위한 의미 인식 스타 그래프 모델링

UltraStar: Semantic-Aware Star Graph Modeling for Echocardiography Navigation

심초음파 프로브 자동 내비게이션에서 기존 순차적 체인 모델링이 노이즈가 많은 탐색 궤적에 과적합되는 문제를 해결하기 위해, UltraStar는 과거 키프레임을 공간 앵커로 활용하는 스타 그래프(Star Graph) 토폴로지를 도입해 경로 회귀(path regression) 대신 앵커 기반 전역 위치 추정(anchor-based global localization)을 수행한다. 의미 인식(semantic-aware) 샘플링 전략으로 다양한 랜드마크를 선택해 중복을 줄이며, 131만 개 샘플 데이터셋 실험에서 베이스라인 대비 우수한 성능과 긴 시퀀스에 대한 뛰어난 확장성을 입증했다.

arXiv:2606.06725v1eess.IV

신경 스케일링 법칙을 활용한 심장초음파 심근 분할 및 관류 정량화를 위한 연산 최적 네트워크 설계

Compute-Optimal Network Design for Echocardiography Myocardial Segmentation and Perfusion Quantification using Neural Scaling Laws

조영 증강 초음파를 이용한 심근 관류 정량화는 핵의학 영상 방식에 대한 비전리 침상 대안을 제공한다. 그러나 시간이 많이 소요되는 수동 레이블링으로 인해 임상 도입이 저해되고 있다. 도메인 내 학습 데이터의 부족으로 자동 분할은 어려운 과제로 남아 있다. 대규모 데이터셋에 대한 대규모 언어 모델(LLM) 최적화에 현재 사용되는 전략을 적용하여, 심근 분할의 네트워크 성능을 예측하기 위해 신경 스케일링 법칙을 적용한다. CAMUS 심장초음파 데이터셋과 25명의 환자로 구성된 조영 증강 초음파(CEUS) 데이터셋에서 최적 네트워크 크기를 결정하기 위해 데이터 부분집합의 성능을 외삽한다. 마지막으로, 최종 심근 관류 매개변수를 선임 심장전문의가 획득한 값과 비교하여 모델의 임상적 유용성을 검증한다. 스케일링 법칙에 기반한 외삽은 전체 데이터셋 크기에서의 테스트 손실을 예측하는 데 유효하며, 매개변수 수를 240배 줄이면서 CAMUS에서 최첨단 성능을 달성한 두 네트워크를 선택할 수 있었다. 스케일링 법칙의 그래디언트가 CAMUS에서 CEUS 데이터셋으로 전이되며, 예측 손실에 바이어스가 존재함을 관찰하였다. 자동 분할된 마스크는 심근 관류 정량화에서 선임 심장전문의와 동등한 성능을 보인다. 이러한 결과는 신경 스케일링 법칙이 소규모 의료 영상 데이터셋에 대한 데이터 기반 연산 최적 모델 설계를 위한 실용적 도구임을 확립한다.