PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.17437v2cs.CV

EV9V: An Echocardiographic Video Benchmark with Uncertainty Guided View Classification

Automated classification of standard echocardiographic views is crucial for efficient clinical workflow but faces three main challenges. First, publicly available datasets are scarce and limited in scale and view coverage. Second, the performance of some modern video-level architectures for echocardiographic view classification remains underexplored. Third, some view categories exhibit highly similar spatial appearances, making single-frame features insufficient for discrimination, while heterogeneous frame quality complicates robust temporal information fusion. To address these challenges, we release the Echocardiographic Videos of Nine Views (EV9V) dataset, comprising 5,138 videos, 910,579 frames, and 9 standard views, which is, to the best of our knowledge, the largest openly released echocardiography video dataset. Furthermore, we propose a Spatio-Temporal Fusion Model (STFM), an efficient dual-stream framework that jointly captures spatial anatomical structures and temporal cardiac dynamics. The STFM leverages uncertainty-aware learning to preferentially sample representative video segments during training and evidence-based fusion during inference, improving robustness to variations in frame quality across echocardiographic videos. Extensive experiments demonstrate that STFM achieves competitive performance and effectiveness compared with diverse video classification architectures, including two-dimensional and three-dimensional convolutional neural networks, recurrent neural networks, and Transformers. The code is released at https://huggingface.co/datasets/bgx666/EV9V and the EV9V dataset is available at https://github.com/bgx666/stfm.

arXiv:2609.24482v1cs.CV

STA-TFM: 자세 추정을 위한 뷰 간 시공간 집합 TransForMer

STA-TFM: Spatio-Temporal Aggregation Across Views TransForMer for Pose Estimation

단안(monocular) 3D 인체 자세 추정(HPE)은 깊이 모호성, 가림(occlusion), 시간적 일관성 요구 때문에 여전히 어렵다. 다중 뷰 방법은 단안 접근보다 더 높은 정확도를 제공하지만, 종종 복잡한 구성을 요구한다. 우리는 다중 뷰 자세 추정을 위해 공간·시간 정보를 결합하는 트랜스포머 기반 아키텍처인 STA-TFM을 제안한다. 이 접근법은 각 뷰 내 장거리 자세 종속성을 포착하기 위해 단안 특징 추출기인 DSTformer를 활용한다. 이어 융합 트랜스포머가 뷰 간 정보를 집계하여 일관된 3D 추정을 만든다. 학습 데이터 부족을 완화하기 위해, 기존 3D 자세 데이터셋을 제어 가능한 매개변수를 갖는 다중 뷰 구성으로 바꾸는 데이터 생성 파이프라인을 사용한다. 여러 데이터셋에서의 실험 결과, STA-TFM은 기존 카메라 매개변수 불필요(camera-parameter-free) 다중 뷰 방법들보다 우수함을 보여준다. STA-TFM은 DHP19 데이터셋에서 관절당 평균 위치 오차(MPJPE)와 관절당 평균 속도 오차(MPJVE)를 각각 50.9%, 49.5% 줄였다. 또한 HAA4D에서는 각각 6.7%, 7.7% 감소를, TotalCapture에서는 MPJPE를 15.2% 감소시켰다. STA-TFM은 노이즈가 있거나 누락된 2D 입력도 처리할 수 있어, 의료 모니터링, 운동 능력 평가, 몰입형 기술 분야로의 잠재적 배포를 뒷받침한다. 코드, 학습 체크포인트, 데이터는 https://zenodo.org/records/22832620 에서 제공된다.