PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.15268v1cs.CV

심초음파 기반 심근경색 국소화를 위한 운동 조건부 다중 뷰 융합

Motion-Conditioned Multi-View Fusion for Myocardial Infarction Localization from Echocardiography

심근경색(MI)은 전 세계적으로 주요 사망 원인으로 남아 있다. 심초음파(Echo)는 MI 평가에 널리 사용 가능한 검사 방식이며, 여기서 국소 벽 운동 이상은 핵심 지표이다. 기존 학습 기반 심근 운동 분석 방법은 종종 handcrafted descriptors나 밀집 감독(densely supervised) 추정을 사용하지만, 광범위한 주석(annotation) 필요성이 적용 가능성을 제한한다. 파운데이션 모델(foundation models)이 최근 비전 기반 Echo 분석을 개선했지만, 대부분의 방법은 단일 뷰에서 동작하며 세그먼트 수준 국소화는 뷰 의존적 모호성 하에서, 특히 심첨부(apical) 뷰에서 신뢰할 수 없다. 이를 해결하기 위해, 우리는 심근 운동 단서와 파운데이션 모델 표현을 융합하여 경색을 국소화하는 새로운 운동 유도 다중 뷰 융합 프레임워크인 MCF-Net을 제안한다. 시각적 특징은 이중 뷰에 공유되는 사전학습(pre-training)된 Echo 파운데이션 모델인 EchoPrime을 사용해 추출한다. 심장 운동은 매우 희소한 감독으로 모델링된다. 단일 주석이 달린 템플릿 프레임이 동영상 전체로 전달되어 포인트 추적(point tracking)을 초기화하므로 밀집 라벨을 피할 수 있다. 운동으로부터 파생된 세그먼트 인식(segment-aware) 소프트 마스크는 도전적인 심근 세그먼트에 대해 특징을 선택적으로 강화하는 거친 공간 사전(prior) 정보를 제공한다. 운동 조건부 융합 메커니즘은 뷰 간 운동과 시각 정보를 통합하여, 강한 외관(appearance) 단서를 무시하지 않으면서 예측을 정제한다. 세그먼트 수준 MI 국소화에서 MCF-Net은 72.4% F1과 84.9% 정확도(accuracy)를 달성하여, 최신 운동 전용, 비전 전용, 융합 기준선(baseline)들을 능가한다.

arXiv:2607.08085v1cs.CV

다중 쿼리 차량 재식별을 위한 강화 뷰 전문가 혼합 및 대규모 벤치마크

Mixture of Enhanced-View Experts for Multi-Query Vehicle ReID and A Large-Scale Benchmark

다중 쿼리 차량 재식별(Multi-query Vehicle ReID)에서 단순한 특징 융합으로 인해 중요한 뷰 정보와 교차 뷰 관계가 누락되는 문제를 해결하기 위해, 전문가 혼합(MoE) 기반의 EV-MoE 모듈(VFEM + DMFM)과 양방향 교차 뷰 대조 학습을 적용한 Multi-view Alignment Loss(MAL)를 갖춘 CAFNet을 제안한다. 또한 23,637개 카메라에 걸쳐 107,805장의 이미지를 수록한 대규모 벤치마크 LCRI-1K를 구축하여, 기존 방법 대비 mAP +3.0%, mINP +3.6% 향상된 성능을 입증하였다.

arXiv:2607.06268v1cs.CV

MAC-XA: X선 혈관조영술에서 관상동맥 협착 보고를 위한 다중 시점 해부학적 대응 융합

MAC-XA: Multi-view Anatomy-Correspondence Fusion for Coronary Stenosis Reporting from X-ray Angiography

관상동맥 X선 혈관조영술에서 다중 시점 간 교차 투영 기하학적 불일치 문제를 해결하기 위해, MAC-XA는 합성 혈관조영상으로부터 기하학 기반 패치 수준 대응 감독 신호를 생성하고 이를 통해 학습한 Anatomy-Correspondence Module(ACM)로 보조 시점 특징을 주 시점 좌표 공간에 명시적으로 정렬한 후 융합하는 프레임워크를 제안한다. 합성 데이터 실험 및 실제 혈관조영 영상으로의 제로샷 전이 결과, 단일 시점 모델링 및 기존 다중 시점 융합 방식 대비 해부학적 대응 일관성과 협착(stenosis) 보고서 생성 성능이 향상됨을 확인하였다.

arXiv:2607.03038v1cs.CV

OmniDS: 피시아이 카메라 전방위 깊이 추정을 위한 이중 스트림 컨텍스트 융합

OmniDS: Dual-Stream Context Fusion for Omnidirectional Depth from Fisheye Cameras

다중 피시아이 카메라 리그를 이용한 전방위 깊이 추정은 가시성 충돌로 인해 복잡해진다. 광폭 기선(wide baseline)은 카메라마다 동일 객체의 서로 다른 부분, 심지어 다른 면을 관측하게 만들어, 고정 투영 방식으로 이들 특징을 통합 등장방형(ERP) 표현으로 집계하면 폐색 경계 및 얇은 구조물 근처에서 모호한 매칭 근거가 발생한다. 기존 방법들은 신뢰도 낮은 뷰의 가중치를 줄여 이를 완화하지만, 컨텍스트 형성과 교차 뷰 융합이 여전히 고정된 피시아이-ERP 샘플링에 종속되어 있어 근본적인 불일치는 해소하지 못한다. 본 논문에서는 동적 컨텍스트 융합과 합의 기반 다중 뷰 유사도를 결합함으로써 경직된 집계 방식을 대체하는 반복적 깊이 정제 프레임워크 OmniDS를 제안한다. 이중 스트림 인코더는 기하학적 세부 정보를 위한 경량 CNN과 의미론적 사전(prior) 제공을 위한 고정된 DINOv3를 결합하며, 각 정제 단계에서 학습된 뷰 가중치와 기하학적 왜곡 바이어스를 적용한 변형 가능 교차 어텐션을 통해 특징을 ERP 공간으로 재투영한다. 동시에, 다중 뷰 합의 볼륨은 그룹별 상관관계와 특징 분산을 통해 카메라 간 전역 합의를 포착하며, 3D U-Net으로 정규화된다. 효율적인 배포를 위해 이중 스트림 표현을 단일 MobileNet 기반 인코더로 지식 증류한다. OmniDS는 OmniThings, OmniHouse, Sunny 벤치마크에서 최첨단 성능을 달성하는 동시에 경쟁력 있는 추론 속도를 유지한다. 프로젝트 페이지 및 코드는 https://parkchaesong.github.io/omnids 에서 확인할 수 있다.

arXiv:2411.10077v3cs.CV

다중 뷰 융합을 위한 계층적 상호 증류: 가능한 모든 뷰 조합에서의 학습

Hierarchical mutual distillation for multi-view fusion: Learning from all possible view combinations

다중 뷰 학습(multi-view learning)은 종종 다양한 각도와 위치에서 캡처된 이미지를 효과적으로 활용하는 데 어려움을 겪습니다. 비정형(unstructured) 다중 뷰 이미지에 대한 학습 방법은 대부분 아직 탐구되지 않은 상태입니다. 본 논문에서는 정형(structured) 및 비정형 다중 뷰 시나리오를 모두 처리할 수 있는 새로운 다중 뷰 융합을 위한 계층적 상호 증류(Hierarchical Mutual Distillation for Multi-View Fusion, HMDMV) 방법을 제안합니다. 이 방법은 단일 뷰, 부분 다중 뷰, 전체 다중 뷰를 포함하여 가능한 모든 뷰 조합을 활용하여 예측을 수행합니다. 이 방법은 각 뷰 조합에 대한 예측을 생성한 후, 뷰 간 일관성을 향상시키기 위해 계층적 상호 증류를 적용합니다. 불확실성 기반 가중치 메커니즘은 각 뷰 조합의 예측 신뢰도에 따라 그 영향력을 조정하여 융합 과정을 더욱 개선하고, 신뢰도가 낮은 뷰의 영향을 줄입니다. 대규모 정형 및 비정형 데이터셋에 대한 광범위한 실험을 통해 HMDMV가 일관되게 최첨단 분류 정확도를 달성함을 입증했습니다. HMDMV의 또 다른 독특한 장점은 추론 시 향상된 유연성을 제공한다는 점으로, 추가적인 처리 없이 학습에 사용된 것보다 더 많거나 적은 수의 뷰로 추론을 수행할 수 있게 합니다. 또한, 각 학습 반복(iteration) 동안 뷰 조합의 부분 집합을 무작위로 샘플링하는 효율적인 전략을 설계하여 학습 비용을 줄인 경량 버전을 제공합니다. 이러한 결과는 뷰 가용성이 가변적이거나 불완전한 실제 환경에서 HMDMV의 견고성을 강조합니다. 코드는 https://github.com/labhai/HMDMV에서 확인할 수 있습니다.

arXiv:2606.06878v1cs.RO

강인한 6자유도 파지 자세 추정을 위한 교차 시점 융합 프레임워크

A Cross-view Fusion Framework for Robust 6-DoF Grasp Pose Estimation

본 논문에서는 코너 시점에서 6자유도(6-DoF) 파지 자세 추정의 강인성을 향상시키는 교차 시점 융합 프레임워크를 제안한다. 제안된 프레임워크는 보조 시점을 통합하여 폐색 문제를 완화하고, 사후 융합(post-fusion) 전략을 통해 시간이 많이 소요되는 태스크 비특화 다중 시점 재구성을 피한다. 교차 시점 융합을 강화하기 위해, 교차 시점 연관성을 활용하여 포인트 클라우드 특징을 정규화하는 자기지도 대조 학습(self-supervised contrastive learning) 전략을 제안한다. 구체적으로, 두 포인트가 동일한 3D 위치에 대응하면 교차 시점 포인트 쌍을 매칭으로, 서로 다른 파지 방향을 나타내면 비매칭으로 정의한다. 이 학습 전략은 포인트 특징의 공간적 일관성과 방향 변별성을 크게 향상시켜 교차 시점 융합을 촉진하고 추정 강인성을 개선한다. 아울러, 파지 관련 기하학 정보를 포괄적인 표현으로 융합하는 교차 시점 정렬 원통형 통합 모듈(cross-view-aligned cylinder integration module)을 제안한다. 구체적으로, 이 모듈은 먼저 유사도에 따라 교차 시점 포인트와 특징을 정렬하여 노이즈에 대한 강인성을 높인다. 이후 해당 포인트들을 원통 좌표계에 등록하여 파지에 중요한 회전 대칭 기하학 정보를 강조한다. 마지막으로, 로컬 자기 어텐션(self-attention)과 시드 교차 어텐션(cross-attention) 레이어를 교대로 적용하여 단일 시점 내부 및 시점 간 상호작용을 각각 지원함으로써 파지 관련 기하학의 세밀한 표현을 가능하게 한다. 제안된 프레임워크는 GraspNet-1Billion 벤치마크와 실제 환경 적용에서 우수한 성능을 달성한다. 코드는 https://github.com/KJZhuAutomatic/Cross-view-Grasp 에서 확인할 수 있다.