Multi-modal Rail Crossing Safety Analysis
철도 건널목 이미지와 FRA Form 57 사고 기록을 결합한 멀티모달 파이프라인을 제안하여, 비전-언어 모델(VLM)이 건널목의 위험도를 평가할 수 있는지 탐구한다. 파인튜닝된 경량 VLM 파이프라인으로 고위험/저위험 건널목 분류에서 매크로 F1 0.757, FRA 기반 안전 점수 예측에서 RMSE 0.078을 달성하였다.
철도 건널목 이미지와 FRA Form 57 사고 기록을 결합한 멀티모달 파이프라인을 제안하여, 비전-언어 모델(VLM)이 건널목의 위험도를 평가할 수 있는지 탐구한다. 파인튜닝된 경량 VLM 파이프라인으로 고위험/저위험 건널목 분류에서 매크로 F1 0.757, FRA 기반 안전 점수 예측에서 RMSE 0.078을 달성하였다.
MPFlow: Multi-modal Posterior-Guided Flow Matching for Zero-Shot MRI Reconstruction
제로샷 MRI 재구성은 생성적 사전분포에 의존하지만, 단일 모달리티의 무조건적 사전분포는 심각한 ill-posedness(역문제의 불안정성) 하에서 환각을 유발한다. 많은 임상 워크플로에서 보완적인 MRI 촬영(예: 고품질 구조 스캔)이 일상적으로 확보되지만, 기존 재구성 방법은 이러한 추가 정보를 활용할 메커니즘이 부족하다. 우리는 MPFlow를 제안한다. 이는 rectified flow 기반의 제로샷 다중 모달 재구성 프레임워크로, 생성적 사전분포를 재학습하지 않고 추론 시점에 보조 MRI 모달리티를 통합하여 해부학적 충실도를 개선한다. 교차 모달 가이던스는 우리가 제안한 자기지도 사전학습 전략인 Patch-level Multi-modal MR Image Pretraining(PAMRI)에 의해 가능해지며, PAMRI는 모달리티 간 공유 표현을 학습한다. 샘플링은 사전학습된 PAMRI를 사용한 데이터 일관성과 교차 모달 특징 정렬에 의해 공동으로 유도되어, 내재적 및 외재적 환각을 체계적으로 억제한다. HCP와 BraTS에 대한 광범위한 실험에서 MPFlow는 샘플링 스텝의 20%만 사용하면서도 이미지 품질 측면에서 diffusion 베이스라인에 필적하며, segmentation dice score 기준으로 종양 환각을 15% 이상 감소시킨다. 이는 교차 모달 가이던스가 더 신뢰할 수 있고 효율적인 제로샷 MRI 재구성을 가능하게 함을 보여준다.
FUSE: Frequency-domain Unification and Spectral Energy Alignment for Multi-modal Object Re-Identification
다중 모달 재식별(ReID)에서 상당한 진전이 있었음에도, 기존 방법들은 저주파 단서에 치우치는 경향이 있다. 그 결과 색상, 조명, 거친 외관과 같은 속성에 집중하는 한편, 기하학적·질감적·신원 구별 정보를 담는 중·고주파 구조를 간과한다. 이러한 불균형은 불완전한 스펙트럴 표현과 불안정한 교차 모달 정렬을 초래한다. 이러한 한계를 극복하기 위해, 다중 모달 ReID를 스펙트럴 분리와 에너지 정렬의 2단계 과정으로 재구성하는 주파수 영역 프레임워크인 FUSE를 제안한다. 제안한 스펙트럴 분해 모듈(SDM)은 특징을 저·중·고주파 부공간으로 적응적으로 분할하여 계층적 스펙트럴 모델링을 가능하게 한다. 교차 모달 정렬 모듈(CAM)은 주파수 일관성 정규화를 통해 모달리티 간 에너지 정렬과 부공간 상보성을 더욱 강화한다. 또한 FUSE는 가변적 조명 및 이질적 센서 조건에서의 강건성을 높이기 위해 학습 가능한 주파수 변조를 통합한다. RGBNT201, RGBNT100, MSVR310에 대한 광범위한 실험에서 FUSE는 mAP 9.1% 및 Rank-1 9.5%의 향상을 달성하며, 다중 모달 표현 학습을 위한 해석 가능한 주파수 영역 패러다임을 확립한다.
Modality-Aware Feature Matching in Visual and Vision-Language Applications: A Comprehensive Survey
특징 매칭(feature matching)은 컴퓨터 비전의 핵심 과제로서, 이미지 검색, 스테레오 매칭, 3D 재구성, SLAM과 같은 애플리케이션에 필수적입니다. 본 조사는 모달리티 기반 특징 매칭을 포괄적으로 검토하며, RGB 이미지, 깊이 이미지, 3D 포인트 클라우드, LiDAR 스캔, 의료 이미지 및 비전-언어 상호작용을 포함한 다양한 모달리티에 걸쳐 전통적인 핸드크래프트(handcrafted) 방법을 탐색하고 최신 딥러닝 접근법을 강조합니다. Harris 코너와 같은 검출기 및 SIFT와 ORB와 같은 디스크립터를 활용하는 전통적 방법은 적절한 모달리티 내(intra-modality) 변형에서는 강인성을 보이지만, 큰 모달리티 격차에는 어려움을 겪습니다. CNN 기반 SuperPoint 및 트랜스포머 기반 LoFTR와 같은 검출기 없는(detector-free) 전략으로 대표되는 최신 딥러닝 기반 방법은 모달리티 간의 강인성과 적응성을 크게 향상시킵니다. 우리는 깊이 이미지를 위한 기하학적 및 깊이 특화 디스크립터, 3D 포인트 클라우드를 위한 희소(sparse) 및 밀집(dense) 학습 방법, LiDAR 스캔을 위한 어텐션 강화 신경망, 그리고 복잡한 의료 이미지 매칭을 위한 MIND 디스크립터와 같은 특수화된 솔루션 등 모달리티 인식 발전 사항을 강조합니다. 의료 이미지 정합 및 비전-언어 태스크(task)에서의 크로스 모달(cross-modal) 애플리케이션은 점점 더 다양해지는 데이터 상호작용을 처리하기 위한 특징 매칭의 진화를 강조합니다.
Conformal Disentanglement and Latent-Space Curation: A Neural Framework for Perspective Synthesis, Differentiation and Targeted Generation
많은 과학 및 공학 문제는 여러 이종 센서 또는 측정 방식(modality)을 통해 공통 현상을 관측하는 것을 포함한다. 이러한 관측은 일반적으로 센서 간 공유되며 기저 시스템을 반영하는 정보와, 측정 과정 또는 환경 효과에서 기인하는 센서 고유 또는 외래 성분을 모두 포함한다. 센서 독립적 관측을 이용할 수 없을 때 이러한 기여 성분을 분리(disentangle)하는 것이 필수적이다. 우리는 다중 센서 데이터로부터 공유 및 센서 고유 잠재 변수를 명시적으로 분리하는 신경망 오토인코더 프레임워크를 제안한다. 이 아키텍처는 구조적 제약과 직교성 기반 정규화를 통해 잠재 성분 간 기하학적 독립성을 강제하여, 해석 가능하고 분리된(disentangled) 표현을 산출한다. 이 표현을 기반으로, 생성 모델을 선택된 분리된 잠재 부공간에서 조정/「제한」하는 잠재 공간 생성 방법론을 도입한다. 그런 다음 분리된 관측 잠재 변수를 구성적으로 결합하여 학습된 디코더를 통해 새로운 샘플을 조건부로 합성한다. 이를 통해 규정된 공유(또는 센서 고유) 특성을 갖는 일관된 데이터 생성이 가능해진다. 또한 미관측 방식에서 그럴듯한 측정치에 대한 분포를 일관되게 샘플링함으로써 교차 센서 추론을 지원한다. 우리는 여러 계산 예제에서 이 접근법을 시연하여, 이종 센싱 환경에서 효과적인 분리, 목표 지향 데이터 생성 및 방식 대치를 보여준다.