인물 재식별(ReID)은 지능형 감시 시스템의 핵심 구성 요소로, 분리된 카메라 네트워크 간 신원을 매칭하는 것을 목표로 한다. 전통적인 방법은 주로 단일 모달 RGB 영상에 의존하지만, 낮은 조도와 가림(occlusion)과 같은 환경적 도전 과제에 종종 제약을 받는다. 이러한 한계를 극복하기 위해 해당 분야는 교차 모달(cross-modal) 및 다중 모달(multi-modal) 패러다임으로 빠르게 발전하고 있다. 본 서벡은 이러한 전환에 대한 포괄적인 개요를 제시하며, 직접 가시성을 넘어 지각을 확장하는 신흥 비시선(NLOS, Non-Line-of-Sight) ReID를 포함하여 가시-적외선(VI-ReID), 텍스트-이미지(TI-ReID), 스케치 기반(Sketch-ReID) 등 주요 교차 모달 과제를 체계적으로 검토한다. 또한 3분광(tri-spectral) 및 다중 모달 융합 ReID를 살펴보고, 다양한 센서의 상보적 정보가 어떻게 견고성(robustness)을 향상시키는지 논의한다. 데이터셋, 과제, 방법론을 요약하는 것을 넘어, 모달리티 불변(modality-invariant) 특징을 효과적으로 포착하도록 설계된 가시-적외선 ReID용 트랜스포머 기반 기준선 프레임워크를 제안한다. 마지막으로, 현재 연구 환경을 바탕으로 향후 연구를 위한 여러 유망한 방향을 제시한다.
고속도로에 배치된 지능형 교통 시스템(Intelligent Transportation Systems)은 교통 인식 및 차량 추적에 주로 일반 RGB 카메라에 의존한다. 그러나 고속도로 환경은 고유한 과제를 수반한다. 인공 조명 인프라의 부재와 높은 차량 속도가 결합되어 저조도 조건에서 인식 성능이 심각하게 저하된다. 특히, 야간 시나리오에서는 모션 블러, 노출 부족, 낮은 신호 대 잡음비로 인해 RGB 기반 감지 시스템의 신뢰성이 치명적으로 손상된다. 이러한 한계를 해결하기 위해 우리는 새로운 결합 이벤트-RGB 적응형 추적(JEAT, Joint Event-RGB Adaptive Tracking) 프레임워크를 제안한다. 고정된 하드코딩 우선순위에 제약된 기존 다중 센서 추적기와 달리, JEAT는 비동기 이벤트 스트림과 RGB 프레임을 통합된 결합 데이터 연관 최적화로 병합한다. 적응형 확장 칼만 필터(Adaptive Extended Kalman Filter)를 활용해 NIS 통계를 통해 측정 잡음을 지속적으로 추정함으로써, 프레임워크는 두 모달리티를 동적으로 가중하고 융합하며, 어둡거나 고속 이동 시에는 이벤트 스트림을, 밝거나 정적인 조건에서는 RGB 프레임을 최적으로 활용한다. 또한, 다양한 환경 조건을 갖춘 이벤트 기반 고속도로 인식용 공개 데이터셋이 없다는 점을 고려하여, CARLA 시뮬레이터를 사용해 생성한 대규모 합성 데이터셋인 SEHN을 제시한다. 본 데이터셋은 다양한 환경 조건(주간, 야간, 인공 조명 없는 야간)과 다양한 교통 밀도를 포함하며, 다중 모달 융합 연구를 촉진하기 위해 동기화된 RGB 영상과 이벤트 스트림을 제공한다. 코드와 데이터셋은 https://github.com/haidongwang96/SEHN 에서 공개될 예정이다.
단일 이미지 초해상도(SISR)는 저해상도 입력으로부터 고품질 이미지를 복원한다. 최근 멀티모달 방법들이 지각적 품질을 향상시키고 있으나, 오류가 있는 사전 정보에 민감하고 비용이 많이 드는 어노테이션을 필요로 한다. 이러한 문제를 해결하기 위해, 우리는 효율적인 시맨틱 마이닝과 강인한 텍스트-이미지 융합을 위해 학습 가능한 프롬프트를 활용하는 멀티모달 SISR 프레임워크인 Simon-SR을 제안한다. 본 접근법은 대조적 프롬프트 학습(Contrastive Prompt Learning)과 프롬프트 기반 공간 적응적 정제(Prompt-Guided Spatially Adaptive Refinement)를 결합하여 멀티모달 정렬을 강화한다. 실험 결과, Simon-SR은 최신 기법들을 능가하여 PSNR에서 최대 0.50 dB, SSIM에서 0.0133, LPIPS에서 0.0695의 최대 성능 향상을 달성하였다. 코드는 추후 공개될 예정이다.
비디오 이상 탐지(VAD)는 자동화된 감시에 있어 핵심적인 기술이지만, 가시광선 영상에만 의존할 경우 조명 변화, 빠른 움직임, 복잡한 배경 등 어려운 환경에서 취약하다는 한계가 있다. 이러한 한계를 극복하기 위해, 우리는 생체 영감 기반의 이벤트 카메라로 촬영된 일반 영상과 이벤트 스트림을 함께 활용하는 이벤트 강화 VAD 프레임워크인 EVAD를 제안한다. 이벤트 센서는 높은 시간 해상도로 밝기 변화를 비동기적으로 포착하여 모션 블러 및 극단적인 조명 환경에 강인하며, 영상 기반 시각 정보를 보완하는 동작 현저성 단서를 제공한다. 멀티모달 VAD 연구를 지원하기 위해, 다양한 조명 수준, 동작 패턴, 배경 복잡도 하에서 수집된 63억 개의 이벤트와 376,368개의 비디오 프레임으로 구성된 대규모 가시광-이벤트 벤치마크 데이터셋을 구축함으로써, 이벤트 기반 이상 탐지를 위한 현실적이고 확장 가능한 데이터셋의 공백을 채운다. 이 데이터셋을 기반으로, 이벤트 스트림, 가시광 영상, 텍스트 설명 간의 의미론적 임베딩을 정렬하여 판별력 있는 이벤트 표현을 학습하는 대조적 멀티모달 사전학습 프레임워크를 설계한다. 이후 적응형 융합 모듈이 이벤트 기반 시간적 단서와 영상 기반 공간적 의미론을 동적으로 통합하여 환경 교란에 대한 강인성을 향상시킨다. 벤치마크 및 제안된 TJUTCM Pha 데이터셋에 대한 실험 결과, E-VAD가 기존 방법들을 일관되게 능가함을 보여주며, 실제 환경에서의 VAD를 위한 이벤트 기반 센싱의 효과성을 검증한다.
BEV 기반 다중 센서 융합의 이산 격자 표현이 초래하는 세부 정보 손실과 교차 모달 정렬 한계를 극복하기 위해, GaussianFusion은 연속적인 3D 가우시안 공간에서 카메라와 LiDAR 특징을 통합하는 범용 다중 모달 융합 프레임워크를 제안한다. nuScenes 데이터셋에서 BEVFusion 대비 NDS 2.6 향상, 가우시안 30%만 사용하면서 GaussFormer 대비 3D 시맨틱 점유 예측에서 mIoU 1.55 향상 및 450% 속도 향상을 달성했다.
Robust segmentation of clinically significant prostate cancer (csPCa) on multi-parametric MRI must tolerate frequent degradation of its most informative diffusion sequences. Multi-modal fusion commonly employs learned modality gating under the assumption that gates implement per-sample modality quality routing -- rarely tested directly. We ask how gating behaves across backbone architectures. We systematically analyze modality-isolated gated fusion (MIGF) for csPCa segmentation on two backbones (nnU-Net and Mamba) using PI-CAI (n=1500), with cross-cohort validation on Prostate158 (n=158): a factorial ablation over gating, modality dropout, and deep supervision under 5-fold cross-validation (180 trained models), plus a gate-weight and counterfactual analysis of 30 trained gating models. Modality gating is backbone-conditional. On nnU-Net, adding gating reduces the ranking score (marginal effect -0.037; gating configurations p<0.05), whereas on Mamba the gating-plus-dropout configuration improves it (+0.024, p=0.037). Gate-weight analysis explains this: nnU-Net gates collapse into a near-static modality prior (across-case SD 0.0033), while Mamba gates retain sample-dependent variation (0.0365, ~11x larger, non-overlapping); replacing per-sample gates with their training-set mean leaves nnU-Net unchanged but degrades Mamba. Modality dropout is the only component beneficial on both backbones. Under cross-cohort shift, convolutional backbones collapse to case-level specificity near zero, whereas Mamba retains it (MIGF-Mamba highest, 0.31). Learned modality gates do not universally perform per-sample quality routing; their effective behavior is conditional on the backbone's inherent modality awareness. Among tested configurations, MIGF-Mamba is the most cross-cohort robust, and training-time modality dropout is the only component beneficial across both backbones.
A Hybrid, Multi-Layered Pipeline for Phishing and Threat Classification: Independently Validated URL and NLP Engines with a Calibrated Multi-Channel Fusion Stage
피싱·위협 분류를 위해 URL 4단계 스택, 일반화 강화 DistilBERT NLP 분류기, 위협 인텔리전스 동기화 등 모달리티별 독립 엔진을 구축하고 보정된 다채널 확률적 OR 융합으로 결합한 하이브리드 파이프라인을 제안한다. NLP 분류기는 홀드아웃 실제 피싱 재현율을 0.8%에서 87.3%로 끌어올렸고, 10,677건 이메일 전체 시스템 벤치마크에서 F1=0.914를 달성했으며 실제 배포에서는 학습 분포 밖 일반화 성능이 핵심 제약이라고 지적한다.
군집 계수는 컴퓨터 비전(computer vision)의 기본적인 과제입니다. 그러나 실제 세계에서의 실용적 중요성에도 불구하고, 저조도 환경에서의 군집 계수는 아직까지 거의 탐구되지 않았습니다. 기존 방법들은 주로 조명이 충분한 장면에 초점을 맞추거나 단일 모달 Red-Green-Blue (RGB) 표현에 의존하는데, 이는 극심한 어둠과 복잡한 비균일 조명 하에서는 종종 신뢰할 수 없게 됩니다. 이 문제를 해결하기 위해, 우리는 두 개의 합성 데이터셋(dataset)인 SHA_Dark와 SHB_Dark, 그리고 실제 세계 벤치마크(benchmark)인 LC-Crowd (Low-light Crowd Dataset)로 구성된 세 가지 새로운 저조도 군집 계수 벤치마크를 구축했습니다. Retinex 기반 물리적 모델링에서 영감을 받아, 저조도 조건에서 내재적 반사율(intrinsic reflectance) 표현을 향상시키기 위해 깊이(depth)와 Canny 에지(edge) 단서를 보완적인 기하학적 및 구조적 사전(priors)으로 도입했습니다. 우리는 RGB 외관, 깊이 기하학, 에지 구조 단서를 통합된 하이퍼 그래프 내의 노드로 공식화하고, 동적 하이퍼에지(hyperedge) 구성 및 메시지 전달(message passing)을 통해 그들의 고차원(high-order) 보완적 관계를 명시적으로 포착하는 멀티 모달 하이퍼 그래프 융합 모듈을 제안합니다. 또한, 밀집 예측(dense prediction)에서 계산을 적응적으로 할당하기 위해, 앵커 인식(anchor-aware) 추정 및 적응형 직사각형 윈도우(window) 모델링을 통해 정보가 풍부한 영역에 계산을 집중시키는 변형 가능한 직사각형 희소 어텐션(Deformable Rectangular Sparse Attention, DRSA) 모듈을 제안합니다. 이러한 설계를 바탕으로, 우리는 견고한 저조도 군집 계수를 위한 통합된 저조도 계수 네트워크(Low-Light Counting Network, LCNet)를 개발했습니다. 세 가지 벤치마크에 대한 광범위한 실험을 통해, 제안된 방법이 기존 최첨단(SOTA) 방법들 대비 최상의 전반적인 성능을 달성함을 입증했습니다. 코드는 보충 자료에 포함되어 있습니다. 데이터셋은 논문 수락 후 공개될 예정입니다.