소프트웨어 취약점 탐지(vulnerability detection)는 시스템 보안을 보장하는 데 핵심적인 역할을 하며, 실제 환경의 감사(auditing)에서는 함수가 취약한지 여부를 판단하는 것뿐만 아니라 그 원인이 되는 구체적인 코드 라인을 정확히 찾아내는 것도 요구된다. 그러나 기존 접근법들은 순차적(sequential), 구조적(structural), 또는 의미적(semantic) 정보 중 단일 정보 소스에만 의존하여 여러 모달리티(modality) 간의 상호 보완적인 장점을 함께 활용하지 못하거나, 명시적인 라인 수준의 감독(supervision) 없이 문장 수준의 위치 추정을 함수 수준 탐지의 부산물로만 취급한다. 이러한 한계를 해결하기 위해, 우리는 함수 수준 탐지와 문장 수준 위치 추정을 함께 수행하는 통합 프레임워크인 DCVD(Dual-Channel Cross-Modal Vulnerability Detection)를 제안한다. DCVD는 두 개의 병렬 분기(branch)를 통해 제어 종속성(control-dependency) 특징과 의미적 특징을 추출하고, 대조적 정렬(contrastive alignment)과 양방향 교차 어텐션(bidirectional cross-attention)을 결합하여 이를 통합함으로써 모달리티 간 표현 격차(representation gap)를 효과적으로 좁힌다. 또한 함수 수준과 문장 수준 모두에서 명시적인 감독 신호(supervision signal)를 도입하여 두 세분화 수준(granularity) 간의 협력적 최적화(optimization)를 가능하게 한다. 대규모 실제 취약점 벤치마크(benchmark)에 대한 광범위한 실험 결과, DCVD는 함수 수준 탐지와 문장 수준 위치 추정 모두에서 최신(state-of-the-art) 방법들을 일관되게 능가하는 것으로 나타났다. 코드는 https://github.com/vinsontang1/DCVD 에서 확인할 수 있다.
사전 정합 불필요 RGB-T 현저 객체 검출(RGB-T SOD)은 비용이 큰 사전 정합 없이 정합되지 않은 RGB 및 열화상 영상 쌍에서 현저 객체를 식별하는 것을 목표로 한다. 그러나 공간적 비정합은 픽셀 단위 대응을 깨뜨리고 교차 모달 융합 과정에서 특징 오염을 유발한다. 이 문제를 해결하기 위해, 우리는 사전 정합 불필요 RGB-T SOD를 위한 의미-공간 정렬 프레임워크인 S2A를 제안한다. 구체적으로, 전역 유도 계층적 융합 모듈(GGHF)이 먼저 전역 의미(semantic) 유도를 활용하여 배경 간섭을 억제하고 계층적 모달 내 특징을 정제한다. 이어서, 정합 불필요 교차 모달 채널 어텐션 모듈(AFCA)이 채널 단위 상호작용을 통해 상호 보완적 의미 정보를 전역적으로 교환하여, 국소 공간 비정합으로 인한 간섭을 효과적으로 극복한다. 마지막으로, 공간 변형 가능 교차 어텐션 모듈(SDCA)이 적응형 샘플링 오프셋을 예측하여 국소 교차 모달 공간 대응을 복원한다. 이러한 의미-공간 패러다임을 통해 S2A는 먼저 신뢰할 수 있는 교차 모달 의미 상호작용을 가능하게 한 뒤 국소 공간 보정을 수행하여, 비정합으로 인한 특징 오염을 효과적으로 줄인다. 불필요한 부가 기법 없이 S2A는 여러 공개 사전 정합 불필요 RGB-T 벤치마크에서 매우 경쟁력 있는 성능을 달성하며, 비정합 유발 특징 오염 완화에서의 효과를 보여준다.
다중 모달 객체 재식별(ReID)은 이종 이미징 모달리티 전반의 상호보완적인 정보로부터 이점을 얻습니다. 의미론적 표현을 더욱 풍부하게 만들기 위해 최근에는 텍스트 설명이 추가적인 모달리티로 통합되었습니다. 그러나 최근의 비전-언어 접근 방식은 텍스트 설명을 노이즈 없는 결정론적 신호로 취급하는 경우가 많으며, 모달리티 불일치 문구와 의미론적으로 모호한 표현을 포함한 내재적 노이즈를 간과합니다. 나아가 기존 방식은 고수준의 의미론적 정렬을 거친 후에도 모달리티 간의 세밀한 구조적 불일치를 조정할 수 있는 명시적인 메커니즘이 부족합니다. 이러한 문제를 해결하기 위해, 우리는 긍정 유인 노이즈(Positive-Incentive Noise, $\pi$-noise)와 구조화된 프롬프트 변조를 중심으로 하는 새로운 프레임워크를 제안합니다. 첫째, 시맨틱 교차 모달 변조기(Semantic Cross-Modal Modulator)는 시각 및 텍스트 입력 모두에 조건화된 분포에서 샘플링된 태스크 인식 $\pi$-noise를 활용하여 글로벌 토큰을 섭동(perturb)시키고 의미론 유도 교차 모달 보상을 가능하게 합니다. 둘째, 구조 인식 프롬프트 어댑터(Structure-Aware Prompt Adapter)는 프롬프트를 통해 학습 가능한 기하학적 사전 정보를 주입하여 공간적 일관성을 강화합니다. 셋째, 컨텍스트 인식 희소 융합(Context-Aware Sparse Fusion) 모듈은 구조적 컨텍스트를 증류하여 적응형 융합을 유도하는 동시에 노이즈가 있는 로컬 세부 정보로부터 식별 특징을 보호합니다. 세 가지 다중 모달 ReID 벤치마크에 대한 실험을 통해 본 접근 방식의 유효성과 견고성을 입증합니다. 코드는 https://github.com/zw-absin/INSPI 에서 확인할 수 있습니다.
복잡한 도시 환경에서 정확한 다중 사용자 위치 추정은 어려운 과제이다. 이러한 환경에서는 무선 측정값이 잡음(noise), 차단(blockage), 다중경로(multipath)로 인해 모호해질 수 있는 반면, 시각적 관측은 이를 보완하는 공간적 맥락을 제공한다. 본 논문은 파일럿 인덱싱된 채널 상태 정보(CSI)를 활용한 다중 사용자 위치 추정을 위한 비전-무선 융합 프레임워크를 제시한다. 직교 파일럿 인덱스는 CSI 토큰 시퀀스와 위치 추정 출력 내에서 통신 중인 UE(사용자 단말)의 식별 정보를 보존한다. 이 모델은 파일럿 인덱싱된 각 CSI 관측을 쿼리 토큰으로 인코딩하고, 교차 어텐션(cross-attention)을 사용하여 공간적 시각 메모리로부터 사용자별 정보를 검색한다. CSI 토큰 간의 셀프 어텐션(self-attention)은 사용자 간 상호작용을 추가로 포착하며, 그 결과로 얻어진 멀티모달 표현은 사용자별 위치 추정에 사용된다. 서로 다른 데이터셋에 대한 실험은 모델 기반, CSI 전용, 멀티모달 융합 베이스라인 대비 일관된 성능 향상을 보여준다. 추가 실험은 서로 다른 무선 및 시각 조건 하에서 모델을 평가한다.
대부분의 다중모달 학습 방법은 이질적인 표현이 정렬되고 융합되는 방식을 개선하는 데 초점을 맞추지만, 융합 후 향상은 상대적으로 덜 연구되었다. 우리는 융합된 다중모달 특징에 여러 개의 얕은 변분 양자 회로(variational quantum circuits)를 적용하는 양자-고전 하이브리드 프레임워크인 병렬 양자 특징 증강(PQFA)을 제안한다. 동결(frozen)된 RoBERTa 및 ViT 인코더로 추출한 텍스트와 이미지 표현은 양방향 교차 어텐션(cross-attention), 어텐션 기반 풀링, 적응형 게이트 융합(adaptive gated fusion)을 거쳐 처리된다. 융합된 특징은 이어서 병렬 양자 회로에 진폭 인코딩(amplitude-encoded)되며, 측정 판독값(measurement readouts)은 예측을 위해 고전 표현과 연결(concatenated)된다. 동일한 인코더, 융합 백본(fusion backbone), 데이터 분할, 투영 차원(projection dimension), 증강 출력 폭(augmentation output width)을 사용한 통제 비교를 통해 MM-IMDb 및 N24News에서 PQFA를 평가한다. PQFA는 양자 증강 없는 융합 백본과 폭이 맞춰진(width-matched) MLP 증강 기준선 모두보다 일관되게 우수한 성능을 보이며, MLP 분기의 24.0K에 비해 약 2.2K의 증강 매개변수만 사용한다. 모달리티 누락(missing-modality) 실험은 텍스트 또는 시각 입력이 불완전할 때 견고성(robustness)이 향상됨을 추가로 보여주며, 특히 정보가 더 풍부한 텍스트 모달리티가 심하게 저하된 경우 뚜렷한 이득을 보인다. 통제된 ablation 및 특징 공간 분석은 이러한 개선이 무작위 특징 매핑, 고전 폭 증가, 또는 학습되지 않은 양자 변환으로는 재현될 수 없음을 나타낸다. 양자 상태 진단(quantum-state diagnostics)은 또한 테스트된 시뮬레이션 노이즈 수준 전반에 걸쳐 안정적인 예측 성능과 인코딩된 상태의 분기별 고유 변환을 보여준다. 이러한 결과는 PQFA가 양자-고전 하이브리드 다중모달 학습에서 융합 후 증강을 위한 효과적이고 매개변수 효율적인 전략임을 입증한다.
보행자 횡단 의도 예측은 자율주행에서 안전성이 매우 중요한 과제이지만, 기존 접근법은 단일 모달 입력이나 밀집(dense) 다중모달 융합 전략에 의존하는 경우가 많아 상보적인 시각 정보와 운동학(kinematic) 정보를 충분히 포착하지 못하는 동시에 모달 간 중복 상호작용을 유발한다. 우리는 ADAPT(Adaptive Domain-Aware Pedestrian Crossing Transformer)를 제안한다. 이는 국소 및 전역 시각 맥락과 시간적 운동 역학을 공동으로 모델링하여 정확한 보행자 횡단 의도 예측을 수행하는 다중모달 프레임워크이다. ADAPT는 RGB 영상, 국소 깊이 맵, 전역 의미 맵, 전역 깊이 맵을 포함한 네 가지 공간 정렬 시각 모달리티와, 자차 속도, 보행자 경계 상자, 스켈레톤 포즈 정보를 다섯 개의 특화 모듈을 통해 처리한다: 시각 특징 추출을 위한 가중치 공유 Swin Transformer V2 백본, 계층적 시각 융합을 위한 Cross-Modality Guided Attention 모듈, 효율적인 시간적 모델링을 위한 Mamba 기반 Motion Feature Encoding 모듈, 가장 정보가 풍부한 모달 간 상호작용을 선택적으로 보존하는 Sparse Cross-Modal Attention 모듈, 시퀀스 수준 예측을 위한 Vision Transformer 기반 Temporal Feature Fusion 모듈. JAAD와 PIE 벤치마크 데이터셋에서의 광범위한 실험은 ADAPT가 낮은 계산 복잡도를 유지하면서 기존 최신(state-of-the-art) 방법들을 일관되게 능가함을 보여준다. JAAD에서 제안 방법은 JAADbeh에서 AUC 0.73, JAADall에서 AUC 0.85를 달성했으며, PIE에서는 정확도 0.92와 AUC 0.90을 달성했다. 또한 ADAPT는 샘플당 추론을 단 17.23ms만에 수행하여, 지능형 교통 및 자율주행 응용에서 예측 정확도와 실시간 배포 효율성 사이의 효과적인 균형을 제공한다.
텍스트 유도 의료 이미지 분할은 임상 의미론을 활용하여 병변 윤곽 추출을 개선하지만, 기존의 많은 모델들은 크로스 모달 융합, 감독, 디코더 설계를 태스크 특화 아키텍처에 긴밀하게 결합시킨다. 이러한 강한 결합으로 인해 이질적인 비전 및 텍스트 백본 전반에 걸쳐 언어 지도 모듈을 재사용하기 어려우며, 인코더 쌍이 변경될 때마다 네트워크를 재설계해야 하는 경우가 많다. 본 논문은 텍스트 유도 의료 이미지 분할을 위한 백본 전이 가능 계층적 어댑터 프레임워크인 BTHA를 제안한다. BTHA는 안정적인 특징 수준 인터페이스를 기반으로 구축되었으며, 다중 스케일 시각적 특징과 텍스트 표현이 주어지면 형상 보존 어댑터를 통해 의미적 지도를 주입하면서 디코더 측 텐서 계약을 유지한다. 이 인터페이스를 효과적으로 만들기 위해, 학습을 전역 이미지-텍스트 정렬, 다중 스케일 보조 위치화, 경계 인식 최종 마스크 정제로 분해하는 계층적 거친-에서-세밀한 감독 전략(Hierarchical Coarse-to-Fine Supervision Strategy)을 도입한다. 또한 해상도별 게이트가 텍스트 주입을 적응적으로 제어하고 채널 재보정이 중복된 크로스 모달 응답을 억제하는 스케일 적응형 게이트 의미적 지도(SAGSG) 어댑터를 설계한다. 다양한 비전 및 텍스트 백본에 대한 평가 결과, 동일한 어댑터 및 감독 설계가 합성곱 기반 및 트랜스포머 기반 시각적 인코더와 서로 다른 언어 인코더에서도 효과적으로 작동함을 보인다. 네 개의 공개 데이터셋에 대한 실험을 통해 BTHA가 적은 계산 오버헤드로 강력한 텍스트 유도 기준 모델들을 개선함을 추가로 입증한다.
효과적인 교차 모달 특징 정렬 및 상호작용은 다중 스펙트럼 객체 검출의 핵심 과제이다. 전역 교차 어텐션은 강력한 장거리 모델링 능력을 제공하지만, 특징 크기에 대한 이차 복잡도로 인해 자원 제약 플랫폼에서의 배포가 제한된다. 이에 본 논문에서는 다중 스펙트럼 특징 융합을 위한 점진적 픽셀-이웃 변형 가능 교차 어텐션 프레임워크인 PNAFusion을 제안한다. 제안된 프레임워크는 두 가지 관찰에서 동기를 얻었다: 가시광선 영상과 열화상 영상 간의 약한 불정렬은 주로 지역 이웃 영역에 집중되며, 모달리티 간 의미론적 대응은 고정된 수용 필드로는 잘 모델링할 수 없는 비선형 공간 매핑을 따르는 경우가 많다. 이러한 문제를 해결하기 위해 PNAFusion은 가장 관련성 높은 이웃 영역에 특징 상호작용 및 정렬을 집중시키고자 아키텍처 설계에 지역 공간 사전 정보를 통합한다. 구체적으로, 픽셀-이웃 교차 어텐션(PNCA) 모듈을 도입하여 불필요한 전역 특징 매칭을 방지하고 배경 노이즈를 억제한다. 또한 적응적 변형 가능 정렬(ADA) 모듈이 학습된 픽셀별 오프셋을 통해 비선형 공간 대응을 포착한다. 이러한 구성 요소들은 교차 모달 특징 정렬을 점진적으로 정제하는 반복적 피드백 메커니즘을 통해 통합된다. FLIR, M3FD, DroneVehicle 데이터셋에서의 실험 결과, PNAFusion은 YOLOv5 검출기 기준으로 각각 84.2, 90.5, 85.5 [email omitted] 달성하였으며, Co-DETR으로 전이 시 FLIR에서 86.8 [email omitted], M3FD에서 90.8 [email omitted] 기록하였다. 효율성 분석에 따르면 PNAFusion은 ICAFusion 대비 GPU 할당 메모리를 33.0% 절감하고 이론적 FLOPs를 194.8G에서 156.4G로 감소시키지만, 변형 가능 샘플링과 반복적 정제로 인해 추가적인 지연이 발생한다. 코드는 https://github.com/DanielQiuTian/PNAFusion 에서 공개될 예정이다.
정밀 농업의 작물 추천 시스템은 오랫동안 근본적인 모달리티 격차에 시달려 왔다. 토양의 시각적 특성화와 화학적 영양소 프로파일링은 일반적으로 독립적인 추론 문제로 취급되며, 퓨전은 종종 후기 단계 특징 결합으로 축소된다. AgroSense 2.0는 세 가지 아키텍처적 발전을 통해 이 한계를 해결한다. 첫째, Nitrogen, pH, SOC, Clay, Sand, Silt, Bulk Density를 $32\times32$ 공간 패치로 인코딩하는 인도 전역 7밴드 토양 래스터(\texttt{india\_soil\_7bands.tif})를 통한 대륙 규모 지구공간 통합을 도입하며, 이는 이전 연구에서는 전혀 존재하지 않던 모달리티이다. 둘째, 얕은 퓨전보다 더 풍부한 모달 간 의존성 모델링을 가능하게 하는 다중 헤드 어텐션을 통해 표 형식 영양소 특징이 이미지 표현에 어텐션하는 교차 모달 트랜스포머 퓨전 모듈로 단순 특징 결합을 대체한다. 셋째, 공유 백본을 통해 토양 분류와 작물 추천을 공동 최적화하는 다중 작업 목적함수를 채택하여, 보완적인 교차 작업 신호를 통해 일반화를 향상시킨다. 해석 가능성을 높이기 위해 표 형식 분기에 TreeSHAP을 적용하여 작물 조건부 영양소 민감도를 밝혀냈다. 습도와 강수량이 전역적으로 가장 영향력 있는 특징으로 나타나며, 작물별 프로파일은 의미 있게 달라진다. 강수량은 쌀에, 질소와 칼륨은 옥수수에, 습도와 질소는 커피에 지배적이다. 이러한 설명은 모델 결정에 대한 투명성을 제공하고, 농업학적으로 일관된 패턴과 추가 연구가 필요한 데이터셋 특이적 편차를 모두 드러낸다. 이러한 기여들을 종합하면, AgroSense 2.0는 정밀 농업을 위한 더 원칙적이고 해석 가능하며 지구공간적으로 그라운딩된 프레임워크로 자리잡는다.