PyTorchKR Papers

최신 논문

총 104편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.11420v3cs.CL

구어 대화에서의 맥락 인식 멀티모달 주장 검증

Context-Aware Multimodal Claim Verification in Spoken Dialogues

구어 사실 주장은 종종 멀티턴 대화 안에서 등장하며, 주변 대화는 주장만으로는 얻을 수 없는 맥락을 제공할 수 있다. 그러나 대부분의 팩트체킹(fact-checking) 연구는 고립된 텍스트만 평가하여, 대화형 오디오는 연구가 부족한 상태로 남아 있다. 우리는 MAD2를 제안한다. 이는 구어 주장 검증을 위한 합성 멀티턴 오디오 대화(Multi-turn Audio Dialogues) 벤치마크로, 1,000개의 2화자 대화, 1,230개의 문장 수준 검증 가치 후보 어노테이션, 약 10시간 분량의 오디오를 포함한다. 또한 맥락 인식 오디오 인코더와 대화 인식 텍스트 모델의 보정(calibrated) 멀티모달 퓨전(fusion)을 제안한다. 대화 맥락을 추가하면 설정 전반에서 검증 성능이 향상되지만, 향상폭은 시나리오에 따라 달라진다. 과거 맥락만 사용할 때는 종종 지역적 오프라인(local offline) 성능에 근접하여, 미래 맥락을 사용할 수 없을 때 유용함을 시사한다. 퓨전은 전체 대화 맥락에서 텍스트 대비 평균 이점이 가장 크지만, 설정 전반에 걸쳐 텍스트를 일관되거나 유의미하게 능가하지는 못한다. 전체 대화 맥락 하에서, 탐색적 하위군 결과는 텍스트와 퓨전에서 대화 시나리오에 따른 성능 변동이 더 크고, 오디오에서는 spread 스타일에 따른 변동이 더 크다는 것을 보여준다.

arXiv:2607.20790v2cs.CV

Ocular Verification for Virtual Reality

Virtual reality (VR) headsets (e.g., Meta Quest, Apple Vision Pro) provide a seamless user experience due to their fast, frictionless interaction with the physical world in a simulated environment. User authentication relies on biometric cues such as iris in such headsets. However, traditional iris recognition protocols may not be adequate in cases of unconstrained acquisition, which is typical of VR-based data. In this work, we examine three crucial aspects: (1) evaluating ISO/IEC 29794-6 iris quality metrics on VRBiom dataset and analyzing their limitations, (2) addressing data-specific challenges such as off-axis gaze, non-uniform illumination, and specular reflection using generative models, and (3) performing unimodal (iris, periocular) recognition and multimodal score-level fusion (iris + periocular). We observe that some metrics (e.g., margin adequacy) fail on VR-acquired data; whereas, image adjustments primarily benefit periocular recognition, and multimodal fusion lowers EER by ~11% over unimodal iris recognition performance. We will release the evaluation scripts upon acceptance for reproducibility.

arXiv:2610.10808v1cs.LG

3채널 점수 충돌에서의 통제된 정보 획득과 판단 보류

Controlled Acquisition and Abstention in Three-Channel Score Conflicts

오디오, 비디오, 텍스트가 서로 일치하지 않을 때, 정확도만으로는 추가 소스를 획득해야 할지 또는 판단을 보류해야 할지 알 수 없다. 우리는 통제된 3점수 벤치마크에서 이러한 선택을 연구한다: 정책(policy)은 부호가 있는 두 개의 점수를 관찰하고, 비용을 들여 세 번째 점수를 요청할 수 있으며, 판단을 보류할 수도 있다. 주요 보상은 메커니즘에 특화되어 있다: 보류는 하나의 지정된 모호성(ambiguity) 메커니즘에 대해서만 정답으로 인정되며, 혼합 손상(mixed corruption) 상황에서는 불이익을 받는다. 매칭된 대조군(matched controls)은 임계값 정책(threshold policy)이 더 적은 요청으로도 항상 요청하는 방식과 동등한 성능을 보인다는 것을 보여준다; 항상 응답하는 융합(fusion) 방식에 대한 임계값 정책의 우위는 해당 모호성에 부여된 보상에 따라 달라진다. 부분적으로 홀드아웃된 합성 분할(synthetic split)에서, 임계값 정책은 83개의 시드(seed)에 걸쳐 목표 결정 정확도(targeted decision accuracy) 0.789 ± 0.006과 유틸리티(utility) 0.481 ± 0.014를 달성한다. 3점수 다수결 참조(majority reference)는 0.626 ± 0.008과 0.252 ± 0.016을 달성하지만, 더 많은 정보를 사용한다. 매칭된 예산(matched-budget) 테스트에서, 학습 전용(train-only) 가치 선택기(value selector)는 10%와 25% 예산에서 쿼리 없음(no-query) 및 매칭된 무작위(matched-random) 정책보다 유틸리티를 개선하는 반면, 쌍별 불확실성(pair uncertainty)은 모든 예산에서 더 높은 유틸리티를 보인다. 50%와 63.7% 예산에서는, 비모호(non-ambiguous) 정확도가 약간 더 높음에도 불구하고 선택기가 유틸리티를 낮춘다. 모든 보류가 오답으로 채점될 경우, 다수결이 유틸리티 측면에서 임계값 정책을 능가한다. 중심 시간적 설정(central temporal setting)에서, 전체 트레이스 대조군(full-trace controls)은 신경망 모델(neural models)과 일치하는 반면, 위치 교란(position perturbations)은 이들을 구분한다. 홀드아웃된 배우(actor)의 감정 클립에서, 8프레임 융합(eight-frame fusion)은 두 인코더 쌍(encoder pairs)에 대해 서로 반대 부호의 정확도 차이를 보이며, 두 배우 구간(actor intervals) 모두 0을 포함한다; 매칭된 요청 라우팅(matched-request routing)의 이득은 작고 불확실하다. 이러한 결과는 전체 모달리티(full-modality) 정확도와 요청 전 선택 가치(pre-request selection value)를 구분하며, 선택 가치가 예산과 관찰된 쌍(observed-pair) 순위에 따라 달라짐을 보여준다.

arXiv:2509.09311v2cs.CV

VLM의 비전 및 언어 임베딩을 활용한 이미지 인식

Image Recognition with Vision and Language Embeddings of VLMs

비전-언어 모델(VLM)은 이미지-텍스트 정렬(alignment)을 통해 강력한 제로샷(zero-shot) 분류를 가능하게 했습니다. 그러나 순수 시각적 추론(inference) 역량은 여전히 충분히 연구되지 않은 상태입니다. 본 연구에서는 SigLIP 2 및 RADIOv2.5와 같은 최신 모델뿐만 아니라 기존에 널리 알려진 모델들을 포함한 다양한 이중 인코더(dual-encoder) VLM을 대상으로, 언어 기반 및 비전 전용 이미지 분류에 대한 종합적인 평가를 수행합니다. ImageNet-1k 검증(validation) 세트와 레이블이 수정된 변형 데이터셋의 표준 환경에서 성능을 비교합니다. 프롬프트(prompt) 설계, 클래스 다양성, k-NN에서의 이웃 수, 참조 세트 크기를 포함하여 정확도에 영향을 미치는 주요 요인들을 분석합니다. 우리는 언어와 비전이 상호 보완적인 강점을 제공하며, 일부 클래스는 텍스트 프롬프트에 유리하고 다른 클래스는 시각적 유사성을 통해 더 잘 처리됨을 보여줍니다. 이러한 상호보완성을 활용하기 위해, 클래스별 정밀도(precision)에 기반하여 분류 성능을 향상시키는 단순하고 별도의 학습이 필요 없는(learning-free) 융합 방식을 소개합니다. 코드는 https://github.com/gonikisgo/bmvc2025-vlm-image-recognition 에서 확인할 수 있습니다.

arXiv:2602.20531v2cs.CV

사용자 인터페이스 및 메타데이터로부터 앱 평점을 예측하기 위한 경량 비전-언어 융합 프레임워크

A Lightweight Vision-Language Fusion Framework for Predicting App Ratings from User Interfaces and Metadata

앱 평점은 모바일 애플리케이션의 품질, 사용성 및 전반적인 사용자 만족도를 나타내는 가장 중요한 지표 중 하나입니다. 그러나 기존의 앱 평점 예측 모델은 주로 텍스트 데이터나 사용자 인터페이스(UI) 특징에 국한되어 있어, UI와 의미론적(semantic) 정보를 함께 활용하는 것의 중요성을 간과하고 있습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 모바일 UI와 의미론적 정보를 모두 통합하여 앱 평점을 예측하는 경량 비전-언어(vision-language) 프레임워크를 제안합니다. 이 프레임워크는 UI 레이아웃에서 시각적 특징을 추출하기 위해 MobileNetV3를 결합하고, 텍스트 특징을 추출하기 위해 DistilBERT를 결합합니다. 이러한 멀티모달 특징들은 Swish 활성화 함수를 갖춘 게이트 융합 모듈을 통해 결합된 후, 다층 퍼셉트론(MLP) 회귀 헤드로 전달됩니다. 제안된 모델은 평균 절대 오차(MAE), 평균 제곱근 오차(RMSE), 평균 제곱 오차(MSE), 결정 계수(R2) 및 피어슨 상관계수를 사용하여 평가됩니다. 20 에포크 동안 학습(training)한 후, 모델은 MAE 0.1060, RMSE 0.1433, MSE 0.0205, R2 0.8529, 피어슨 상관계수 0.9251을 달성합니다. 광범위한 어블레이션 연구(ablation study)는 다양한 시각 및 텍스트 인코더 조합의 효과를 추가로 입증합니다. 전반적으로 제안된 경량 프레임워크는 개발자와 최종 사용자에게 유용한 통찰을 제공하고 지속 가능한 앱 개발을 지원하며 엣지 기기에서의 효율적인 배포를 가능하게 합니다.

arXiv:2505.06592v2cs.CV공식 코드 · Papers with Code

대규모 언어 모델의 멀티모달 융합을 위한 단일모달 미세조정 기반 배치 증강

Batch Augmentation with Unimodal Fine-tuning for Multimodal Fusion of Large Language Models

본 논문에서는 멀티모달(multimodal) 학습을 위한 단일모달 미세조정(unimodal fine-tuning) 기반 배치 증강(batch augmentation) 기법을 제안합니다. 먼저 사전학습된 단일모달 모델에서 출발하여 응용 데이터로 해당 단일모달 모델들을 미세조정합니다. 그 후, 단일모달 모델들의 정보를 입력받아 출력을 제공하는 다층 퍼셉트론(MLP) 헤드를 구성합니다. 마지막으로 배치 증강을 적용하여 MLP 층과 단일모달 부분을 함께 학습합니다. 데이터에 따라 일부 단일모달 모델은 하드코딩된 스크립트나 AI 에이전트로 대체될 수 있습니다. 또한 데이터 증강이 가능한 경우 단일모달 학습 과정에서도 배치 증강을 따를 수 있습니다. 우리는 멀티모달 데이터에 대한 배치 증강을 구현하는 멀티모달 배치 증강 데이터로더 스크립트를 작성했습니다. 제안하는 방법은 FPU23 초음파 및 UPMC Food-101 멀티모달 데이터셋에서 검증되었습니다. 제안된 학습법을 적용한 멀티모달 대규모 언어 모델(LLM)은 두 데이터셋 전반에 걸쳐 조사된 기법들 중 가장 우수한 평균 결과를 달성했습니다. 문헌 조사에 따르면, 비전용으로 ViT-L/16 모델을, 텍스트용으로 GPT-2 모델을 적용했을 때 제안하는 방법은 UPMC Food-101 데이터셋에서 93.29%의 최고 수준(SOTA) 정확도를 달성했습니다. 우리는 제안하는 방법과 기존 대응 방식들의 스크립트를 github.com/dipuk0506/multimodal 저장소에 공개합니다.

arXiv:2610.03618v1cs.AI

친숙한 비디오에서의 EEG-fNIRS 감정 회귀를 위한 강력한 기준선으로서의 저비용 비디오-시간 사전확률

Low-Cost Video--Time Priors as a Strong Baseline for EEG--fNIRS Emotion Regression on Familiar Videos

연속 감정 회귀(continuous emotion regression)는 시청자가 비디오를 시청하는 동안 순간순간의 긍정-부정 차원(valence) 및 각성(arousal)을 추정합니다. 친숙한 비디오 배포 환경에서, 학습(training) 참여자별 추정치로부터의 응답을 활용하며, 사전확률(prior)이 지배적인 고정 융합은 생리적 신호가 잔차 보정을 추가하는지 여부를 검증합니다. 24명 대상의 5-겹 피험자 분리 평가(five-fold subject-held-out evaluation)에서 내부 및 외부 평가 기준 각각 융합 대비 0.05 및 0.32 MAE 이내였습니다. 출처 명시적 제거 연구(ablation) 결과, 비디오 식별 정보와 비디오 내 시간이 오차 감소의 대부분을 설명한 반면, EEG-fNIRS를 통한 이득은 더 작았으며 참여자 및 비디오 전반에 걸쳐 편차를 보였습니다. 이러한 결과는 비디오-시간 사전확률을 강력하고 비용이 적게 드는 기준선(baseline)으로 규명하며, EEG-fNIRS를 친숙한 비디오 감정 회귀를 위한 선택적 잔차 신호로 자리매김하게 합니다.

arXiv:2604.11730v5cs.CV

개인 맞춤형 디지털 건강 중재를 위한 비디오 내 멀티모달 양가감정 및 주저함 인식

Multimodal Ambivalence/Hesitancy Recognition in Videos for Personalized Digital Health Interventions

행동과학을 활용하는 건강 중재(health intervention)는 환자가 건강한 습관을 습득하고 유지하여 의학적 결과를 개선하도록 돕는 프레임워크를 제공함으로써 행동 변화에 초점을 맞춥니다. 대면 중재는 비용이 많이 들고 확장하기 어려우며, 특히 자원이 제한된 지역에서는 더욱 그렇습니다. 디지털 건강 중재는 독립적인 생활과 자가 관리를 지원할 수 있는 비용 효율적인 접근 방식을 제공합니다. 특히 머신러닝을 통해 이러한 중재를 자동화하는 것은 최근 상당한 주목을 받고 있습니다. 양가감정 및 주저함(Ambivalence and hesitancy, A/H)은 개인이 건강 중재를 지연하거나 회피 또는 포기하게 만드는 주요한 원인으로 작용합니다. A/H는 미묘하고 상충되는 감정으로, 특정 행동에 대한 긍정적 평가와 부정적 평가 사이, 혹은 행동 참여에 대한 수용과 거부 사이의 상태에 사람을 놓이게 합니다. 이는 언어, 얼굴 표정, 음성 표현, 신체 언어 등과 같은 모달리티 전반 또는 단일 모달리티 내에서 정서적 불일치로 나타납니다. 전문가가 A/H를 인식하도록 훈련될 수는 있지만, 이를 디지털 건강 중재에 통합하는 것은 비용이 많이 들고 효율성이 떨어집니다. 따라서 자동 A/H 인식은 디지털 건강 중재의 개인 맞춤화 및 비용 효율성에 매우 중요합니다. 본 연구에서는 본질적으로 멀티모달 작업인 비디오 내 A/H 인식을 위한 심층 학습(deep learning) 모델의 적용을 탐구합니다. 특히 본 논문은 지도 학습, 개인 맞춤화를 위한 비지도 도메인 적응, 그리고 대규모 언어 모델(LLM)을 통한 제로샷 추론(zero-shot inference)이라는 세 가지 학습 설정을 다룹니다. 실험은 A/H 인식을 위해 최근 공개된 고유한 BAH 비디오 데이터셋(dataset)에서 수행되었습니다. 실험 결과는 제한적인 성능을 보여주며, 정확한 A/H 인식을 위해서는 더욱 적합화된 멀티모달 모델이 필요함을 시사합니다. 모달리티 내부 및 모달리티 간의 충돌을 활용하기 위해서는 시공간 모델링과 멀티모달 융합을 위한 더 나은 방법이 필요합니다.

arXiv:2609.36235v2cs.AI

MERID: 주요우울장애 분석을 위한 재귀적 자기 개선 에이전트 기반 멀티모달 탐험

MERID: Multimodal Exploration via Recursive Self-Improvement Agents for Major Depression Analysis

주요우울장애(MDD)는 일상 활동과 삶의 질에 심각한 영향을 미칩니다. MDD를 탐지하기 위해서는 인터뷰 녹음 및 센서 측정치와 같은 멀티모달(multimodal) 데이터를 다루어야 합니다. 이러한 이종 모달리티는 각기 맞춤화된 별도의 예측 파이프라인을 요구하는 경우가 많아 특히 어렵습니다. 이 문제를 해결하기 위한 기존 연구들은 수작업으로 설계된 멀티모달 아키텍처와 에이전트 지원 파이프라인 개발을 모두 탐색해 왔습니다. 이러한 진전에도 불구하고, 실험적 피드백을 기반으로 파이프라인을 자율적으로 수정하고 검증된 개선 사항을 후속 설계로 계승하는 것은 여전히 어려운 과제입니다. 이를 위해 본 연구에서는 주요우울장애 분석을 위한 재귀적 자기 개선 에이전트 기반 멀티모달 탐험(MERID) 프레임워크를 제안합니다. 이 프레임워크는 경험 기반 재귀적 자기 개선(RSI)을 통해 우울증 파이프라인을 개발합니다. 접지된 상태 구성(GSC)은 멀티모달 기록을 피험자 수준의 우울증 목표와 정렬하여 경험을 그라운딩(grounding)합니다. 결합 파이프라인 탐험(CPE)은 표현, 융합, 예측기를 공동으로 수정하여 분류(classification) 및 중증도 추정을 위한 후속 파이프라인을 구축합니다. 증거 기반 진화(EGE)는 피드백을 통해 수정을 안내하고, 상속 전에 소규모 우울증 코호트의 불확실성 속에서 성능 향상을 검증합니다. 우울증 벤치마크에 대한 광범위한 실험 결과, MERID는 멀티모달 및 에이전트 기반 베이스라인 대비 여러 태스크에서 최고의 결과를 달성함을 보여줍니다. 추가 분석은 우울증 탐지에서 음향 및 언어적 단서의 중요성을 강조합니다. 코드는 https://github.com/DiscoAILab/MERID 에서 확인할 수 있습니다.

arXiv:2610.01637v1cs.CV

베트남어 시각적 질의응답을 위한 다층 융합 트랜스포머 기반 시각 및 텍스트 표현 융합

Fusing Visual and Textual Representations via Multi-layer Fusing Transformers for Vietnamese Visual Question Answering

최근 수십 년간 인공지능은 이미지를 이해하고 상호작용하는 데 있어 상당한 진전을 이루었습니다. 이러한 기술의 중요한 응용 분야 중 하나는 컴퓨터가 자연스러운 방식으로 이미지에 대한 질문을 이해하고 답하도록 요구하는 연구 분야인 시각적 질의응답(Visual Question Answering, VQA)입니다. 영어 대상의 VQA에 대한 광범위한 연구 및 개발에도 불구하고, 다른 언어, 특히 베트남어에 대해서는 유사한 노력이 거의 이루어지지 않았습니다. 이러한 격차는 베트남어 환경에서 VQA 기술의 발전을 위한 중대한 도전 과제이자 기회를 제공합니다. 이 격차를 해소함으로써 베트남어 VQA 분야는 인공지능 연구의 다양성을 풍부하게 할 뿐만 아니라 전 세계 베트남어 사용자를 대상으로 교육, 의료, 엔터테인먼트 등 다양한 영역에서 실용적인 응용을 가능하게 합니다. 따라서 베트남어 VQA 시스템의 탐험(exploration)과 개발은 컴퓨터 비전과 자연어 처리의 교차점에서 연구와 실용적 응용 모두를 발전시킬 수 있는 막대한 잠재력을 지니고 있습니다. 본 논문에서는 서로 다른 층(layer)의 이미지 및 텍스트가 가진 다중 모달리티 특징을 하나의 통합된 표현으로 결합하기 위해 교차 어텐션(cross attention) 모듈을 활용하는 다층 융합 트랜스포머(Multi-layer Fusing Transformer) 모델을 제안합니다. 제안하는 아키텍처를 통해 저수준부터 고수준까지의 정보를 추출할 수 있습니다. 상세한 실험과 제거 연구(ablation study)를 통해 본 모델은 베트남어 ViVQA 데이터셋에서 경쟁력 있는 베이스라인 대비 유망한 결과를 달성합니다.

arXiv:2609.26848v1cs.LG

수술 초기 급성 신장 손상 예측을 위한 누출 인식 다중 모달 평가 프레임워크

A Leakage-Aware Multimodal Evaluation Framework for Early Intraoperative Acute Kidney Injury Prediction

주요 비심장 수술 후 수술 후 급성 신장 손상(acute kidney injury, AKI)은 상당한 이환율을 수반하지만, 수술 중 초기 위험 계층화는 여전히 어렵다. 본 후향적 코호트 연구에서 우리는 SynerT를 제안한다. SynerT는 인과적 dilated TCN과 dilated recurrent layer 계층을 결합한 파형 전용 하이브리드 temporal backbone으로, AKI 위험 예측을 위해 수술 중 초기 생리 궤적을 인코딩한다. SynerT를 기반으로 백본을 구조화된 임상 맥락으로 확장한 두 가지 모델 변형을 추가로 설계한다. SynerT-MM은 혈역학적 부담 요약과 수술 전 공변량을 통합하는 late-fusion 다중 모달 확장이고, SynerTStack은 메타 학습 단계에서 SynerT-MM의 교차 검증 예측과 강력한 테이블형 베이스라인을 결합하는 누출 안전 stacked 앙상블이다. 모든 모델은 고해상도 주변 수술(perioperative) 데이터베이스 VitalDB에서 엄격한 누출 인식 프레임워크 하에 평가되며, 예측은 수술 중 첫 60분 이내에 이용 가능한 정보로 제한된다. 파형 이용 가능 사례 2,413건(AKI 양성 180건, 유병률 7.46%) 중 SynerT는 강력한 구조화 데이터 베이스라인보다 훨씬 낮은 성능을 보여, 엄격한 초기 제약 하에서 파형만의 temporal modeling은 불충분함을 보였다. SynerT-MM은 혈역학적 부담 요약과 수술 전 공변량을 통합하여 판별력을 회복했고, SynerT-Stack은 AUROC, AUPRC, F1-max 전반에서 최고의 종합 성능을 달성했다. 교차 적합 Platt 재보정은 두 다중 모달 변형 모두에서 보정(calibration) 결함을 상당히 교정했으며, decision-curve 분석은 재보정된 stacked 모델이 낮은~중간 임계값 구간에서 가장 큰 순 임상적 이익을 제공함을 확인했다.

arXiv:2609.24524v1cs.CV

다중 양식 초음파 및 임상 데이터 통합을 통한 간세포암 미세혈관침범 수술 전 예측: 다기관 연구

Preoperative Prediction of Microvascular Invasion in Hepatocellular Carcinoma by Integrating Multimodal Ultrasound and Clinical Data: A Multicenter Study

Background: 미세혈관침범(microvascular invasion, MVI)은 간세포암(hepatocellular carcinoma, HCC)에서 재발과 생존을 예측하지만, 진단에는 수술 후 조직병리학이 필요하다. 우리는 수술 전 MVI 예측을 위해 다중 양식 초음파와 임상 데이터를 통합한 모델을 개발하고 검증했다. Methods: 본 다기관 연구에는 8개 센터의 HCC 환자 489명이 포함되었다. 모든 환자는 B-mode 초음파(BUS), 컬러 도플러 유량 영상(color Doppler flow imaging, CDFI), 다이나믹 조영 증강 초음파(dynamic contrast-enhanced ultrasound, DCE-US), 및 임상 정보를 보유하였다. 7개 센터(n = 421) 데이터는 5-fold 교차 검증으로 모델 개발에 사용되었고, 나머지 1개 센터(n = 68) 데이터는 독립 외부 검증 코호트를 구성하였다. 제안된 다중 양식 정보 융합 네트워크는 양식별 인코더, 양방향 DCE-US 관류 변화를 위한 혈역학적 시간적 변화 모듈(hemodynamic temporal change module), 및 트랜스포머 기반 융합 전 이질적 초음파 표현을 정렬하기 위한 표현 일관성 학습 모듈(representation consistency learning module)을 사용하였다. Results: 외부 검증에서 DCE-US가 단일 양식 중 수신자 조작 특성 곡선 아래 면적(area under the receiver operating characteristic curve, AUC; 0.8545+/-0.0198)이 가장 높았으며, 임상 정보(0.6715+/-0.0156), CDFI(0.6435+/-0.0344), BUS(0.6087+/-0.0417)보다 우수하였다. 픽셀 차분 샘플링(pixel-difference sampling)과 제안된 시간적 모듈은 대안 샘플링 및 비디오 표현 방법보다 우수하였다. 전체 모델이 최고 성능을 달성하였으며, AUC 0.8953+/-0.0180, 정확도 81.18%+/-2.83%, 민감도 86.40%+/-6.69%, 특이도 78.14%+/-6.28%였다. Conclusions: 다중 양식 초음파와 임상 정보 통합은 HCC에서 유망한 수술 전 MVI 예측을 가능하게 하였다. DCE-US가 예측 정보의 주요 원천이었고, BUS, CDFI, 임상 정보는 상보적 가치를 제공하였다. 제안된 프레임워크는 수술 전 위험 계층화 및 개별화된 임상 의사결정을 지원할 수 있다.

arXiv:2609.23507v1cs.CV

멀티모달 융합 트랜스포머를 통한 휴대폰 유발 보행자 주의 분산 탐지

Detecting Phone-Induced Pedestrian Distraction via a Multimodal Fusion Transformer

스마트폰 의존도가 증가함에 따라 휴대폰으로 인한 보행자 주의 분산이 점점 더 흔해지고 있다. 문자 메시지 작성, 동영상 시청, 전화 통화와 같은 행동은 교통사고의 주요 원인이 되고 있다. 보행자의 주의 분산을 신뢰성 있게 탐지하는 것은 자율주행차량에 필수적인데, 이는 상황 인식을 향상시키고 적시의 위험 평가를 가능하게 하여 안전한 경로 계획(motion planning) 및 차량 제어를 지원하기 때문이다. 본 논문에서는 휴대폰으로 인한 보행자 주의 분산을 탐지하기 위한 멀티모달 융합 트랜스포머(Multimodal Fusion Transformer, MFT)를 제안한다. MFT는 신체 자세 키포인트로부터 골격 동역학(skeletal dynamics)을, 보행자 이미지로부터 시각적 외형 특징을 공동으로 추출하여 두 모달리티가 제공하는 상호 보완적인 정보를 효과적으로 활용한다. 멀티헤드 교차 어텐션(multi-head cross-attention)을 통해 모달리티 간 의존성을 포착하는 교차 모달 어텐션(cross-modal attention) 모듈이 제안되어, 두 모달리티 간 상호 보완적인 정보의 효과적인 융합을 가능하게 한다. 이어서 트랜스포머 인코더로 구현된 시간적 어텐션 융합 모듈을 사용하여 시간적 의존성을 포착한다. MFT는 20,741장의 이미지로 구성된 287개의 보행자 인스턴스로 이루어진 수작업 주석 데이터셋에서 학습 및 평가되었다. 광범위한 실험을 통해 MFT가 95%의 전체 정확도를 달성하며, 6가지 기준선(baseline) 접근법의 성능을 6% 상회함을 입증하였다.

arXiv:2609.12798v2cs.CV

LGFN: 위장 객체 검출을 위한 모달리티 가용성 조건화 기반 경량 게이트형 RGB-편광 융합

LGFN: Lightweight Gated RGB-Polarization Fusion with Modality-Availability Conditioning for Camouflaged Object Detection

위장 객체 검출(COD)은 지능형 광학 인지에서 중요한 공학적 과제이지만, 대상이 주변 환경과 매우 유사할 때 여전히 어려운 문제로 남아 있습니다. 편광 이미징은 상호보완적인 물리적 단서를 제공하지만, 기존 방식들은 일반적으로 고정된 멀티모달 입력 구성을 가정하며 편광 내부 조율과 적-녹-청(RGB) 및 편광 표현 간의 상호작용을 뒤얽히게 만듭니다. 본 논문에서는 별도로 최적화된 RGB 전용 구성과 편광 보조 구성을 지원하는 경량 게이트형 RGB-편광 융합 프레임워크인 LGFN을 제안합니다. 결정론적 모달리티 라우터(Modality Router)가 편광 가용성에 따라 적절한 구성을 선택합니다. 멀티모달 구성에서는 가용성 조건화 모달리티 게이트(Modality Gate)가 가용한 편광 브랜치를 보정하고, 게이트형 편광 허브(Gated Polarization Hub)가 명시적 편광 단서를 활용하여 학습된 선형 편광도(DoLP) 및 편광각(AoP) 표현을 조율하며, RGB-편광 교차 융합(Cross Fusion)이 제어된 잔차 상호작용을 통해 조율된 표현을 RGB 계층 구조에 도입합니다. 멀티모달 구성은 추론 시 샘플 종속적 통계나 수작업으로 제작된 품질 기술자를 전혀 필요로 하지 않습니다. 완전한 230개 이미지의 PCOD_1200 테스트 세트에서 RGB 전용 구성은 평균 절대 오차 0.0090, Dice 점수 0.8806, IoU(intersection over union) 0.8144를 기록하여, 평가된 RGB 기반 방법 중 6개 지표 전체에서 최고 성능을 달성했습니다. 공통 로컬 재평가 프로토콜 하에서 멀티모달 구성은 6개 지표 모두에서 PolarNet 및 IPNet을 능가합니다. IPNet과 비교했을 때 매개변수 수, 부동소수점 연산량(FLOPs), 지연 시간을 각각 53.1%, 73.6%, 63.0% 감소시킵니다. 소스 코드는 https://github.com/1hzf/LGFN 에서 제공될 예정입니다.

arXiv:2511.18028v2cs.CV

MambaX: 상태 예측 제어를 이용한 이미지 초해상도

MambaX: Image Super-Resolution with State Predictive Control

이미지 초해상도(SR)는 센서의 근본적인 하드웨어 한계를 극복하기 위한 핵심 기술이다. 그러나 기존 접근법들은 주로 최종 해상도를 직접적으로 향상시키는 데 초점을 맞추고 있어, 중간 단계에서 발생하는 오차의 전파와 누적에 대한 효과적인 제어를 간과하는 경우가 많다. 최근 맘바(Mamba)는 전체 복원 과정을 다수의 노드를 가진 상태 시퀀스(state sequence)로 표현함으로써 중간 개입을 가능하게 하는 유망한 접근법으로 부상하였다. 그럼에도 불구하고, 맘바의 고정된 선형 매퍼(linear mapper)는 좁은 수용 영역(receptive field)과 제한된 유연성으로 인해 세밀한 이미지에서의 효과가 저해된다는 한계가 있다. 이를 해결하기 위해, 우리는 연속적인 스펙트럼 밴드를 잠재 상태 공간(latent state space)으로 매핑하고, 제어 방정식의 비선형 상태 파라미터를 동적으로 학습함으로써 SR 과제를 일반화하는 비선형 상태 예측 제어 모델인 MambaX를 구축하였다. 기존의 시퀀스 모델들과 비교하여, MambaX는 1) 동적 상태 예측 제어 학습을 사용하여 상태 공간 모델(state-space model)의 비선형 미분 계수를 근사하고, 2) 다중 모달(multimodal) SR 융합을 위한 새로운 상태 교차 제어(state cross-control) 패러다임을 도입하며, 3) 점진적 전이 학습(progressive transitional learning)을 활용하여 도메인 및 모달리티 변화(shift)로 인한 이질성을 완화한다. 우리의 평가는 단일 이미지 SR과 다중 모달 융합 기반 SR 과제 모두에서 동적 스펙트럼-상태 표현 모델의 우수한 성능을 보여주며, 임의의 차원과 모달리티에 걸쳐 스펙트럼적으로 일반화된 모델링을 발전시킬 수 있는 상당한 잠재력을 강조한다.

arXiv:2505.02393v3cs.CV공식 코드 · Papers with Code

비디오 이상 탐지를 위한 이미지와 합성 이벤트의 불확실성 가중 융합

Uncertainty-Weighted Fusion of Image and Synthetic Event for Video Anomaly Detection

대부분의 기존 비디오 이상 탐지기(video anomaly detector)는 RGB 프레임에만 의존하므로, 이상 이벤트를 식별하는 데 중요한 급격하거나 일시적인 모션 단서를 포착하는 능력이 제한됩니다. 본 연구에서는 원리 기반 가중 메커니즘을 통해 상호 보완적인 RGB 및 합성 모션 정보를 통합하는 프레임워크인 Uncertainty Weighted Image Event Fusion(IEF-VAD)을 제안합니다. 이 방법은 합성 모션 단서의 높은 분산 및 꼬리가 두꺼운(heavy-tailed) 특성을 스튜던트 t(Student's t) 가능도(likelihood)로 모델링하고, 이미지 모달리티가 모션 정보를 압도하는 것을 방지하기 위해 라플라스 근사(Laplace approximation)를 사용하여 값 수준 역분산 가중치를 계산하며, 잔여 교차 모달 노이즈를 억제하기 위해 반복적 정제(iterative refinement)를 수행합니다. 이러한 정식화는 모달리티 지배(modality dominance) 현상을 자주 겪는 크로스 어텐션(cross-attention)이나 게이팅 기반 접근 방식에 비해 더 균형 잡히고 신뢰할 수 있는 융합 과정을 제공합니다. 이벤트 카메라나 프레임 수준의 주석 없이도 IEF-VAD는 여러 실제 이상 탐지 벤치마크(benchmark)에서 새로운 최고 성능(SOTA)을 달성하며 개별 모달리티에 열화가 적용되어도 안정성을 유지합니다. 이러한 결과는 상호 보완적인 모션 단서를 추출하고 통합하는 것이 다양한 환경 전반에서 강건한 비디오 이해를 위한 효과적인 방향임을 보여줍니다.

arXiv:2607.22779v1cs.LG

의수 제어를 위한 쿼리 기반 트랜스포머를 이용한 멀티모달 표면 EMG 손 제스처 인식

Multimodal Surface EMG Hand Gesture Recognition Using Query-Based Transformers for Prosthetic Control

표면 근전도(sEMG)를 통한 손 제스처 인식은 의수 제어의 기본이다. 이 분야에서 심층 학습 접근법은 사실상 표준이 되었다. 그러나 현재 아키텍처는 확장에 어려움을 겪으며, 손 동작 수가 증가하면 모델 성능은 일반적으로 감소한다. 성능 저하는 확장된 제스처 집합을 디코딩할 때 통계적 복잡도가 증가하는 것과 연관되며, 주로 저지연 단일모달 합성곱 아키텍처에 의존하는 최신 방법들의 한계에 의해 더욱 악화된다. 합성곱은 국소적으로 동작하여 모델이 장거리 순차 패턴을 포착하는 능력을 제한한다. 단일모달 구성은 관성 및 시선 추적 데이터와 같이 동작 실행을 특징짓는 조율된 신호로부터의 상보적 정보를 활용할 수 없다. 이러한 한계는 멀티모달 생리학적 시퀀스 전반에 걸쳐 국소 및 전역 특징을 통합하는 아키텍처를 필요로 한다. 이 격차를 해소하기 위해, 본 연구는 원활한 멀티모달 통합을 위한 end-to-end 하이브리드 합성곱-트랜스포머인 EMG-CrossFormer를 제안한다. EMG-CrossFormer는 계단식 교차 어텐션(cross-attention) 융합 층을 통해 임의 개수의 단일모달 인코더로부터의 표현을 결합하고, 학습 가능한 제스처 쿼리를 사용하여 융합된 표현을 디코딩한다. EMG-CrossFormer는 네 개의 NinaPro 데이터셋(DB2, DB3, DB7, DB10)에서 평가되었으며, 증가하는 모달리티 수를 사용하여 여섯 개의 최신 모델과 벤치마크되었다. sEMG만 사용할 때 EMG-CrossFormer는 DB2, DB3, DB7, DB10에서 각각 평균 정확도 72.33%, 52.48%, 79.16%, 73.49%를 달성했다. 관성 신호를 통합하면 성능이 90.66%, 80.40%, 92.79%, 92.06%로 향상되었다. 이 결과는 국소-전역 특징 모델링이 sEMG 단독 디코딩을 개선하고, 멀티모달 융합이 이러한 이점을 실질적으로 증폭시킨다는 것을 보여주며, 복잡한 손 제스처 인식을 위한 두 설계 원칙 모두의 가치를 강조한다.

arXiv:2607.23037v1cs.CL

스피드 데이팅에서 대인적 매력 예측에 음성 신호가 LLM을 보완한다

Speech Signals Complement LLMs for Predicting Interpersonal Attraction in Speed Dating

대규모 언어 모델(LLM)은 대화 전사본으로부터 대인적 매력을 예측할 수 있지만, 전사본만 사용하는 LLM 예측을 넘어 음성 예측기가 무엇을 더할 수 있는지는 여전히 불분명하다. 일본어 스피드 데이팅 대화를 사용하여, 전사본만 사용하는 LLM과 지도 학습 기반 음성 예측기의 예측을 결합해 참가자들이 보고한 상대방에 대한 호감도를 추정한다. 우리는 음성이 전사본만 사용하는 LLM 예측을 보완할 수 있음을 보이지만, 이러한 상보성은 보편적이기보다 조건적임을 보인다. 두 예측을 결합하면 평가한 모든 조건에서 전사본만 사용하는 LLM 단독 대비 쌍별 순위 정확도가 유의미하게 향상된다. 반면, 참가자별 Pearson $r$의 향상은 대화 라운드와 평가 방향에 따라 달라지며, 보정 후에는 어느 것도 유의미하지 않다. 사후 분석 결과, 이러한 $r$ 향상은 음성 예측기가 더 정확한 참가자들에게 집중되어 있다. 따라서 LLM이 전사본으로부터 매력을 예측하더라도 음성은 예측 가치를 유지할 수 있다. 관련 있는 질문은 단순히 음성이 도움이 되는지 여부가 아니라, 그 상보성이 어디에서 나타나는지이다.

arXiv:2607.24224v1cs.CV

MATS: 자율주행 3D 인식을 위한 새로운 다중 모달리티 다중 과제 학습 프레임워크

MATS: A novel multi-modality multi-task learning framework for 3D perception in autonomous driving

서로 다른 센서의 다중 모달리티 데이터는 3D 인식에 풍부한 상호 보완적 정보를 제공하며, 신뢰할 수 있는 자율주행 시스템의 필수 구성 요소가 되었다. 현재 연구는 일반적으로 여러 인식 과제의 공동 학습을 위해 다중 모달 데이터의 정보를 통합된 조감도(bird's-eye-view, BEV) 특징 맵 위에 융합하기 위해 정교하고 복잡한 융합 전략을 설계한다. 그러나 이러한 단일 특징 맵은 다양한 인식 과제의 요구사항을 동시에 충족하기에 충분한 정보를 담기 어려워 인식 성능이 매우 제한적이다. 이 한계를 완화하기 위해, 본 논문은 3D 인식을 위한 모달리티 적응형 BEV 융합과 과제별 전문가 혼합(Mixture-of-Experts, MoE)을 갖춘 새로운 다중 모달리티 다중 과제 학습 접근법 MATS를 제안한다. 구체적으로, 간단한 모달리티 적응형 BEV 융합 모듈을 설계하여 전역적 교차 모달리티 의존성을 모델링함으로써 BEV 특징을 적응적으로 재보정하고, 다양한 인식 과제를 위한 다양한 BEV 특징 맵을 생성한다. 공동 다중 과제 학습을 위해, 본 논문은 과제를 분리하고 네트워크가 각 특정 과제에 적합한 BEV 특징 후보를 자동으로 선택할 수 있도록 하는 과제별 MoE 모듈을 제안한다. 제안 방법의 효과를 검증하기 위해, 대규모 벤치마크 nuScenes에서 광범위한 실험을 수행한다. 카메라 및 LiDAR 모달리티 입력 데이터를 사용할 때, 제안 방법은 최신 기법(SOTA)을 상당한 마진으로 능가한다. 또한 단일 과제에 대한 실험 결과는 제안 방법이 베이스라인을 크게 능가함을 보여준다. 코드와 학습된 모델은 논문 게재 후 공개될 예정이다.

arXiv:2607.23600v1cs.CV

ConFusion: 세밀한 제어 가능한 적외선 및 가시광선 이미지 융합을 위한 연속 융합 공간 학습

ConFusion: Continuous Fusion Space Learning for Fine-Grained Controllable Infrared and Visible Image Fusion

제어 가능한 적외선-가시광선 이미지 융합은 유연한 영역 인식 변조를 통해 상호 보완적인 열 및 구조 정보를 통합하여, 다양한 사용자 요구와 하류 작업에 적응하는 융합 이미지를 생성하는 것을 목표로 한다. 그러나 기존 방법들은 일반적으로 사전 정의된 이산 제어 조건에 의존하여, 세밀한 변조 요구를 지원하지 못하는 희소한 공간을 초래한다. 이를 해결하기 위해, 우리는 가우시안 조건 공간 인식 변조를 통해 연속 융합 공간을 학습하여 인스턴스 수준의 세밀한 제어 가능한 적외선 및 가시광선 이미지 융합을 가능하게 하는 새로운 프레임워크인 ConFusion을 제안한다. ConFusion은 공동 재구성 및 텍스트 유도 의미 정렬 하에서 모달리티 불변 및 모달리티 특이 표현을 분리하기 위해 이중 분기 아키텍처를 사용한다. 가우시안 조건 인스턴스 변조 변수는 Grounded SAM 기반 인스턴스 마스크와 결합되어 Mask-Guided Specific Feature Modulator를 통해 인스턴스 수준의 세밀한 변조를 유도하며, Text-Driven Invariant Feature Enhancer는 의미적 일관성을 개선하고 융합을 향상시킨다. 추론 시, 멀티모달 대규모 언어 모델은 사용자 의도를 인스턴스 수준 변조 변수로 파싱하여 이미지 융합을 유도한다. 광범위한 실험 결과, ConFusion은 세밀한 제어 가능한 이미지 융합을 지원하면서 융합 품질과 하류 작업 모두에서 여러 지표에 걸쳐 최첨단(state-of-the-art) 성능을 달성함을 보여준다. 코드는 https://github.com/HeyufeiAnto/Confusion 에서 이용할 수 있다.