arXiv:2611.19493v1 cs.CV

입력 쌍을 넘어: 멀티모달 대규모 언어 모델에서 RGB와 열적외선 사이의 관계 활용하기

Beyond Paired Inputs: Learning to Leverage RGB-T Cross-Modal Relations in Multimodal Large Language Models

Tianyi Zhao, Qihao Xu, Jiawen Xi, Duanni Meng, Bo Zhao, Maoxun Yuan, Xingxing Wei, Bo Li

제출 2026-11-17

한국어 초록

RGB와 열적외선(TIR) 센서는 서로 보완적인 관측을 제공하지만, 감지 특성이 달라 두 모달리티를 효과적으로 조율하기 어렵다. 기존 멀티모달 대규모 언어 모델(MLLM)은 RGB와 TIR 입력 쌍을 처리할 수 있으나, 두 모달리티의 관계를 과제별 의사결정에 활용하지 못하는 경우가 많다. 그 결과 이 관계가 과제 성능과 강건성을 개선할 가능성을 충분히 활용하지 못한다. 본 연구는 과제별 의사결정에서 모달리티 간 관계를 활용하도록 명시적으로 학습하는 RGB-T MLLM인 RelMLLM을 도입한다. 모달리티의 신뢰도, 두 모달리티의 관계, 지배적인 모달리티를 검증 가능한 의사결정 상태로 표현한다. RGB만 사용한 경우, TIR만 사용한 경우, RGB-T 쌍을 사용한 경우의 과제 결과를 비교해 이 상태에 대한 과제 기반 감독 신호를 도출한다. 모달리티별 근거와 관계 상태 예측, 최종 과제 출력을 계층적인 관계 기반 보상으로 감독하면서 근거, 관계, 결정 사이의 일관성을 유도한다. 실제 RGB-T 데이터에서의 그라운딩, RGB-T 시각 질의응답, 학습에서 제외한 센서 품질 저하 조건에서 RelMLLM을 평가했다. 일반 RGB-T 추론 벤치마크의 성능을 유지하면서, Qwen3-VL 기준선 대비 그라운딩 정확도와 센서 품질 저하에 대한 강건성을 높였다. 모달리티 간 관계를 효과적으로 활용하면 RGB-T 의사결정이 더 정확하고 강건해짐을 보여 준다. 코드와 모델 가중치는 공개되어 있다.

원문 초록

RGB and thermal infrared (TIR) sensors provide complementary observations, yet their distinct sensing characteristics make effective cross-modal coordination challenging. Although existing multimodal large language models (MLLMs) can process paired RGB-T inputs, they often fail to translate cross-modal relations into effective task-specific decisions, leaving the potential of these relations to improve task performance and robustness largely untapped. Motivated by this observation, we introduce RelMLLM, an RGB-T MLLM that explicitly learns to exploit cross-modal relations in task-specific decision making. It represents modality reliability, the cross-modal relation, and the dominant modality as a verifiable decision state. We derive task-grounded supervision for this state by comparing RGB-only, TIR-only, and paired RGB-T task outcomes. A hierarchical relation-guided reward supervises modality-specific evidence, relation-state prediction, and the final task output, while encouraging consistency across evidence, relation, and decision. We evaluate RelMLLM on natural RGB-T grounding, RGB-T visual question answering, and held-out sensor degradation. RelMLLM improves grounding accuracy and degradation robustness over its Qwen3-VL baselines while preserving performance on general RGB-T reasoning benchmarks. These results demonstrate that effectively exploiting cross-modal relations leads to more accurate and robust RGB-T decisions. Code and model weights are publicly available.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.19493v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.