arXiv:2611.22456v1 cs.AI

PACD: 옴니모달 대규모 언어 모델의 모달리티 간 환각을 줄이는 출처 인식 합의 디코딩

PACD: Provenance-Aware Consensus Decoding for Mitigating Cross-Modal Hallucinations in Omnimodal Large Language Models

Chang Sun, Yijun Tian, Zhenwei Tang, Yuchen Deng, Yifan Simon Liu, Chenxu Wang, Wei Wang

제출 2026-11-18

한국어 초록

옴니모달 대규모 언어 모델(Omni-LLM)은 오디오, 비디오, 텍스트를 통합해 멀티모달 추론을 한다. 그러나 한 모달리티가 다른 모달리티에 관한 예측에 잘못 영향을 주는 모달리티 간 환각에 여전히 취약하다. 별도 학습이 필요 없는 기존 디코딩 방식은 모달리티를 교란하거나 관련성에 따라 가중치를 부여해 이런 오류를 줄인다. 그러나 융합 과정에서 무관한 모달리티 단서가 간섭하고 여러 분기가 같은 오류를 내는 경우를 알아내기 어렵다. 그 결과 올바른 단일 모달리티 예측을 억제하거나 잘못된 합의를 그대로 남길 수 있다. 이 한계를 다루기 위해 별도 학습 없이 모달리티 간 환각을 줄이는 출처 인식 합의 디코딩(PACD)을 제안한다. 분기가 합의하는지에 따라 두 경로를 사용한다. 합의가 없을 때 관련성 기반 후보 중재는 과제와 관련된 단일 모달리티 근거를 식별하고 대안 후보를 활용해 예측 사이에서 선택한다. 합의가 있을 때 출처 기반 합의 복구는 우위 평가 원리로 대안 답변을 뒷받침하는 층별 모달리티 근거의 일관성과 강도를 평가한다. 신뢰도 제약을 충족할 때만 잘못된 합의를 교정한다. 두 과제에 걸쳐 Omni-LLM 네 개와 벤치마크 다섯 개에서 효과를 검증했다. 모달리티 간 환각을 평가하는 CMM, AVHBench, SVHalluc에서는 표준 디코딩보다 최대 27.6% 상대 개선을 보였다. 일반 시청각 추론을 평가하는 OmniVideoBench와 FutureOmni에서는 최고 기준선 대비 평균 7.7% 상대 개선을 달성했다.

원문 초록

Omnimodal large language models (Omni-LLMs) integrate audio, video, and text for multimodal reasoning, yet remain vulnerable to cross-modal hallucinations, where one modality improperly influences predictions about another. Existing training-free decoding methods mitigate these errors through modality perturbation or relevance-based weighting. However, due to interference from irrelevant modality cues during fusion and difficulty detecting shared errors, these methods may suppress correct unimodal predictions and allow erroneous consensus to persist. To address these limitations, we propose Provenance-Aware Consensus Decoding (PACD), a training-free framework for mitigating cross-modal hallucinations. PACD comprises two complementary paths based on whether the branches reach consensus. For non-consensus cases, Relevance-Guided Candidate Arbitration identifies task-relevant unimodal evidence and selectively arbitrates between predictions using alternative candidates. For consensus cases, Provenance-Based Consensus Recovery leverages the outranking principle to evaluate the consistency and strength of layer-wise modality evidence for alternative answers, selectively resolving erroneous consensus under confidence constraints. Extensive experiments on four Omni-LLMs and five benchmarks across two tasks demonstrate the superiority of PACD. Compared to existing methods, PACD achieves up to 27.6% relative improvement over standard decoding across CMM, AVHBench, and SVHalluc for cross-modal hallucination mitigation, and an average relative improvement of 7.7% over best baseline across OmniVideoBench and FutureOmni for general audio-visual reasoning.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22456v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.