시청각 환각 완화를 위한 관련 증거 디코딩
Relevant Evidence Decoding for Audio-Visual Hallucination Mitigation
시청각 대규모 언어 모델(AV-LLM)은 한 모달리티가 다른 모달리티에 대한 예측에 잘못된 영향을 미치는 크로스 모달 환각(cross-modal hallucination)에 여전히 취약합니다. 대조 디코딩(contrastive decoding)이 비전-언어 모델에서 환각을 줄여주기는 하지만, 이를 AV-LLM에 직접 확장하는 것은 서로 다른 질문이 오디오, 비디오, 또는 이들의 상호작용 등 서로 다른 지각적 증거를 필요로 한다는 핵심 과제를 간과합니다. 특히, 모델이 정보가 풍부한 단일 모달리티로부터 정답을 도출해 낼 수 있는 경우에도 시청각 결합 추론(joint audio-visual inference)이 오히려 예측을 약화시킬 수 있음을 발견했습니다. 예를 들어, 어떤 악기 소리가 들리는지 질문을 받았을 때, 모델은 오디오만으로 바이올린을 올바르게 예측할 수 있습니다. 하지만 기타가 보이는 비디오가 추가되면 바이올린에 대한 확신도(confidence)가 떨어질 수 있습니다. 본 논문에서는 질문과 관련된 증거를 식별하고 그 기여도를 선택적으로 강화하는 학습(training) 불필요 방식인 관련 증거 디코딩(Relevant Evidence Decoding, RED)을 소개합니다. RED는 점별 상호정보량(PMI)을 사용하여 질문 자체를 넘어 오디오와 비디오가 제공하는 예측적 지지도를 정량화합니다. 또한 이들의 결합 기여도를 오디오, 비디오, 그리고 잔여 상호작용 컴포넌트로 분해합니다. 질문 전용 추론 과정을 통해 필요한 증거 유형을 결정한 후, 모델은 원래의 시청각 예측을 해당하는 PMI 기여도로 증강합니다. 3개의 시청각 환각 벤치마크와 3개의 AV-LLM에 걸쳐, RED는 표준 디코딩 대비 정확도를 CMM에서 최대 7%, AVHBench에서 6.3%, SVHalluc에서 3.8% 향상시켰으며, 첫 번째 토큰 생성 시간(time to first token)은 표준 디코딩의 평균 1.5배 수준이었습니다.