시청각 환각 완화를 위한 관련 증거 디코딩
Relevant Evidence Decoding for Audio-Visual Hallucination Mitigation
한국어 초록
시청각 대규모 언어 모델(AV-LLM)은 한 모달리티가 다른 모달리티에 대한 예측에 잘못된 영향을 미치는 크로스 모달 환각(cross-modal hallucination)에 여전히 취약합니다. 대조 디코딩(contrastive decoding)이 비전-언어 모델에서 환각을 줄여주기는 하지만, 이를 AV-LLM에 직접 확장하는 것은 서로 다른 질문이 오디오, 비디오, 또는 이들의 상호작용 등 서로 다른 지각적 증거를 필요로 한다는 핵심 과제를 간과합니다. 특히, 모델이 정보가 풍부한 단일 모달리티로부터 정답을 도출해 낼 수 있는 경우에도 시청각 결합 추론(joint audio-visual inference)이 오히려 예측을 약화시킬 수 있음을 발견했습니다. 예를 들어, 어떤 악기 소리가 들리는지 질문을 받았을 때, 모델은 오디오만으로 바이올린을 올바르게 예측할 수 있습니다. 하지만 기타가 보이는 비디오가 추가되면 바이올린에 대한 확신도(confidence)가 떨어질 수 있습니다. 본 논문에서는 질문과 관련된 증거를 식별하고 그 기여도를 선택적으로 강화하는 학습(training) 불필요 방식인 관련 증거 디코딩(Relevant Evidence Decoding, RED)을 소개합니다. RED는 점별 상호정보량(PMI)을 사용하여 질문 자체를 넘어 오디오와 비디오가 제공하는 예측적 지지도를 정량화합니다. 또한 이들의 결합 기여도를 오디오, 비디오, 그리고 잔여 상호작용 컴포넌트로 분해합니다. 질문 전용 추론 과정을 통해 필요한 증거 유형을 결정한 후, 모델은 원래의 시청각 예측을 해당하는 PMI 기여도로 증강합니다. 3개의 시청각 환각 벤치마크와 3개의 AV-LLM에 걸쳐, RED는 표준 디코딩 대비 정확도를 CMM에서 최대 7%, AVHBench에서 6.3%, SVHalluc에서 3.8% 향상시켰으며, 첫 번째 토큰 생성 시간(time to first token)은 표준 디코딩의 평균 1.5배 수준이었습니다.
원문 초록
Audio-Visual Large Language Models (AV-LLMs) remain prone to cross-modal hallucinations, where one modality incorrectly affects predictions about another. Although contrastive decoding reduces hallucinations in vision-language models, its direct extension to AV-LLMs overlooks a key challenge: different questions require different perceptual evidence, including audio, video, or their interaction. Notably, we observe that joint audio-visual inference can weaken the prediction even when a model can recover the correct answer from a single informative modality. For example, when asked which instrument is heard, a model may correctly predict violin from the audio alone. Once a video showing a guitar is added, its confidence in violin may drop. In this paper, we introduce Relevant Evidence Decoding (RED), a training-free method that identifies question-relevant evidence and selectively strengthens its contribution. RED uses pointwise mutual information to quantify the predictive support provided by audio and video beyond the question alone. It decomposes their joint contribution into audio, video, and residual interaction components. A question-only inference pass determines the required evidence type, after which the model augments the original audio-visual prediction with the corresponding PMI contribution. Across three audio-visual hallucination benchmarks and three AV-LLMs, RED improves accuracy over standard decoding by up to 7% on CMM, 6.3% on AVHBench, and 3.8% on SVHalluc, with an average relative time to first token of 1.5x standard decoding.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
대규모 언어 모델에서 대조 디코딩을 위한 어텐션 기반 층 선택
Attention-Guided Layer Selection for Contrastive Decoding in Large Language Models
DoLa와 같은 대조 디코딩(contrastive decoding) 방법은 성숙한 층과 미성숙한 층의 출력 분포를 대조하여 대규모 언어 모델(LLM)의 사실성(factuality)을 향상시킨다. 그러나 DoLa의 동적 층 선택은 출력 어휘 분포의 발산(divergence)에만 의존한다. 본 연구에서는 내부 셀프 어텐션(self-attention) 메커니즘이 담고 있는 구조적 정보를 층 선택 신호로 활용하는 세 가지 어텐션 기반 전략인 Attention-JSD, Attention-Entropy-Max, Attention-Entropy-Min을 제안한다. TruthfulQA에 대한 실험 결과, 특히 Attention-JSD와 Attention-Entropy-Min을 포함한 제안 전략들이 원래 DoLa를 일관되게 능가함을 보여준다. 다중 답변 지표(MC2 및 MC3)에서 유의미한 향상을 관찰하였으며, 이는 어텐션 분포가 출력 어휘 분포보다 사실적 지식 해결에 더 민감한 신호를 제공할 수 있음을 시사한다.
Adaptive Perturbation Selection for Contrastive Audio Decoding
IHDec: 멀티턴 인스트럭션 계층 구조 보호를 위한 발산 유도 대조 디코딩
IHDec: Divergence-Steered Contrastive Decoding for Securing Multi-Turn Instruction Hierarchies
대규모 언어 모델(LLM)은 다양한 역할 수준 우선순위를 가진 다중 출처 입력을 처리할 때 인스트럭션 계층 구조(IH)를 유지하지 못하는 경우가 많으며, 충돌 시 역설적으로 낮은 우선순위의 지시를 따르는 경향이 있습니다. 기존의 방어 방법들은 이 문제를 완화하지만, 주로 단일 턴 시나리오에 국한되어 있으며 비용이 많이 드는 미세조정이 필요합니다. 본 논문에서는 Jensen-Shannon 발산(JSD) 프레임워크를 통해 멀티턴 컨텍스트에서 이 실패 모드를 공식화하고, 하위 입력이 상위 역할을 재정의하는 광범위한 역할 영향 역전(role-influence inversion) 현상을 발견합니다. 학습 없이 이를 해결하기 위해, 본 논문은 IHDec(Instruction Hierarchy-steered Decoding)를 제안합니다. IHDec는 JSD를 활용하여 토큰 수준의 계층 구조 위반을 자동으로 감지하고, 정렬이 어긋난 하위 역할을 억제하기 위해 대조 디코딩(contrastive decoding)을 동적으로 실행합니다. 광범위한 평가를 통해 IHDec가 멀티턴 충돌에서 학습 기반 베이스라인을 능가하면서도 전반적인 응답 품질을 완전히 유지함을 입증합니다. 또한, IHDec는 적대적 프롬프트 인젝션에 대한 안전성을 강화하고 더 큰 모델과의 강건한 스케일링 시너지를 나타냅니다. 코드는 https://github.com/nxcolelxu/IHDec.git 에서 확인할 수 있습니다.
FADE: Mitigating Hallucinations by Reducing Language-Prior Dominance in Large Vision-Language Models
World-Model Collapse as a Phase Transition
생성형 AI 워크플로우에서의 특권과 기밀성
Privilege and confidentiality in generative AI workflows
생성형 AI(GenAI) 시스템은 클라이언트 데이터를 세 가지 방식으로 저장하고 처리한다: 학습과 기억화를 통해 모델의 파라미터에, 실시간 세션 중 컨텍스트 윈도우에, 그리고 검색-증강 생성(RAG)을 위한 지식 데이터베이스에. 각 방식은 기밀성과 법적 직업상 특권에 대해 서로 다르고 종종 반직관적인 위험을 초래하며, 각각 특정한 거버넌스 대응을 요구한다. 특권과 생성형 AI를 다룬 최초의 영국 및 미국 판결인 UK and Munir v Secretary of State for the Home Department와 United States v Heppner, 이 판결들이 해석되어야 할 기존의 특권 판례들, 그리고 최근의 컴퓨터 과학 연구를 바탕으로, 우리는 실무자들이 이해할 수 있는 방식으로 데이터 저장 및 처리의 세 가지 방식을 설명하고 각각의 법적 결과를 분석한다. 이어서 우리는 이 분석을 잉글랜드 및 웨일스의 사무변호사를 규율하는 규제 체계와 통상적인 직업상 과실의 일반 원칙 내에 위치시키며, 효과적인 정보 거버넌스의 기준(그리고 그에 따라 과실 및 위법 행위를 판단하는 벤치마크)이 변화하고 있다고 주장한다. 우리는 주로 SRA 규제를 받는 실무자들을 대상으로 서술하지만, 데이터 거버넌스 분석은 특권 또는 직업상 비밀의 보호가 증명 가능한 기밀성에 달려 있는 모든 법적 관할권으로 확장될 수 있도록 구성하였다. 이 논문의 궁극적인 목적은 법률 서비스 전문가들이 GenAI 시스템에서의 주요 데이터 유출 위험을 이해하도록 돕고, 이를 통해 클라이언트 데이터 및 기타 민감한 자료에 대한 GenAI의 보다 책임 있는 배포를 촉진하는 것이다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.