arXiv:2609.38810v3 cs.CV

CRAFT: 의료 비전-언어 모델의 인과적 책임 및 실패 추적

CRAFT: Causal Responsibility and Failure Tracing in Medical Vision Language Models

Chunzheng Zhu, Jiaqi Zeng, Hongbo Zhao, Yihang Chen, Yijun Wang, Jianxin Lin

제출 2026-10-30

저자 비고

arXiv Comments

NeurIPS 2026 Spotlight, Medical VLM Failure Analysis

원문 초록

As vision language models are increasingly deployed in clinical diagnosis, understanding how they internally resolve competing visual and textual signals becomes a safety imperative. Existing mechanistic analyses remain confined to unimodal text and offer no explanation for why a single misleading sentence can override a correct image based diagnosis, or why a model commits to a confident answer despite insufficient visual evidence. We find that these two safety risks, arbitration failure where textual context overrides visual grounding and brake failure where the model commits without adequate evidence, are mediated by spatially disjoint attention head populations: arbitration heads form a mid-to-deep wideband reflecting cross-layer evidence competition, while brake heads concentrate in a narrow middle-to-late layer band that regulates evidence sufficiency and abstention behavior. To ground these observations in causal circuitry, we introduce CRAFT, which localizes each failure mode to a minimal causal head set via dual criteria and verifies necessity and sufficiency through temporal probes and Tuned Lens trajectory analysis. Excising arbitration heads sharply reduces conflict following with negligible degradation on clean inputs, while excising brake heads restores appropriate abstention under degraded visual evidence. The two interventions target spatially disjoint head sets and produce distinct corrective effects, underscoring the mechanistic separability of the failure modes. Experiments across multiple medical VQA benchmarks and VLM architectures validate both the localization and interventions, demonstrating that the identified heads causally drive each failure mode and that targeted modulation generalises without retraining. The code is available at https://github.com/zhcz328/CRAFT.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.38810v3제출 시각 미확인
  2. arXiv:2609.38810v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15850v1cs.LG공통 태그 Causal Inference, mechanistic interpretability

희소 오토인코더 특징 발견 점수는 무엇을 식별하는가? 활성화에서 개입까지

What Do Sparse Autoencoder Feature Discovery Scores Identify? From Activations to Interventions

희소 오토인코더(SAE) 특징은 일반적으로 해당 활성화가 동작과 어떻게 공변하는지를 통해 발견되지만, 실제로는 조향(steering)이나 절제(ablation)와 같은 개입을 통해 사용되는 경우가 많습니다. 본 논문에서는 모델 출력에 대한 특정 개입의 1차 효과인 개입 귀속(intervention attribution)을 추정 대상(estimand)으로 설정합니다. 광범위한 반응 함수 클래스에 대해, 관찰 기반의 특징 발견 증거는 일반적으로 이러한 귀속을 식별하지 못함을 보이고, 선형 프로브(linear-probe) 예측과 개입 귀속 간 격차의 정확한 그래디언트 기반 분해를 도출합니다. 4개의 모델-SAE 쌍에 걸쳐 프로브 대 귀속 크기 비율의 중앙값은 수십에서 수백 배에 달하는 반면, 귀속은 작은 단계의 조향을 밀접하게 추적합니다. 0이 아닌 효과를 갖는 단일 잠재 변수 절제에 대해, 그래디언트 예측은 91~97%의 사례에서 실제 실현된 부호와 일치한 반면, 프로브가 함의하는 변화는 17~35%에 불과했습니다. 또한 귀속을 통해 선택된 집합은 상관관계, 순위 검정 또는 프로브 계수로 선택된 집합보다 홀드아웃 프롬프트에서 더 큰 절대 평균 절제 효과를 생성합니다. 종합적으로 이러한 결과는 개입 귀속이 개입을 위한 SAE 특징을 선택하는 데 있어 원칙적이고 그래디언트로 추정 가능한 목표임을 확립합니다.

arXiv:2610.10648v1cs.LG공통 태그 Causal Inference, Medical Image Analysis

알츠하이머병 연구의 진단 및 진행 예측을 위한 정보 누출 제어 다중 모달 학습

Leakage-Controlled Multimodal Learning for Diagnosis and Progression Prediction in Alzheimer's Disease Research

알츠하이머병(Alzheimer's disease) 예측은 불규칙한 방문 주기, 이종의 측정값, 불완전한 모달리티 문제를 수반합니다. 본 연구에서는 맞춤형 SFCN MRI 인코더, 4개의 인과적 임상 트랜스포머(clinical Transformer), 공유 융합 모듈, 과업별 ODE-GRU 역학을 결합한 다중 모달 다중 과업(multimodal multitask) 프레임워크를 제안합니다. 미세조정(fine-tuning)과 LoRA를 적용해 마지막 두 개의 MRI 블록을 적응시킵니다. Task-DRO는 과업 간 손실의 균형을 맞추며, Group-CVaR은 코호트 및 동반 질환 계층을 목표로 합니다. 브랜치별 입력 제어, 피험자 그룹화 분할, 경험적 인과성 검증을 통해 종단적 평가를 지원합니다. ADNI, OASIS-2, MIRIAD의 2,649명 피험자와 17,317회 방문 데이터를 기반으로 한 내부 검증에서, 진단, 1단계 진행, 첫 1단계 방문 진행의 AUROC는 각각 0.935 +/- 0.002, 0.884 +/- 0.003, 0.870 +/- 0.005를 기록했습니다(3개 시드에 대한 평균 +/- 표준편차). 상응하는 하이브리드 AUROC는 각각 0.951, 0.909, 0.896입니다. 다음 방문 시점의 MMSE 평균 절대 오차(MAE)는 1.61점이며, 최하위 계층의 진단 AUROC는 0.827 +/- 0.008입니다. 샘플링된 ADNI 설명 분석을 통해 과업별 입력 의존성을 식별했습니다. OASIS-3 외부 검증에서는 네트워크 및 하이브리드 진단 AUROC가 각각 0.763과 0.767, 하이브리드 다음 방문 진행 AUROC가 0.764를 기록했고, 진단 캘리브레이션 오차는 0.197에서 0.052로 감소했으며, 다음 방문 MMSE MAE는 0.86을 나타냈습니다. 시드 42에 대한 6개 구성 요소의 대응 절제 연구(ablation study) 결과, 풀링된 진단 및 진행 AUROC 차이는 -0.004에서 +0.004 사이로 나타났으며, 임상 인코더 입력을 제거하면 진단 AUROC가 0.272 감소했습니다. 본 프레임워크는 종단적 예측, 결측 모달리티 처리, 보조 동반 질환 모델링, 하위 그룹 평가를 단일 파이프라인 내에 통합합니다.

arXiv:2610.02269v1eess.IV공통 태그 Medical Image Analysis, Hallucination

의료 영상을 위한 변분 위험 최소화 기반 신뢰도 게이팅 클라우드-엣지 캐스케이드 분류

Confidence-Gated Cloud-Edge Cascade Triage via Variational Risk Minimization for Medical Imaging

응급 흉부 X선(CXR) 중증도 분류(triage)에는 구조적인 모달리티 격차가 존재합니다. 즉 판독문은 분류 결정 이후에 도착하지만, 멀티모달 파운데이션 모델은 영상-텍스트 입력을 모두 필요로 합니다. 본 논문에서는 대규모 비전-언어 모델(LVLM)이 생성한 판독문 변형들을 잠재적 임상 해석의 몬테카를로(Monte Carlo) 샘플로 취급하는 지식 증류(distillation) 프레임워크인 변분 위험 최소화(Variational Risk Minimization, VRM)를 제안합니다. 단일 교사 모델의 타깃으로부터 증류하는 대신, VRM은 변분적으로 한계화된(variationally marginalized) 교사 분포로부터 학습하여 모달리티 누락 제약 조건 하에서도 불확실성을 인식하는 감독(uncertainty-aware supervision)을 가능하게 합니다. 동일한 인코더 패밀리 조건에서, VRM은 직접적인 미세조정 베이스라인보다 우수한 성능을 보이며 환각(hallucination) 감독으로부터 강력한 복원력을 보여 캘리브레이션을 개선합니다. 한계화된 감독은 판독문 선택의 불안정성을 완화합니다. 소형 엣지-학생 모델 구현에서, 신뢰도 게이팅 캐스케이드는 20.3%의 클라우드 이관율과 평균 103ms의 지연 시간으로 AUC 0.941을 달성하여, 클라우드-엣지 임상 워크플로우를 위한 명시적인 신뢰성-지연 시간 운용점을 제공합니다.

arXiv:2610.03519v1cs.AI공통 태그 Causal Inference, Hallucination

추론 모델은 식별 가능성 판단에서 정확하지만 건전하지 못하다

Reasoning Models Are Accurate but Unsound on Identification

관측 데이터로부터 인과 효과(causal effect)를 복원할 수 있는지 질문을 받았을 때, 추론 모델은 두 가지 방식으로 실패할 수 있습니다. 즉, 식별 가능한(identifiable) 쿼리를 거부하거나 식별 불가능한 쿼리에 답변하는 것입니다. 어떤 관측 데이터로도 주장된 공식을 검증할 수 없기 때문에 후자가 더 중대한 결과를 초래합니다. 이러한 실패를 측정하려면 기존 평가에는 부재했던 증명 가능하게 식별 불가능한 쿼리가 필요하며, 문자열 매칭으로는 불가능한 임의의 동등한 형태의 올바른 공식을 수용하는 채점 방식이 필요합니다. 우리는 두 가지 한계를 모두 해결하는 정형 식별 파이프라인인 CERTID를 구축합니다. CERTID는 건전하고 완전한 인과 식별 알고리즘인 ID를 사용하여 주어진 그래프와 쿼리로부터 효과가 식별 가능한지 인증하고, 개입 분포(interventional distribution)가 정확히 알려진 구조적 인과 모델(SCM)을 대상으로 반환된 공식을 검증합니다. 나아가 CERTID는 구조적 누출(structural leakage)을 완화하고, 식별 불가능한 쿼리를 보정하며, 채점 보장을 확립하기 위한 이론적 결과를 개발합니다. 우리는 4개에서 50개의 정점에 이르는 1,200개의 인증된 인스턴스에서 세 가지 프론티어 추론 모델(Gemini Flash, Gemini Pro, GPT5.5)을 평가합니다. 정확도(accuracy)는 건전성(soundness)을 대변하기에 미흡한 지표임이 입증되었습니다. 동일한 인스턴스에서 식별 불가능한 쿼리에 대한 허위 주장 비율(false-claim rate)은 모델에 따라 17배 차이가 납니다. 또한 우리는 모델들이 가장 성능이 뛰어난 모델의 학습 스냅샷 이후에 생성된 그래프에서도 97-100%의 정확도로 식별 가능성을 판단한다는 점을 발견했습니다. 인스턴스, 인증 절차, 검증기 및 인스턴스별 기록은 https://anonymous.4open.science/r/certid-D718 에서 확인할 수 있습니다.

arXiv:2610.02887v1cs.CV공통 태그 Causal Inference, Hallucination

인과-불변 마스킹을 통한 멀티모달 대규모 언어 모델(MLLM)의 인식론적 불확실성 규명

Revealing Epistemic Uncertainty in MLLMs via Causal-Invariant Masking

멀티모달 대규모 언어 모델(MLLM)은 환각(hallucination) 문제를 겪고 있어, 신뢰할 수 있는 배포를 보장하기 위한 불확실성 정량화(UQ)의 필요성이 매우 중요해졌습니다. 그러나 기존 접근 방식들은 특히 질의 관련 신호가 약할 때 피상적인 연관성으로 인해 발생하는 불확실성을 감지하는 데 어려움을 겪습니다. 본 논문에서는 이러한 문제가 주로 모델의 한계에서 기인하는 인식론적 불확실성(epistemic uncertainty)을 간과하고 데이터의 모호성에서 비롯되는 우연적 불확실성(aleatoric uncertainty)에 편향된 바이어스(bias) 때문이라고 설명합니다. 포괄적인 UQ를 위해 불확실성의 유형을 추가로 분해하고자, 원래 예측과 인과적으로 집중된 뷰에 조건화된 예측 간의 의미론적 변화(semantic shift)를 측정하는 인과-불변 마스킹(CIM)을 제안합니다. 이 프레임워크를 기반으로, UQ를 위한 핵심 지표로서 의미론적 발산(Semantic Divergence)을 도입하고, 이것이 비인과적 상관관계에 대한 모델 민감도의 분산으로 수렴함을 이론적으로 입증하여 MLLM의 한계를 포착하는 능력을 입증합니다. MLLM에서 UQ 속도를 가속하기 위해, 초구체(hyperspherical) 임베딩 공간 내에서 의미론적 변화를 직접 추정하는 빠른 기하학적 대리지표인 기대 임베딩 표류(EED)를 추가로 제안합니다. 실험 결과는 우리의 방법이 다양한 벤치마크에서 최고 성능을 달성하는 동시에, 제안된 EED를 통해 유사한 성능을 유지하면서 속도를 약 50% 가속함을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.