한국어 초록
임의의 기여도(attribution) 산출 방법을 제1원리로부터 어떻게 일반화하여 상호작용을 포착할 수 있을까요? 본 연구는 모델 설명의 2차 상호작용 효과를 정량화하기 위한 개념적 프레임워크인 메타게임(metagame)을 통해 이에 답합니다. 저자들은 특징(feature) $i$의 기여도 값 $φ_i$를 다른 특징들 간의 협력 게임으로 구성하고 그 샤플리 값(Shapley value)을 계산합니다. 이는 특징 $j$가 $i$의 기여도에 얼마나 영향을 미치는지를 측정하여 방향성을 갖는 메타 기여도 $\varphi_{j \to i}$를 도출합니다. 메타 기여도는 모델을 직접 분해하는 대신 기여도 자체를 분해함으로써, 그래디언트(gradient) 또는 어텐션(attention) 기반의 모든 방법을 상호작용으로 확장하며 제거 기반 섭동(perturbation)과 모델 내부 요소를 결합합니다. 이론적으로, 메타 기여도의 합이 설명 대상인 1차 기여도와 같음을 증명하며, 이는 샤플리 상호작용과 통합 헤시안(integrated Hessians)이 암묵적으로 수행하는 것으로 밝혀진 계층적 분해입니다. 실증적으로는 메타 기여도가 다양한 해석가능성 응용 분야 전반에서 통찰을 제공함을 입증합니다: (i) 인스트럭션 튜닝된 언어 모델에서의 토큰(token) 상호작용 정량화, (ii) 비전-언어(vision-language) 인코더에서의 모달리티 간 유사도 설명, (iii) 멀티모달 디퓨전 트랜스포머에서의 텍스트-이미지 개념 해석.
원문 초록
How can an arbitrary attribution method be generalized from first principles to capture interactions? We answer this with the metagame, a conceptual framework for quantifying second-order interaction effects of model explanations. We cast the attribution value $φ_i$ of feature $i$ as a cooperative game among the other features and compute its Shapley value, which measures how much feature $j$ influences the attribution of $i$, yielding the directional meta-attribution $\varphi_{j \to i}$. By decomposing attribution itself rather than the model directly, meta-attributions extend any gradient- or attention-based method to interactions, uniting removal-based perturbations with model internals. Theoretically, we prove that meta-attributions sum to the first-order attribution they explain, a hierarchical decomposition that Shapley interactions and integrated Hessians turn out to perform implicitly. Empirically, we demonstrate that meta-attributions deliver insights across diverse interpretability applications: (i) quantifying token interactions in instruction-tuned language models, (ii) explaining cross-modal similarity in vision-language encoders, and (iii) interpreting text-to-image concepts in multimodal diffusion transformers.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
지역적 가법적 특징 기여: 수학적 분류 체계와 보고 체크리스트
Local Additive Feature Attribution: A Mathematical Taxonomy and Reporting Checklist
특징 기여(feature attribution) 방법은 설명 가능한 인공지능의 핵심이다. 그 가정들은 협력 게임 값(cooperative-game values), 경로 적분(path integrals), 그래디언트 연산자, 교란 분포(perturbation distributions), 역전파 규칙 등 여러 수학적 언어로 표현된다. 본 서베이는 지역적 가법적 특징 기여를 위한 공통 프레임워크를 제안한다. Shapley, 경로 기반(path-based), 그래디언트/역전파, 교란, CAM 스타일 방법을 값 함수(value function), 참조(reference), 경로(path), 교란 분포, 보존 규칙(conservation rule)의 다섯 가지 명세 선택을 중심으로 정리한다. 이어서 공리-방법별 행렬(axiom-by-method matrix)을 통해 이들 방법을 비교하고, 기준선 민감도(baseline sensitivity), 매니폴드 외 교란(off-manifold perturbations), 타당성 검사 실패(sanity-check failures), 적대적 조작(adversarial manipulation), 방법 간 불일치(method disagreement) 등 흔한 실패 양상을 이를 야기하는 가정과 연결한다. 마지막으로, 본 서베이는 지역적 가법적 기여를 사용하는 연구를 위한 10개 항목의 보고 체크리스트를 제안한다. 핵심 메시지는 기여 결과가 정의된 수학적 가정에 상대적으로만 의미가 있으며, 그 가정들은 보고되어야 한다는 것이다.
Beyond Shapley: Efficient Computation of Asymmetric Shapley Values
캡션 병목 모델
Caption Bottleneck Models
개념 병목 모델(CBM)은 예측을 인간이 이해할 수 있는 개념 층을 통해 라우팅함으로써 해석 가능성을 제공합니다. 그러나 특정 데이터셋에 대한 최적 개념 집합을 정의하는 것은 여전히 미해결 과제입니다. 기존 접근법은 값비싼 전문가 주석이나 클래스 이름만을 기반으로 LLM이 생성한 목록에 의존합니다. 심지어 "개방형 어휘" 변형조차도 일반적으로 정적 개념 집합에 의존하며, 이는 발견을 제한하고 레이블 바이어스를 초래합니다. 또한 기존 CBM은 모델링되지 않은 시각적 특징이 병목을 우회하여 설명의 무결성을 훼손하는 정보 누수 문제를 겪는 경우가 많습니다. 이러한 한계를 극복하기 위해 우리는 캡션 병목 모델(CaBM)을 제안합니다. CaBM은 엄격한 개념 층을 자유형 자연어로 대체하여 사전 정의된 개념 집합의 필요성을 우회하는 프레임워크입니다. LMM이 생성한 캡션으로 이미지를 표현하고 이 텍스트만으로 분류기를 학습함으로써, CaBM은 설계상 누수 없는 아키텍처를 보장합니다. 더불어 학습 후 텍스트 분류기를 분석함으로써 CaBM은 고품질의 데이터셋 특화 개념을 자율적으로 발견합니다. 세밀 및 조대 벤치마크에 걸친 결과는 CaBM이 외부 사전이나 수동 레이블링의 제약 없이 해석 가능성을 유지하면서 경쟁력 있는 정확도를 달성함을 보여줍니다.
텍스트-이미지 모델은 귀납주의적 칠면조인가? 인과 추론을 위한 반사실적 벤치마크
Are Text-to-Image Models Inductivist Turkeys? A Counterfactual Benchmark for Causal Reasoning
Read It Back: 사전학습된 MLLM은 텍스트-이미지 생성을 위한 제로샷 보상 모델이다
Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation
본 논문에서 우리는 SpectraReward를 제안한다. SpectraReward는 사전학습된 다중모달 대규모 언어 모델(MLLM)을 이미지 생성 강화학습을 위한 즉시 사용 가능한 보상 모델로 전환하는 추가 학습이 불필요한 보상 함수이다. SpectraReward는 MLLM에게 생성된 이미지를 판단하거나 분해된 검증 질문에 답하도록 요청하는 대신, 단일 이미지 조건부 교사 강제(teacher-forced) 순전파를 통해 원본 프롬프트가 생성된 이미지로부터 얼마나 잘 복원될 수 있는지를 측정한다. 이미지 조건부 프롬프트 로그-가능도의 평균을 보상으로 사용함으로써, 선호도 레이블이나 보상 모델 미세조정 없이 MLLM의 사전학습된 이미지-텍스트 정렬 능력을 직접 재활용한다. 나아가 우리는 Self-SpectraReward를 소개한다. Self-SpectraReward는 통합 다중모달 모델을 위한 특수 사례로, 정책 자체의 이해 브랜치가 생성 브랜치를 위한 보상 모델로 기능하여 외부 보상 모델이나 외부 지식 없이 폐쇄 루프 자기 개선 프레임워크를 형성한다. 광범위한 실험을 통해 SpectraReward를 검증하였으며, 이 연구는 두 가지 확산 모델, 세 가지 강화학습 알고리즘, 4B에서 235B 파라미터에 걸친 네 가지 MLLM 계열의 아홉 가지 보상 MLLM 백본, 다섯 가지 분포 외(out-of-distribution) 텍스트-이미지 벤치마크를 포괄한다. 실험 결과, SpectraReward와 Self-SpectraReward 모두 생성 성능을 유의미하고 일관되게 향상시키며 기존 MLLM 기반 보상 학습 방법을 능가하였다. 추가 분석에 따르면 더 큰 보상 MLLM이 항상 더 우수한 것은 아니며, Self-SpectraReward는 훨씬 더 큰 외부 보상 모델과 동등하거나 이를 능가할 수 있어, 보상-정책 정렬(reward-policy alignment)이 효과적인 이미지 생성 강화학습의 핵심 요인임을 시사한다. 프로젝트 페이지: https://huangrh99.github.io/SpectraReward/
OperatorSHAP: 신경 연산자를 위한 빠르고 정확한 Shapley 값 추정
OperatorSHAP: Fast and Accurate Shapley Value Estimation for Neural Operators
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
NeurIPS 2026. Code: https://github.com/credibleai/metagame