PyTorchKR Papers

최신 논문

총 15편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.28065v2cs.LG

OperatorSHAP: 신경 연산자를 위한 빠르고 정확한 Shapley 값 추정

OperatorSHAP: Fast and Accurate Shapley Value Estimation for Neural Operators

Understanding model predictions is essential for physical applications, where outputs often inform safety-critical decisions, such as structural load assessment, weather warnings, and clinical diagnosis. Shapley values satisfy many desirable properties as an attribution method, but their computational cost during inference hinders their practical use. Current amortized explainers, such as FastSHAP, are limited to homogeneous inputs, which is problematic for physical applications where data often comes from irregular grids and geometries. We introduce OperatorSHAP, a grid-agnostic attribution method that allows us to train FastSHAP-like explainers for neural operators. We establish a theoretical framework for attributions in function space, connecting to Aumann-Shapley values. We further show that OperatorSHAP's explanations are consistent with state-of-the-art discrete Shapley values across resolutions and transfer across grid sizes without retraining.

arXiv:2610.10642v1stat.ML

로그 오즈에서 샤플리 값까지: 가중 나이브 베이즈 분류기를 위한 설명 기하학

From Log-Odds to Shapley Values: An Explanatory Geometry for the Weighted Naive Bayes Classifier

본 논문에서는 가중 나이브 베이즈(weighted naive Bayes) 분류기 모델이 유도하는 지도 표현(supervised representation)으로부터 설명 공간을 구축하는 방법을 연구합니다. 조건부 로그 우도에 기반한 고전적인 지도 거리를 출발점으로 삼아, 분류 결정과 보다 직접적으로 연관되는 로그 오즈(log-odds) 기반의 판별적 재정식을 도입합니다. 이어 이러한 표현이 분석적 샤플리 값(Shapley value) 벡터 간의 $\ell_1$ 거리와 정확히 일치하는 거리를 유도함을 보여줌으로써, 모델이 유도하는 기하학에 대한 형식적인 설명적 해석을 제공합니다. 마지막으로, $k$-최근접 이웃 분류기를 사용하여 이러한 표현들로부터 파생된 여러 지도 거리를 실증적으로 비교합니다. 본 연구는 주로 방법론적 관점에서 지도 거리, 국소적 설명(local explanation), 그리고 예측 거동 사이의 밀접한 연관성을 조명합니다.

arXiv:2609.37786v2cs.CV

CHOQOLATE: 쇼케 적분을 활용한 개념 병목 잠재 공간 구조화

CHOQOLATE: Organizing Concept Bottleneck Latent Spaces with Choquet Integrals

CLIP과 같은 비전-언어(vision-language) 모델을 기반으로 구축된 개념 병목 모델(CBM)은 잠재 공간을 인간이 이해할 수 있는 개념으로 표현합니다. 그러나 이러한 표현은 신뢰성이 떨어집니다(unfaithful). 서로 연관된 개념들이 얽혀 있어(entangled) 개별 점수가 본래 의도한 의미를 제대로 반영하지 못하기 때문입니다. 본 논문에서는 상관관계가 있는 개념들을 간결한 노드로 병합하는, 2-가법적 쇼케 적분(2-additive Choquet integrals) 기반의 해석 가능 설계 층(layer)인 CHOQOLATE를 제안합니다. 네 가지 데이터셋 전반에서 CHOQOLATE는 가중치 희소성(weight-sparse)과 의미론적 일관성을 갖춘 노드를 통해 유리한 정확도-해석 가능성 트레이드오프를 달성합니다. 실험을 통해 뒷받침된 닫힌 형태(closed-form)의 그래디언트 유도는 명시적인 지도 없이도 쇼케 층이 왜 이러한 구조화를 유도하는지 설명합니다. 또한 쇼케 가중치는 샤플리 값(Shapley values)에 직접 매핑되어 테스트 시점의 개입(test-time intervention)을 가능하게 합니다. 표준 바이어스 완화 벤치마크에서, 학습 후 가짜 개념(spurious concepts)을 억제하는 방식은 그룹 주석이나 재학습이 필요한 기존 방법들과 대등한 성능을 보이면서도 이 둘 모두를 필요로 하지 않습니다.

arXiv:2605.06295v2cs.LG

해석가능성의 메타게임과 메타 기여도

The Metagame of Interpretability and Meta-Attributions

임의의 기여도(attribution) 산출 방법을 제1원리로부터 어떻게 일반화하여 상호작용을 포착할 수 있을까요? 본 연구는 모델 설명의 2차 상호작용 효과를 정량화하기 위한 개념적 프레임워크인 메타게임(metagame)을 통해 이에 답합니다. 저자들은 특징(feature) $i$의 기여도 값 $φ_i$를 다른 특징들 간의 협력 게임으로 구성하고 그 샤플리 값(Shapley value)을 계산합니다. 이는 특징 $j$가 $i$의 기여도에 얼마나 영향을 미치는지를 측정하여 방향성을 갖는 메타 기여도 $\varphi_{j \to i}$를 도출합니다. 메타 기여도는 모델을 직접 분해하는 대신 기여도 자체를 분해함으로써, 그래디언트(gradient) 또는 어텐션(attention) 기반의 모든 방법을 상호작용으로 확장하며 제거 기반 섭동(perturbation)과 모델 내부 요소를 결합합니다. 이론적으로, 메타 기여도의 합이 설명 대상인 1차 기여도와 같음을 증명하며, 이는 샤플리 상호작용과 통합 헤시안(integrated Hessians)이 암묵적으로 수행하는 것으로 밝혀진 계층적 분해입니다. 실증적으로는 메타 기여도가 다양한 해석가능성 응용 분야 전반에서 통찰을 제공함을 입증합니다: (i) 인스트럭션 튜닝된 언어 모델에서의 토큰(token) 상호작용 정량화, (ii) 비전-언어(vision-language) 인코더에서의 모달리티 간 유사도 설명, (iii) 멀티모달 디퓨전 트랜스포머에서의 텍스트-이미지 개념 해석.

arXiv:2605.05870v3cs.LG

QuadraSHAP: 가우스-르장드르 구적법을 통한 곱 게임의 안정적이고 확장 가능한 샤플리 값 계산

QuadraSHAP: Stable and Scalable Shapley Values for Product Games via Gauss-Legendre Quadrature

본 논문에서는 연합의 가치가 플레이어별 항들의 곱으로 분해되는 협력 게임인 곱 게임(product games)에 대한 샤플리 값(Shapley values)의 효율적인 계산을 연구합니다. 이러한 게임은 곱 커널을 사용하는 커널 기법이나 트리 기반 모델과 같이, 가치 함수가 기반 모델로부터 곱 구조를 물려받을 때 머신러닝 설명가능성(explainability) 분야에서 발생합니다. 본 연구의 핵심 결과는 곱 게임에서 각 플레이어의 샤플리 값이 정확한 1차원 적분 표현식을 갖는다는 점입니다. 즉, 지수적으로 많은 수의 특징 연합에 대한 가중 합이 $[0,1]$ 구간에서 $(d-1)$차 다항식의 적분으로 단순화되며, 여기서 $d$는 총 특징의 수입니다. 이를 통해 노드 수 $m_q$가 $m_q \geq \lceil d/2 \rceil$을 만족할 때마다 증명 가능하게 정확(provably exact)하며, 그렇지 않은 경우에도 오차가 $m_q$에 따라 기하급수적으로 감소함이 증명된 거의 정확한 근사를 제공하는 가우스-르장드르 구적법(Gauss-Legendre quadrature) 기법을 도출합니다. 실제 환경에서는 수천 개의 특징이 존재하더라도 수백 개의 노드만으로 고정밀 추정치를 얻을 수 있습니다. 이러한 정식화를 바탕으로, 본 논문은 로그 공간(log-space) 평가를 통한 수치적으로 안정한 구현과 함께, $O(d\,m_q)$의 총 작업량(work) 및 $O(\log d)$의 병렬 시간(parallel time)을 달성하는 결합 스캔(associative scan) 기본 연산 기반의 효율적인 병렬 구현을 유도합니다. 실험을 통해 QuadraSHAP이 테스트된 모든 구성에서 가장 빠른 수치적으로 안정한 방법임을 보여줍니다.

arXiv:2607.14271v1cs.LG

지역적 가법적 특징 기여: 수학적 분류 체계와 보고 체크리스트

Local Additive Feature Attribution: A Mathematical Taxonomy and Reporting Checklist

특징 기여(feature attribution) 방법은 설명 가능한 인공지능의 핵심이다. 그 가정들은 협력 게임 값(cooperative-game values), 경로 적분(path integrals), 그래디언트 연산자, 교란 분포(perturbation distributions), 역전파 규칙 등 여러 수학적 언어로 표현된다. 본 서베이는 지역적 가법적 특징 기여를 위한 공통 프레임워크를 제안한다. Shapley, 경로 기반(path-based), 그래디언트/역전파, 교란, CAM 스타일 방법을 값 함수(value function), 참조(reference), 경로(path), 교란 분포, 보존 규칙(conservation rule)의 다섯 가지 명세 선택을 중심으로 정리한다. 이어서 공리-방법별 행렬(axiom-by-method matrix)을 통해 이들 방법을 비교하고, 기준선 민감도(baseline sensitivity), 매니폴드 외 교란(off-manifold perturbations), 타당성 검사 실패(sanity-check failures), 적대적 조작(adversarial manipulation), 방법 간 불일치(method disagreement) 등 흔한 실패 양상을 이를 야기하는 가정과 연결한다. 마지막으로, 본 서베이는 지역적 가법적 기여를 사용하는 연구를 위한 10개 항목의 보고 체크리스트를 제안한다. 핵심 메시지는 기여 결과가 정의된 수학적 가정에 상대적으로만 의미가 있으며, 그 가정들은 보고되어야 한다는 것이다.

arXiv:2607.09884v1cs.CV

ShapKO: 강건한 멀티모달 학습을 위한 Shapley 적응형 모달리티 녹아웃

ShapKO: Shapley-Adaptive Modality Knockout for Robust Multimodal Learning

멀티모달 의료 모델은 입력이 누락될 때 성능이 저하되는 경우가 많으며, 이는 실제 임상 워크플로우에서 흔히 발생하는 상황이다. 또한 모든 모달리티가 존재하는 경우에도 학습 중 모달리티 지배(modality dominance) 현상이 관찰되는데, 이는 최적화 과정이 예측력이 높은 모달리티에 과도하게 의존하고 보완적인 모달리티를 충분히 학습하지 못해 부분적 가용성 환경에서 낮은 강건성을 초래한다. 학습 시 모달리티 녹아웃(modality knockout)은 누락된 모달리티에 대한 강건성을 향상시키지만, 기존 방법들은 학습 중 변화하는 모달리티 유용성에 적응하지 못하는 정적 마스킹 비율을 사용한다. 우리는 검증 유용성에 기반하여 모달리티별 녹아웃 확률을 학습하는 동적 학습 전략인 ShapKO(Shapley-Adaptive Modality Knockout)를 제안한다. ShapKO는 모달리티 부분집합 전반에 걸쳐 주기적으로 성능을 평가하고, Shapley 값을 통해 모달리티 중요도를 추정하며, 지배적인 모달리티를 더 빈번하게 억제하도록 마스킹 확률을 업데이트한다. 이 적응적 과정은 구조적 수정 없이도 보완적 표현을 촉진한다. 우리는 다중작업 임상 분류, 생존 예측, 암 탐지를 포함하는 세 가지 데이터셋에서 ShapKO를 평가한다. ShapKO는 모달리티 부재 환경에서 일관되게 성능을 향상시키며, 학습된 마스킹 동작의 해석 가능한 궤적을 제공한다. 코드는 https://github.com/sumona00/ShapKO 에서 확인할 수 있다.

arXiv:2512.15765v3cs.LG

순차적 선호 최적화를 통한 LLM 정렬을 위한 Shapley 기반 데이터 가치 평가

Shapley-based Data Valuation for LLM Alignment via Sequential Preference Optimization

DPO, IPO 등 Direct Alignment Algorithm(DAA)을 활용한 LLM 정렬 시 여러 선호 데이터셋의 기여도를 Shapley 값으로 평가하려면 지수적 수의 파인튜닝이 필요한 문제를 해결하기 위해, 순차적 선호 최적화(Sequential Preference Optimization)를 도입하여 로그-정책 비율 공간에서의 가법적 합성 구조를 활용해 필요한 파인튜닝 횟수를 데이터 소스 수에 대해 선형으로 줄였다. 이를 통해 실제 선호 데이터셋에 대한 Shapley 값을 효율적으로 계산하고 각 소스가 모델 정렬에 미치는 영향을 정량적으로 규명했다.

arXiv:2607.03675v1cs.LG

검증-유도 샤플리 이동: 검증 구조가 데이터 가치 평가를 왜곡하는 방식

Validation-Induced Shapley Shifts: How Validation Structure Distorts Data Valuation

검증 세트에 노이즈를 추가하는 소폭의 변화만으로도 샤플리 값(Shapley value)이 일관되게 0으로 수렴하는 방향성 이동이 발생한다는 체계적 취약점을 KNN-Shapley 프레임워크를 통해 규명하였으며, 이는 경계 샘플의 값 범위 축소와 비경계 샘플의 양수 값 감소라는 두 가지 메커니즘에 기인함을 보였다. 이러한 왜곡을 완화하기 위해 엔트로피 인식 정규화 및 경계 인식 검증 전략을 제안하여 머신러닝 마켓플레이스에서의 공정한 데이터 가치 평가를 지원한다.

arXiv:2607.01959v1stat.ML

단변량 시계열을 위한 자동 관련성 함수 및 기타 특징 관련성 측도

Autorelevance function and other feature relevance measures for univariate time series

단변량 시계열 예측 모델에서 각 시차(lag)의 중요도를 측정하기 위해 고스트 변수(Ghost variables)와 샤플리 값(Shapley values) 프레임워크를 결합한 자동 관련성 함수(ARF) 및 부분 자동 관련성 함수(PARF)를 제안한다. 연합 기반 방법에서 결측 특징을 동일 모델의 1단계 예측값으로 대체하는 방식을 도입하여 seasonal ARMA 및 순환 신경망(RNN) 실험에서 기대되는 시차 구조를 성공적으로 재현하였다.

arXiv:2606.29878v1cs.LG

예측-후-최적화 시스템에서의 결정 가치 귀인

Decision-Value Attribution in Predict-then-Optimize Systems

예측-후-최적화(predict-then-optimize) 시스템에서 예측 설명이 실제 운영 가치와 괴리될 수 있다는 문제를 해결하기 위해, Shapley 값 기반의 결정 가치 귀인(DVA) 프레임워크를 제안하며 피처, 설계 매개변수, 그 상호작용에 각각 운영 목표 단위로 가치를 분해하는 InfoDVA, DesignDVA, DVI 세 가지 변형을 정의한다. 전력 저장 차익 거래 및 응급 의료 서비스 커버리지 사례 연구를 통해, 예측 중요도와 결정 중요도가 실질적으로 다를 수 있음을 보이고 DVA가 정보 제어 개입과 최적화 설계 선택을 안내할 수 있음을 실증한다.

arXiv:2408.01382v4cs.LG

Explaining a probabilistic prediction on the simplex with Shapley compositions

다중 클래스 확률 예측은 단순x(simplex) 위의 이산 확률 분포인데, 클래스별 one-vs-rest Shapley 값 계산은 출력 분포의 구성적 성격을 반영하지 못한다. 구성 데이터 분석의 Aitchison 기하를 활용한 Shapley composition을 제안하고, Aitchison 단순x에서 선형성·대칭성·효율성을 만족하는 유일한 설명량임을 증명한 뒤 여러 시나리오에서 다중 클래스 확률 예측 설명에 적용했다.

arXiv:2606.25103v1cs.AI

Beyond Shapley: Efficient Computation of Asymmetric Shapley Values

We address the problem of explainability in machine learning models through feature attribution methods. In particular, we consider a variant of Shapley values known as Asymmetric Shapley Values (ASV), which enables the incorporation of causal knowledge into model-agnostic explanations through the use of a causal graph. We show that in certain contexts in which the computation of SHAP is $\#P$-hard, the exact computation of ASV can be done in polynomial time. To extend this algorithmic result, we introduce a notion of equivalence classes over the topological orderings of the underlying causal graph, which is useful to reduce the time to compute ASV. In particular, we present a polynomial-time algorithm (in the number of equivalence classes) to compute it whenever the causal graph is a rooted directed tree. Finally, we develop an algorithm for approximating ASV in arbitrary causal DAGs which relies on a procedure to sample topological orderings uniformly at random. To implement this sampling mechanism we leverage known algorithms as well as simpler alternatives. Our experimental results demonstrate the practical viability of the proposed approach in realistic causal structures.

arXiv:2606.20572v1cs.CL

언어적 스티어링 조사: 대규모 언어 모델 아키텍처 전반의 형용사 효과 분석

Investigating Linguistic Steering: An Analysis of Adjectival Effects Across Large Language Model Architectures

대규모 언어 모델(LLM)을 신뢰할 수 있게 제어하려면, 모델이 언어적 단서를 해석하는 방식에 대한 정밀하고 확장 가능한 이해가 필요하다. 우리는 Shapley 값을 사용해 개별 형용사가 모델 성능에 미치는 스티어링 효과를 정량화하는 엄격한 프레임워크를 제안하며, 일화적 휴리스틱을 넘어 원칙에 기반한 기여도 귀인(attribution)으로 나아간다. MMLU 벤치마크에서 o3, gpt-4o-mini, phi-3, llama-3-70b, deepseek-r1 등 다양한 모델에 대해 100개의 형용사에 이 방법을 적용한 결과, AI 정렬(alignment)에 대한 여러 중요한 발견을 밝혀냈다. 첫째, 소수의 형용사가 불균형적으로 강력한 "레버" 역할을 하지만, 그 효과는 보편적이지 않다. 모델 간 분석은 "계열 효과(family effect)"를 드러낸다: 동일 계열의 모델은 상관된 민감도 프로파일을 보이는 반면, 아키텍처적으로 상이한 모델은 대체로 비상관적으로 반응하여, 만능 프롬프트 전략이라는 관념에 도전한다. 둘째, 후속 집중 연구는 이러한 강력한 형용사의 스티어링 방향이 내재적이지 않고 프롬프트 내 구문적 역할과 위치에 크게 좌우됨을 보여준다. gpt-4o-mini와 같은 더 큰 모델에 대해, 형용사가 상승적으로 증폭하거나, 길항적으로 억제하거나, 서로의 영향을 심지어 뒤집을 수 있는 강력한 비가산적 상호작용 효과에 대한 최초의 정량적 증거를 제공한다. 반면 phi-3와 같은 소형 모델은 더 문자 그대로의, 덜 조합적인(compositional) 반응을 보인다. 이 결과는 모델이 스케일링될수록 프롬프트 해석이 더 정교해지지만 덜 예측 가능해짐을 시사하며, 모델 행동을 견고하게 스티어링하는 데 큰 도전을 제기하고, 조합적이며 모델별 정렬 기법의 필요성을 부각한다.

arXiv:2505.00571v3stat.ML공식 코드 · Papers with Code

베이지안 회귀, 트리 앙상블 및 Shapley 값을 통합한 역학 데이터의 비선형성을 넘어선 발견과 추론

Discovery and inference beyond linearity for epidemiological data by integrating Bayesian regression, tree ensembles and Shapley values

머신러닝(ML)은 가설 없는(hypothesis-free) 위험 및 보호 요인 발견을 위해 역학 및 의료 연구에서 인기를 얻고 있습니다. ML은 비선형성과 상호작용을 발견하는 데 강점이 있지만, 신뢰할 수 있는 추론(inference)의 부재로 인해 이러한 강점이 저해됩니다. Shapley 값은 특징의 효과에 대한 국소적 측정치를 제공하지만, 이러한 효과에 대한 타당한 불확실성 정량화가 일반적으로 부족하여 통계적 추론을 불가능하게 만듭니다. 우리는 이러한 한계를 해결하기 위해 전용 베이지안 희소 회귀 모델(model)과 개선된 트리 기반 규칙 생성기, 그리고 Shapley 값 귀속을 결합한 RuleSHAP 프레임워크를 제안합니다. RuleSHAP는 비선형 및 상호작용 효과의 탐지를 제공하며, 개별 수준에서의 불확실성 정량화를 핵심 기여로 포함합니다. 우리는 이 프레임워크 내에서 한계 Shapley 값을 계산하기 위한 효율적인 공식을 유도합니다. 우리는 고콜레스테롤혈증과 고혈압에 대한 여러 효과를 탐지하고 추론하기 위해 역학 코호트 데이터에 RuleSHAP를 적용했으며, 여기에는 연령, 성별, 인종, BMI 및 포도당 수준과 같은 특징 간의 비선형 상호작용 효과가 포함됩니다. 결론적으로, 우리는 시뮬레이션 데이터를 통해 프레임워크의 타당성을 입증합니다.