PyTorchKR Papers

최신 논문

총 78편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.28215v2cs.AI

설명은 예측만 하는 것보다 더 어렵다: 문맥 내 학습 시각 분류기로서의 MLLM 개념 기반 설명 평가

Explaining is Harder Than Predicting Alone: Evaluating Concept-based Explanations of MLLMs as ICL Visual Classifiers

문맥 내 학습(ICL)은 멀티모달 대규모 언어 모델(MLLM)이 소수의 레이블된 예시로부터 이미지를 분류할 수 있게 한다. 그러나 이러한 모델들이 제공된 컨텍스트를 어떻게 활용하는지는 여전히 불투명하다. 사고의 연쇄(Chain-of-Thought) 프롬프팅이 널리 사용되고 있지만, 최근 연구들은 이것이 실제 내부 연산을 반영하지 않을 수 있다고 주장한다. 본 논문에서는 기준선 분류부터 기술 논리(Description Logics, DL) 공리 생성에 이르는 형식적 엄밀성이 증가하는 다섯 가지 조건을 사용하여, 퓨샷(few-shot) ICL 환경에서 동결된(frozen) MLLM의 개념 기반 설명 가능성을 체계적으로 평가한다. 독립적인 LLM-as-a-judge 파이프라인을 통해 네 가지 최신 MLLM을 평가한 결과, 설명은 예측만 하는 것보다 실제로 더 어렵다는 것을 입증한다. 놀랍게도, 모델이 형식적으로 구조화된 개념 기반 설명을 생성하도록 강제하면 예측 정확도가 단조롭게 저하되며(93.8%에서 90.1%로), 이는 명시적 추론이 성능을 보편적으로 향상시킨다는 가정에 반한다. 그러나 모델이 클래스 판별적 시각적 특징을 성공적으로 표현할 때, 설명 품질은 올바른 예측과 강한 상관관계를 보인다. 이러한 결과는 MLLM이 시각적 분류에 뛰어난 성능을 보이지만, 형식적이고 기계 검증 가능한 설명 가능성을 위한 특정 인스트럭션 튜닝이 부족함을 시사한다.

arXiv:2607.08641v1cs.LG

부분 의존도 기반 해석 가능한 제약을 통한 신경망 학습 유도

Steering Neural Network Training through Interpretable Constraints Based on Partial Dependence

부분 의존도(partial dependence)를 활용해 신경망 학습 시 특정 입력 특징에 대한 모델의 평균 반응이 도메인 사전 지식과 일치하도록 유도하는 설명 기반 학습(explanation-guided learning) 방법을 제안한다. 회귀 및 동역학 시스템 예측 실험에서 제안 방법으로 학습된 모델이 제약 없는 모델 대비 성능과 데이터 효율성이 모두 향상되었으며, 얻어진 해석도 사용자가 제공한 사전 지식과 실제로 일치함을 보인다.

arXiv:2607.08573v1cs.AI

SHAP 가중 교차 모달 전문가 융합을 이용한 감정 및 감성 인식: 근거와 한계

SHAP-Weighted Cross-Modal Expert Fusion for Emotion and Sentiment Recognition: Evidence and Limits

TreeSHAP 귀속값으로 전문가 가중치를 결정하는 XAI 기반 멀티모달 감정 인식 프레임워크(XGAF)를 분석한 연구로, 전문가들의 특징 차원이 다를 때 평균-절댓값 축소 대신 합-절댓값 축소를 사용해야 고차원 교차 모달 전문가의 귀속 크기가 억제되지 않음을 실험적으로 규명했다. MELD와 CMU-MOSEI 벤치마크에서 sum-abs XGAF는 조기 융합(early fusion)과 동등하거나 소폭 우세한 성능을 보였으나, 진단 분석 결과 SHAP 게이트가 다양한 샘플별 라우팅보다는 삼중 모달 전문가 위주의 단순 집중 현상을 보여 적응적 라우팅의 실질적 효과는 제한적임을 투명하게 보고한다.

arXiv:2607.06163v1cs.LG

X-FEMR: A Token-level Explainable Approach for Electronic Health Records Foundation Models using Transformer-based Models

전자건강기록(EHR) 기반 파운데이션 모델(FEMR)의 블랙박스 문제를 해결하기 위해, Transformer 기반 서로게이트 모델을 학습시켜 FEMR의 입출력 쌍을 근사하는 최초의 토큰 수준 설명가능성(explainability) 프레임워크인 X-FEMR을 제안한다. SHAP 분석을 통해 예측에 영향을 미치는 핵심 토큰을 식별하고, 새롭게 도입한 임상 정렬(clinical alignment) 지표를 통해 서로게이트 모델의 설명이 임상적으로 검증된 특징과 잘 부합함을 실험적으로 입증하였다.

arXiv:2607.05484v1q-fin.RM

SHARC: ICAAP 및 CCAR 하의 규제 자본을 위한 머신러닝 리스크 모델의 SHAP 기반 해석가능성

SHARC: SHAP-Based Interpretability in Machine Learning Risk Models for Regulatory Capital under ICAAP and CCAR

규제 자본 추정을 위한 비모수 머신러닝 모델의 도입은 근본적인 거버넌스 과제를 야기한다: 감독 기관이 감사할 수 있는 방식으로 모델 출력을 설명하지 못한다는 점이다. 이 '블랙박스' 문제는 전통적인 모수적 접근법 대비 예측 우위에도 불구하고, ICAAP 및 CCAR 워크플로우에서 가우시안 프로세스 회귀(GPR) 및 관련 머신러닝 아키텍처 도입의 주요 장벽으로 남아 있다. 본 논문은 Hybrid GPR-HS 아키텍처 및 그 스트레스 테스팅 확장을 위한 설명가능성(explainability) 프레임워크인 SHARC(SHAP for Regulatory Capital)를 통해 이 장벽을 해소한다. 협력 게임 이론에서 파생되어 국소 정확도(Local Accuracy), 결측성(Missingness), 일관성(Consistency), 효율성(Efficiency) 속성을 만족하는 SHapley Additive exPlanations(SHAP)를 세 가지 거시 시나리오(서아시아 전쟁, 기후 리스크, AI 버블/규제 부담)하에서의 스트레스 기반 가치 위험도(SVaR) 출력에 적용한다. SHARC는 SVaR를 기준선, 평균 주도, 변동성 주도 구성 요소로 분해하여 시나리오 설계와 자본 결과 간의 투명한 연계를 가능하게 한다. 두 가지 발견이 도출된다. 첫째, SHARC는 비선형 SVaR 출력을 기저 시나리오 입력과 일관되게 연결함으로써 프레임워크의 충실도를 확인하고 자본 동인에 대한 감사 가능한 추적성을 제공한다. 둘째, 스트레스 조건하에서 자본 수준 결정에 있어 평균 수익 구성 요소(방향적 손실 규모)가 분산 구성 요소(변동성 기준선)보다 지배적이며, 이는 자본 한도 설정, 포지션 관리 및 헤징 전략에 시사점을 갖는다. 본 결과는 SHARC를 Hybrid GPR-HS 프레임워크를 완전히 감사 가능하게 하고 FRTB, ICAAP Pillar 2 및 CCAR 투명성 요건과 일치하게 만드는 규제 기관 정합적 설명가능성 층으로 확립한다.

arXiv:2505.15516v3cs.LG

Distance Explainer를 활용한 설명 가능한 임베딩

Explainable embeddings with Distance Explainer

RISE의 현저성(saliency) 기반 기법을 임베딩 공간으로 확장한 Distance Explainer는 선택적 마스킹과 거리 순위 기반 마스크 필터링을 통해 두 임베딩 데이터 포인트 간 거리에 대한 지역적 사후 설명을 생성한다. ImageNet과 CLIP 모델을 이용한 교차 모달 임베딩 실험에서 충실성(Faithfulness), 강건성(Robustness), 무작위화(Randomization) 등 XAI 메트릭 전반에 걸쳐 높은 성능을 달성하며, 임베딩 공간의 해석 가능성 부재라는 XAI 연구의 공백을 해소한다.

arXiv:2607.06407v1cs.AI

ExplAIner: 분류 모델 설명을 위한 선언적 쿼리 언어

ExplAIner: A Declarative Query Language for Explaining Classification Models

ML 모델의 예측을 설명하기 위한 기존 해석 가능성 쿼리 언어 FOIL의 표현력 부족 및 평가 복잡도 문제를 해결하고자, 귀추적·대조적·거리 기반 설명 등 다양한 설명 개념을 균일하게 표현할 수 있는 선언적 쿼리 언어 ExplAIner와 최적화 지향 단편 Opt-FOIL을 제안한다. ExplAIner의 평가 문제는 불리언 계층(Boolean hierarchy)에 속하며, Opt-FOIL의 계산 문제는 $\mathrm{FP}^{\mathrm{NP}}$ 내에서 해결 가능함을 증명하여 SAT 솔버를 활용한 효율적인 XAI 쿼리 평가의 이론적 기반을 마련했다.

arXiv:2607.05563v1cs.AI

그래프에서 그래디언트로: 사이버-물리 IoT 시스템을 위한 물리학에서 영감받은 구조적 어트리뷰션 및 그 너머

From Graphs to Gradients: Physics-Inspired Structural Attribution for Cyber-Physical IoT Systems and Beyond

통계역학에서 영감받은 에너지 기반 프레임워크를 제안하여, 방향성 인과 그래프 복원 없이 사이버-물리 IoT 시스템의 변수 의존성을 비방향성 에너지 지형으로 모델링하고 의존성 인식 어트리뷰션(attribution)을 수행한다. SWaT 산업용 IoT 테스트베드 실험에서 GNNExplainer 등 최신 그래프 기반 방법 대비 어트리뷰션 정확도, 섭동 견고성, 확장성 모두에서 우수한 성능을 입증하였다.

arXiv:2503.10496v2stat.ML공식 코드 · Papers with Code

입력 스킵 잠재 이진 베이지안 신경망을 통한 설명 가능한 베이지안 심층 학습

Explainable Bayesian deep learning through input-skip Latent Binary Bayesian Neural Networks

잠재 이진 베이지안 신경망(LBBNN)을 발전시킨 ISLaB는 공변량이 임의의 후속 레이어로 직접 스킵하거나 모델에서 완전히 제외될 수 있도록 하여, 표준 LBBNN 대비 네트워크 밀도를 99% 이상 감소시키면서도 높은 예측 정확도와 불확실성 정량화를 유지한다. 핵심 기여는 활성 경로(active path) 개념의 도입으로, 사후(post hoc) 외부 도구 없이 이론적 보증이 있는 전역·지역 설명 가능성을 LBBNN 프레임워크 내에 직접 내장하며, MNIST에서 단 935개의 가중치로 97% 정확도를 달성해 신경망 압축 분야의 최신 성능에 도달했다.

arXiv:2607.04600v1cs.LG

중요한 것을 측정하기: GNN 설명 가능성을 위한 통합 평가 프레임워크

Measuring What Matters: A Unified Evaluation Framework for GNN Explainability

그래프 설명 가능한 AI(G-XAI)는 그래프 신경망(GNN)을 해석 가능하고 책임 있게 만드는 데 있어 점점 더 중요해지고 있다. 사용 가능한 설명기(explainer)의 수는 늘어나고 있지만, 적절한 방법을 선택하고 그 출력의 신뢰성을 평가하는 기준은 여전히 불명확하다. 일관된 평가 관행과 실용적인 지침이 부재하여 실제 도입에 걸림돌이 되고 있다. 본 논문에서는 정답(ground-truth) 가정이 필요 없는 G-XAI를 위한 통합적·정량적 벤치마킹 프레임워크를 제안한다. 우리는 그래프 데이터에 대한 표 형식의 설명 가능성 지표를 형식화하여, 위상적 구조와 노드(node) 특징을 독립적인 구성 요소로 평가한다. 대규모 벤치마킹 연구를 통해 지표 쌍 및 태스크 전반에 걸쳐 일관되게 파레토 프론트(Pareto front)에 위치하는 설명기를 식별하여 강건하게 비지배적인 솔루션을 확립하는 한편, 단일 설명기가 보편적인 우위를 달성하지 못한다는 점도 확인한다. 우리는 이러한 발견을 머신러닝 실무자들이 신뢰할 수 있는 GNN 기반 파이프라인을 평가하고 배포하는 데 활용할 수 있는 실용적인 G-XAI 사용성 가이드라인으로 정리한다.

arXiv:2607.04487v1cs.LG

두 블랙박스, 하나의 솔버: 하드-마스크 및 리커스 디코더 기반 신경망 다중 속성 VRP를 위한 인코더 프로빙과 디코더 어트리뷰션

Two Black Boxes, One Solver: Encoder Probing and Decoder Attribution for Neural Multi-Attribute VRP under Hard-Mask and Recourse Decoders

다중 속성 차량 경로 문제(MAVRP)를 위한 신경 자기회귀 솔버의 불투명한 의사결정을 해석하기 위해, 인코더 측에서는 선형 프로브·자발적 조직화·발견된 방향 분석을, 디코더 측에서는 그래디언트·통합 그래디언트·DeepLIFT 기반의 귀추적·대조적·반사실적 어트리뷰션을 결합한 통합 XAI 프로토콜을 제안한다. 세 가지 인코더(Att, Unimp, UnimpMoe)와 두 가지 디코더(Hard-Mask, Recourse)로 구성된 여섯 가지 변형 실험에서, 그래프 귀납적 바이어스가 표현 예측 가능성과 디코더 타당성을 향상시키고 Recourse 학습 방식이 Hard-Mask 정책으로는 생성 불가능한 실현 가능성 복원 반사실(make-feasible counterfactual)을 산출함을 확인했다.

arXiv:2607.03562v1cs.CV

XPlainVerse: 설명 가능한 딥페이크 탐지를 위한 백만 규모 벤치마크

XPlainVerse: A Million-Scale Benchmark for Explainable Deepfake Detection

딥페이크 탐지 모델이 자연어 설명을 점점 더 많이 생성함에 따라, 그 추론 과정이 시각적 아티팩트에 약하게 기반하는 경우가 많아 신뢰성과 사용자 신뢰를 저해하고 있다. 기존 벤치마크는 주로 분류(classification) 정확도를 평가하며, 설명이 실제 조작을 반영하는지 여부는 간과한다. 이러한 격차는 배포 가능하고 설명 가능한 딥페이크 탐지 시스템을 향한 발전을 저해한다. 이를 해결하기 위해, 우리는 딥페이크 탐지와 인간 중심 설명의 공동 평가를 위해 설계된 대규모 벤치마크인 XPlainVerse를 소개한다. XPlainVerse는 백만 장의 실제 이미지와 조작된 이미지로 구성되며, 다섯 개의 확립된 출처에서 수집한 원본 이미지를 열두 개의 기성 이미지 편집 및 합성 모델이 생성한 위조 이미지와 쌍으로 연결한다. 또한 우리는 다단계 필터링 파이프라인인 Edit-Check를 제안하여 조작이 의도한 편집을 만족하는지 검증함으로써, 대규모의 신뢰할 수 있는 추론 감독을 가능하게 한다. 데이터셋(dataset) 규모를 넘어, XPlainVerse는 두 가지 상호 보완적인 설명 방식을 제공한다: 전문가 분석을 위한 기술적 설명과 비전문 사용자에게 최적화된 간소화된 설명이다. 표면적 유사도를 넘어 설명 품질을 평가하기 위해, 우리는 새로운 지표인 EntityScore와 EvidenceScore를 제안한다. 이 지표들은 설명이 조작된 개체와 시각적 증거를 올바르게 식별하는지 확인함으로써 추론 충실도를 측정한다. 2,000개의 설명 쌍에 대한 인간 어노테이션이 인간 판단 대비 우리 데이터셋의 품질을 검증한다. 우리는 XPlainVerse가 근거 있는 설명 품질을 딥페이크 탐지의 측정 가능한 차원으로 확립하고, 신뢰할 수 있고 해석 가능한 모델에 대한 확장 가능한 연구를 지원할 것이라 믿는다.

arXiv:2607.02903v1cs.CR

TIER: 멤버십 프라이버시를 위한 궤적 불변 설명 정규화

TIER: Trajectory-Invariant Explanation Regularization for Membership Privacy

설명 가능성(Explainability)은 신뢰할 수 있는 AI를 구축하는 데 핵심적이지만, 설명 인터페이스는 의도치 않게 적대자에게 확장된 프라이버시 관련 공격 표면을 제공할 수 있다. 최근 연구에 따르면, 고급 멤버십 추론 공격(membership-inference attack)은 신뢰도 점수나 설명 벡터를 직접 사용하는 대신, 어트리뷰션 기반 섭동을 통해 유도된 신뢰도 하락 궤적(confidence-drop trajectory)을 판별적 특징으로 활용함으로써 성공한다는 것이 밝혀졌다. 멤버십 추론에 대한 기존 방어 기법들은 이러한 설명 기반 공격을 직접적으로 완화하지 못한다. 본 연구에서는 학습 과정에서 모델 자체의 그래디언트를 이러한 공격에 대한 방어 신호로 활용하여 멤버(member)와 비멤버(non-member) 간의 설명 프로파일을 정렬할 수 있는지 탐구한다. 이를 위해, 그래디언트 기반 섭동을 통해 시뮬레이션된 신뢰도 하락의 불규칙한 변동에 패널티를 부과하는 동시에 KL 발산(KL-divergence)을 통해 분포적 이동(distributional shift)을 최소화하는 궤적 불변 설명 정규화(TIER, Trajectory-Invariant Explanation Regularization) 방어 기법을 제안한다. 레이블 견고성을 강조하는 기존의 적대적 학습(adversarial training)과 달리, 본 접근법은 KL 발산을 통한 자기 일관성(self-consistency)을 강제하고 멤버와 비멤버 간 신뢰도 하락의 분산을 줄임으로써 설명 견고성(explanation robustness)을 목표로 한다. 광범위한 실험을 통해 본 방법이 이러한 공격을 효과적으로 완화하며, 모델 유용성과 설명 충실도를 유지하면서 프라이버시 보호를 제공함을 확인하였다.

arXiv:2607.01416v1cs.CV

히트맵을 넘어서: 해석 가능한 시각적 설명을 위한 비지도 개념-그래프 추론

Beyond Heatmaps: Unsupervised Concept-Graph Reasoning for Interpretable Visual Explanation

기존 개념 병목 모델(CBM)의 한계인 사전 정의된 어휘 의존성과 공간적 개념 그라운딩 부재를 해결하기 위해, 비음수 행렬 분해(NMF)로 비지도 개념 발견을 수행하고 그래프 어텐션 네트워크(GAT)로 개념 간 의존성을 모델링하는 G-CBM을 제안한다. G-CBM은 ImageNet, HAM10000, PH2, Derm7pt에서 ResNet-50 대비 평균 3.7% AUC 향상을 달성하며, 외부 주석 없이도 지도 학습 기반 방식과 경쟁력 있는 성능을 보인다.

arXiv:2607.02203v1cs.LG

Self-explainable Operator Learning for Discovering Spatial Patterns in Functional Data

복잡한 물리 시스템 모델링에 활용되는 연산자 학습(operator learning)의 불투명성 문제를 해결하기 위해, 적분 방정식 기반의 일반화 함수형 선형 모델(gFLM)의 선형 결합으로 연산자 학습을 재구성하는 자기 설명 가능(self-explainable) 프레임워크를 제안한다. 입력 도메인을 서브도메인으로 분할하여 각 영역의 기여도를 직접 계산함으로써, 혈류 및 비정상 공기역학 문제에서 강한 특징 기울기를 갖는 공간 영역이 예측에 핵심적임을 물리적으로 해석 가능한 방식으로 밝혔으며, Kernel SHAP, Occlusion Sensitivity, Grad-CAM 등 사후 설명 기법(post-hoc explainability)과 유사한 결과를 보이면서도 외부 도구 없이 연산자 구조 자체에 설명 가능성을 내재화했다.

arXiv:2607.01838v1cs.LG

Adaptive Group-Based Counterfactual Explanations for Time-Series Rehabilitation Data

재활 운동 분석에서 다채널 IMU 시계열 분류기의 설명 가능성을 높이기 위해, Shapley 기반 그룹 순위 선정과 학습 가능한 게이트(Learnable Gate) 메커니즘을 결합한 2단계 반사실적 설명(Counterfactual Explanation) 생성 프레임워크를 제안한다. KneE-PAD 데이터셋 실험에서 채널 수준의 M-CELS 기준선 대비 그룹 희소성을 크게 향상시키면서 유효성과 시간적 일관성을 유지하여, 근육 단위의 임상적으로 의미 있는 교정 지침을 생성함을 보였다.

arXiv:2607.01679v1cs.CR

Beyond Gradient-Based Attacks: Adversarial Robustness and Explainability Stability in Cybersecurity Classifiers

사이버보안 분류기(Random Forest, XGBoost)에 대한 적대적 공격(adversarial attack)의 이중 위협—예측 정확도 저하와 SHAP 기반 설명 불안정—을 분석하며, 예측 강건성(Robustness Index)과 독립적으로 측정해야 하는 새로운 지표인 설명 안정성 지수(Explainability Stability Index, ESI)를 제안한다. 특히 그래디언트 기반 블랙박스 공격(ZOO)이 XGBoost의 불연속 예측 곡면으로 인해 허위 강건성(RI ≈ 0.98)을 보이는 반면, 스코어 기반 Square Attack은 실제 취약성(RI ≈ 0.36)을 드러냄을 4개 보안 데이터셋 실험을 통해 입증한다.

arXiv:2607.01387v1cs.IR

Bi-NAS: Towards Effective and Personalized Explanation for Recommender Systems via Bi-Level Neural Architecture Search

추천 시스템에서 설명 생성의 효과성과 개인화를 높이기 위해, 크로스 어텐션 구조와 특징 상호작용 함수를 자동으로 탐색하는 이중 레벨 신경망 구조 탐색(Bi-NAS) 프레임워크를 제안한다. 사용자 리뷰에서 추출한 선호도와 아이템 품질 점수를 정렬한 후 대규모 언어 모델(LLM)의 제로샷 프롬프팅으로 설명을 생성하여, 4개의 실제 데이터셋에서 추천 정확도와 설명 품질 모두 향상됨을 입증하였다.

arXiv:2407.18950v5cs.AI

Unexplainability of Artificial Intelligence Judgments and Functional Implementation in Kant's Perspective

Kant's Critique of Pure Reason, a major contribution to the history of epistemology, proposes a table of categories to elucidate the structure of the a priori principles underlying human judgment. Artificial intelligence (AI) technology claims to simulate or replicate human judgment. To evaluate this claim, it is necessary to examine whether AI judgments exhibit the essential characteristics of human judgment. This paper investigates the unexplainability of AI judgments through the lens of Kant's theory of judgment. Drawing on Kant's four logical forms - quantity, quality, relation, and modality - this study identifies what may be called AI's uncertainty, a condition in which different forms of judgment become entangled. In particular, with regard to modality, this study argues that the Softmax function forcibly reframes AI judgments as possibility judgments. Furthermore, drawing on Kant's account of definition, this paper argues that no definitive criterion exists for verifying functional implementation. Moreover, fluent linguistic behavior may create the appearance of functional implementation even when important functions remain absent.

arXiv:2606.31080v1cs.LO

Beyond But-for Test: Counterfactual Explanation in Abstract Argumentation via Actual Causality (Extended Version)

추상 논증(abstract argumentation)에서 기존의 but-for 검정이 Preemption이나 Overdetermination 같은 논증 구조에서 인과관계를 올바르게 식별하지 못하는 한계를 극복하기 위해, 구조 방정식 모델과 Halpern-Pearl 실제 인과성 정의에 기반한 개입(intervention) 연산자를 도입한 반사실적 추론 프레임워크를 제안한다. 논증의 수용 조건을 방정식으로 인코딩하고 증인 논증을 실제 레이블로 고정하는 메커니즘을 통해, 기존 방법보다 표현력과 신뢰성이 높은 반사실적 설명을 제공함을 비교 분석으로 보인다.