PyTorchKR Papers

최신 논문

총 78편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.21186v2quant-ph

On the effects of emulated quantum layers on CNN performance and explainability for OCT and dementia imaging

Hybrid quantum-classical convolutional neural networks have been proposed as an alternative to classical deep learning models. However, executing network components on quantum hardware imposes fundamental limitations, such as gradient estimation through repeated measurements, and increasing the number of qubits can lead to trainability problems such as barren plateaus. Moreover, the reported success of these hybrid networks has been linked to quantum architectures that can be efficiently simulated on classical computers. We investigate whether small, classically simulated quantum circuits can serve as useful components within larger models, as a substitute for purely classical layers. We present a systematic comparison between a Hybrid Quantum-inspired CNN (HQiCNN) and standard CNN architectures, where the models differ only in a single intermediate layer: an emulated quantum circuit in the HQiCNN and classical counterparts in the CNN. The models are evaluated on two medical imaging datasets while varying training set size, learning rate, batch size, circuit entanglement and observable se. Under a strict parameter budget, the HQiCNN outperforms the classical baselines. When the classical layer is given more parameters, overall performance becomes comparable, with the HQiCNN showing improvements only in the intermediate-data regime. Removing entanglement yields comparable performance and richer observable sets yield no performance improvement. Finally, we introduce two SHAP-based metrics for comparing model explanations, $|$SHAP$|$IoU and EMD$_{\mathrm{pos}}$. They show that all architectures attend to anatomically plausible regions, and that the spatial attention agreement between them increases with training set size. These results indicate that, under specific data regimes, quantum-inspired hybrid models are a competitive alternative to classical CNNs for medical image classification.

arXiv:2607.00578v4cs.CV

캡션 병목 모델

Caption Bottleneck Models

개념 병목 모델(CBM)의 사전 정의된 개념 집합 의존성과 정보 누수 문제를 해결하기 위해, LMM이 생성한 캡션을 병목층으로 활용해 텍스트만으로 분류를 수행하는 CaBM(Caption Bottleneck Models) 프레임워크를 제안한다. CaBM은 설계상 누수 없는 구조를 보장하면서 학습 후 텍스트 분류기 분석을 통해 데이터셋 특화 개념을 자율적으로 발견하며, 세밀 및 조대 벤치마크에서 경쟁력 있는 정확도와 해석 가능성을 동시에 달성한다.

arXiv:2610.02480v2cs.AI

MEA: 충실한 모델 설명을 위한 보상 기반 다중 에이전트 시스템

MEA: A Reward-Driven Multi-Agent System for Faithful Model Explanations

최근 중요도가 높은 고위험 영역에서 수많은 머신러닝(ML) 모델이 도입되고 있지만, 그 예측을 바탕으로 행동해야 하는 실무자들에게 이러한 모델은 여전히 대부분 불투명한 상태로 남아 있습니다. 사후(post-hoc) 설명 방법들이 모델의 동작을 들여다볼 수 있는 시각을 제공하긴 하지만, 이를 효과적으로 다루기 위해서는 대부분의 도메인 전문가들이 갖추지 못한 전문 지식이 필요합니다. 즉, 고차원 출력을 탐색하고, 최적의 설명을 선택하며, 이질적인 도구들 전반에 걸친 증거를 종합해야 합니다. 이를 위해 본 연구에서는 설명에 필요한 전문 지식의 장벽을 완전히 제거하는 다중 에이전트 프레임워크인 MEA를 제시합니다. 제안자(Proposer) 에이전트는 질문과 양식(modality)에 따라 설명 도구를 선택하고 구성하며, 실행자(Actor) 에이전트는 충실도(faithfulness)를 기준으로 엔드투엔드 최적화되어 테이블, 텍스트, 비전 양식 전반에 걸쳐 모델 동작에 기반(grounding)한 자연어 설명으로 출력을 변환합니다. 나아가, 특징 기여도(feature attribution), 반사실적 추론(counterfactual reasoning), 거짓 특징(spurious feature) 탐지를 아우르는 다양한 질문 유형을 도입하고, 각각을 섭동 기반 충실도 지표와 짝지었습니다. 연구 결과, 프론티어 대규모 언어 모델(LLM)들은 체계적으로 충실하지 못한 설명을 생성하는 것으로 나타났습니다. 양식 적응형 페널티로 강화된 충실도 보상에 대해 최적화함으로써, MEA는 6개 데이터셋 전반에서 기존 사후 설명 기법, 에이전트 기반 베이스라인, 상용 폐쇄형 베이스라인을 일관되게 능가했으며, 보상 기반 최적화를 통해 학습되지 않은 백본 대비 충실도가 테이블에서 +28%, 텍스트에서 +21%, 비전에서 +34% 향상되었습니다. 더 넓게는, 본 연구 결과는 AI 에이전트 자체가 머신러닝 설명가능성(explainability)을 위한 확장 가능하고 적응력 있는 인터페이스 역할을 할 수 있음을 시사하며, 오랫동안 이 분야를 규정해 온 고정된 단일 목적 도구를 넘어 일반화되는 자연어 설명가능성으로 향하는 길을 열어줍니다.

arXiv:2607.09164v2cs.CV

어떤 픽셀이 충분한가? SEAMS: MSE 보존 소프트 마스크를 통한 충분성 살리언시

What Pixels Are Enough? SEAMS: Sufficiency Saliency via MSE-Preservation Soft-Masks

살리언시 맵(saliency map)은 모델의 동작을 보존하기에 충분한 이미지 영역을 식별할 때 가장 유용하다. 우리는 보존 목적 함수를 사용하여 소프트 마스크를 직접 최적화하는 충분성 기반 살리언시 방법인 SEAMS를 소개한다. 클래스 확률, CLS 임베딩, 또는 토큰 표현과 같이 고정된 미분 가능한 모델 출력이 주어지면, SEAMS는 선택된 출력을 보존하는 컴팩트한 마스크를 탐색한다. 이 접근법은 소프트 마스크, 학습 가능한 버짓(budget), 그리고 쿼리 이미지만으로 생성된 3방향 이미지 합성에 기반한 단순한 최적화 프레임워크에 의존한다. 그 결과, 보조 방해 데이터셋, 아키텍처별 귀인 메커니즘, 또는 미분 가능한 top-k 완화가 필요하지 않다. 고정된 ViT-S/16 및 ConvNeXt 모델을 이용한 실험에서, 동일한 최적화 파이프라인이 보존 대상만 변경함으로써 객체 수준, 클래스 조건부, 토큰 수준 설명을 생성할 수 있음을 보인다. 결과 마스크는 컴팩트하고 해석 가능하며, 무작위 초기화에 걸쳐 안정적이고, 삽입 및 삭제 벤치마크에서 경쟁력 있는 성능을 보인다. 또한 우리의 결과는 서로 다른 아키텍처가 유사한 보존 충실도를 달성하면서도 종종 서로 다른 충분한 증거에 의존함을 나타내며, 이는 시각적 설명의 아키텍처 의존적 특성을 부각시킨다.

arXiv:2610.10642v1stat.ML

로그 오즈에서 샤플리 값까지: 가중 나이브 베이즈 분류기를 위한 설명 기하학

From Log-Odds to Shapley Values: An Explanatory Geometry for the Weighted Naive Bayes Classifier

본 논문에서는 가중 나이브 베이즈(weighted naive Bayes) 분류기 모델이 유도하는 지도 표현(supervised representation)으로부터 설명 공간을 구축하는 방법을 연구합니다. 조건부 로그 우도에 기반한 고전적인 지도 거리를 출발점으로 삼아, 분류 결정과 보다 직접적으로 연관되는 로그 오즈(log-odds) 기반의 판별적 재정식을 도입합니다. 이어 이러한 표현이 분석적 샤플리 값(Shapley value) 벡터 간의 $\ell_1$ 거리와 정확히 일치하는 거리를 유도함을 보여줌으로써, 모델이 유도하는 기하학에 대한 형식적인 설명적 해석을 제공합니다. 마지막으로, $k$-최근접 이웃 분류기를 사용하여 이러한 표현들로부터 파생된 여러 지도 거리를 실증적으로 비교합니다. 본 연구는 주로 방법론적 관점에서 지도 거리, 국소적 설명(local explanation), 그리고 예측 거동 사이의 밀접한 연관성을 조명합니다.

arXiv:2601.12654v3cs.LG

SHAP에서의 설명 다중성: 특성화 및 평가

Explanation Multiplicity in SHAP: Characterization and Assessment

SHAP 설명은 중요한 의사결정을 정당화하기 위해 고위험 환경에서 널리 사용되지만, 모델, 입력 인스턴스, 예측이 일정하게 유지되는 경우에도 반복 실행 간에 상당한 차이를 보일 수 있습니다. 선행 연구에서는 서로 다른 설명 방법 간의 불일치를 기록해 왔으나, 본 연구에서는 동일하게 학습된 모델과 인스턴스에 대해 동일한 추정기를 재실행할 때조차 SHAP 내부에서 상당한 불일치가 발생함을 보입니다. 저자들은 이 현상을 '설명 다중성(explanation multiplicity)'이라 부르고, 실제 배포 환경 수준의 계산 예산 하에서 이를 특성화하기 위한 평가 방법론을 개발했습니다. 이는 모델 기인 변동성과 설명기(explainer) 기인 변동성을 비교하는 이중 시드(dual-seed) 프로토콜, 크기 기반·순위 기반·집합 기반 지표의 계층 구조, 그리고 관측된 불일치에 대한 기준 척도를 제공하는 무작위 Dirichlet 및 Mallows 귀무 모델을 결합합니다. 여러 데이터셋, 모델, 샘플링 전략 전반에 걸쳐 분석한 결과, 설명 다중성은 만연하며 신뢰도가 높은 예측에 대해서도 지속됨을 발견했습니다. 각 원인의 상대적 기여도는 데이터 체제와 모델에 따라 달라집니다. 모델 기인 불일치는 일반적으로 더 작은 데이터셋에서 더 큰 반면, 설명기 기인 불일치는 더 큰 데이터셋에서 더 큽니다. 흔히 사용되는 L2 거리는 이러한 불안정성을 과소평가할 수 있는 반면, 순위 기반 지표는 최상위 특징(feature)을 포함하여 상위 랭크 특징들의 실질적인 변화를 드러냅니다. CTE와 같이 개선된 샘플링 방법도 순위 수준의 다중성을 제거하지 못하며, K-Means는 실행 간 변동을 줄이지만 압축된 배경(compressed-background) 설명이 경험적 분포 기준과 달라질 수 있습니다. 실무자는 단일 실행 SHAP 결과를 결정적인 결과물이라기보다는 한 분포의 표본 실현값으로 취급해야 합니다.

arXiv:2609.18278v2cs.AI

인공지능에 대한 신뢰 구축: 철도 응용 분야를 위한 필수 과제

Building Trust in Artificial Intelligence: A Necessity for Railway Applications

철도 산업의 엄격한 표준과 규제로 인해 현재 인공지능(AI)은 안전과 직결되지 않는 비안전 필수(non-safety critical) 응용 분야에만 적용되고 있습니다. 본 논문에서는 데이터 과학 및 AI 알고리즘에 대한 신뢰를 높이고 규정 준수(compliance)를 달성하는 데 필요한 세 가지 주요 분야인 강건성(robustness), 운용 설계 영역(ODD, Operational Design Domain), 설명가능성(explainability)을 검토할 것을 제안합니다. 강건성은 어떠한 환경에서도 AI 시스템이 성능 수준을 유지할 수 있는 능력입니다(ISO24029). 최근 발표된 DIN DKE SPEC 99004에 따르면, ODD는 시스템이 작동하도록 의도된 운용 조건을 명시적으로 정의할 수 있게 해줍니다. 설명가능성은 AI 시스템의 결과에 영향을 미치는 주요 요인을 인간이 이해할 수 있는 방식으로 표현하는 AI 시스템의 특성입니다. 이러한 3가지 연구 영역은 비철도 분야의 주체들에 의해 이미 활발히 연구되어 왔으며, 철도 응용 분야에 즉시 사용할 수 있는 알고리즘과 방법론들이 갖추어져 있습니다. 안전한 MLOps 환경 내에서 모든 신뢰성 요구사항이 지속적으로 상호작용하도록 보장함으로써 규제 기관, 운영자 및 대중의 수용성을 높이려면 시스템적 관점(system view)이 필수적입니다. 안전 필수 응용 분야를 보호하는 것을 넘어, 현재 전 세계 규제 프레임워크에서 요구하는 바와 같이 AI에 대한 깊은 신뢰를 구축하는 것이 AI의 잠재력을 온전히 실현하고 미션 크리티컬(mission-critical) 도메인 전반에 걸친 도입 속도를 혁신적으로 변화시킬 것임을 보여주고자 합니다.

arXiv:2606.16786v2cs.LG

설명 알고리즘을 현실 세계와 연결하기 위한 설명 카드의 필요성

We Need Explanation Cards to Connect Explanation Algorithms to the Real World

알고리즘적 설명(algorithmic explanation)은 이해관계자가 불투명한 알고리즘의 의사결정을 이해하도록 돕기 위한 것이지만, 실제로는 기대에 미치지 못하는 경우가 많습니다. 첫째, 알고리즘적 설명의 의미는 직관적으로 기대하는 바와 다른 경우가 많아 올바르게 해석하려면 전문가 수준의 지식이 필요합니다. 둘째, 최근 연구에 따르면 널리 사용되는 설명 알고리즘들이 복잡한 결정 함수의 동작에 대해 유의미한 정보를 제공하지 못하는 것으로 나타났습니다. 이러한 문제들이 결합되어 설명이 전달하는 것처럼 보이는 것과 실제로 제공하는 것 사이에 격차가 발생합니다. 본 연구에서는 표준적인 설명에 견고성(robustness) 및 유효성(validity)에 관한 보완 정보와 명확한 해석 지침을 더하는 '설명 알고리즘을 위한 설명 카드(Explanation Cards)'를 제안합니다. 이러한 보완 정보는 유의미하지 않던 설명을 실질적으로 유용하게 만들 수 있으며, 그렇지 못한 경우를 감지하는 데도 도움을 줍니다. 특히 설명 카드의 해석 지침은 책임을 사용자에서 제공자로 전환합니다. 즉, 사용자가 설명으로부터 무엇을 결론지을 수 있고 무엇을 결론지을 수 없는지 알아차리기를 기대하기보다, 제공자가 이를 사전에 명시해야 합니다. 본 논문에서는 반사실적 설명(counterfactual explanation)과 SHAP을 예시로 들어 제공자가 설명 카드를 어떻게 구축할 수 있는지, 그리고 이러한 카드가 사용자에게 타당한 해석에 필요한 지침을 어떻게 제공하는지 실증합니다. 나아가 설명 카드가 EU 인공지능법(EU AI Act)의 설명가능성 규정을 실무적으로 운용할 수 있는 실질적인 방안을 제공한다고 주장합니다. 종합적으로 설명 카드는 설명 알고리즘을 실제 적용 사례에 적합하게 만드는 중요한 진전입니다.

arXiv:2603.02221v3cs.LG

MedFeat: 정형 데이터 예측을 위한 LLM 기반 모델 인지 및 설명가능성 중심 특징 엔지니어링

MedFeat: Model-Aware and Explainability-Driven Feature Engineering with LLMs for Tabular Prediction

임상 정형 데이터 예측에서는 특징(feature) 엔지니어링을 적용한 고전적 머신러닝 모델이 신경망 기반 방식을 능가하는 경우가 많습니다. 다운스트림 성능을 향상하기 위해 다양한 특징 변환을 제안하는 도메인 전문가 역할을 수행하며 이러한 과정을 자동화하는 데 대규모 언어 모델(LLM)이 점차 많이 활용되고 있습니다. 그러나 기존 LLM 기반 방식의 특징 생성 과정은 다운스트림 학습자를 인지하지 못합니다(learner-agnostic). 즉, LLM이 현재 어떤 특징이 예측을 주도하는지 또는 모델의 표현 능력이 어디서 부족한지에 대한 신호를 전혀 받지 못하므로, 제안된 특징이 특징 공간의 유망한 영역을 목표로 하지도 않고 학습자의 귀납적 바이어스(inductive bias)에 맞춤화되지도 않습니다. 이러한 한계는 클래스 불균형, 이종 특징 공간, 엄격한 해석 가능성 요구 사항을 동시에 나타내는 의료 데이터에서 더욱 두드러집니다. 본 논문에서는 머신러닝 실무자의 워크플로에서 영감을 받아 모델 인지 및 특징 중요도 신호를 활용하여 임상 정형 학습을 위한 특징 발견을 반복적으로 유도하는 최초의 특징 엔지니어링 프레임워크인 MedFeat를 제안합니다. 광범위하고 도전적인 실제 임상 태스크에서 MedFeat를 평가한 결과, 서로 다른 귀납적 바이어스를 가진 모델 전반에서 기준선(baseline) 대비 평균 10% 이상의 F1 점수 향상을 달성하며 최신 기준선 모델들을 통계적으로 유의미하게 능가함을 보였습니다.

arXiv:2609.27201v1cs.LG

순차 추천 시스템에서 시간적 귀속을 위한 설명 가능 방법의 체계적 벤치마크

A Systematic Benchmark of Explainable Methods for Temporal Attribution in Sequential Recommendation Systems

순차 추천 시스템(Sequential RecSys)은 현대 개인화의 중심에 있으며, 사용자의 과거 상호작용 시퀀스를 활용해 다음 단계 의사결정을 이끈다. 심층 학습 모델, 특히 CNN 및 트랜스포머 기반 아키텍처는 이러한 이력에서 시간적 의존성을 포착하는 데 매우 효과적임이 입증되었다. 투명성과 신뢰를 위해, 어떤 과거 상호작용이 특정 추천을 이끄는지 이해하는 것은 모델 행동을 감사하는 개발자와 근거를 원하는 사용자 모두에게 점점 더 중요해지고 있다. 그러나 이러한 모델에 예측력을 부여하는 비선형성은 동시에 블랙박스로 만들어, 의사결정을 특정 상호작용에 귀속하기 어렵게 한다. 그래디언트 기반, 교란(perturbation) 기반, 어텐션 기반 설명 가능성 방법은 존재하지만, 순차 추천에서 그 충실성(faithfulness)에 대한 체계적 벤치마크는 부재하다. 우리는 한 모델이 타임스텝별 귀속 점수를 제공하고, 별도로 학습된 마스킹-강건(masking-robust) 탐침(probe)이 예측 확률의 변화를 측정하는 이중 모델 마스킹 지표를 도입하여 이 공백을 메운다. 이 지표를 사용해 KuaiRand와 MovieLens에서 CNN, 트랜스포머, SASRec, BERT4Rec 백본에 걸쳐 열 가지 XAI 방법을 벤치마크하고, 시간적 귀속 패턴, 아이템 인기도 교란(confounding), 입력 손상에 대한 강건성 분석을 보완한다. 핵심 발견은 다음과 같다: (1) 그래디언트 기반 방법, 특히 GradientSHAP와 Integrated Gradients가 가장 충실하고 강건한 귀속을 제공한다; (2) 원시 어텐션 가중치는 신뢰할 수 없지만, 그래디언트 가중 어텐션은 더 짧은 시퀀스에서 충실성을 회복하며, 더 긴 구간에서는 소프트맥스 어텐션 확률이 균일한 중요도 점수로 수렴하면서 정보가 있는 상호작용을 식별하는 방법의 능력이 줄어들어 성능이 저하된다; (3) 충실한 방법에서의 시간적 귀속 패턴은 최근성(recency)이나 인기도 바이어스가 아니라 실제 과업 구조를 반영한다.

arXiv:2605.05870v3cs.LG

QuadraSHAP: 가우스-르장드르 구적법을 통한 곱 게임의 안정적이고 확장 가능한 샤플리 값 계산

QuadraSHAP: Stable and Scalable Shapley Values for Product Games via Gauss-Legendre Quadrature

본 논문에서는 연합의 가치가 플레이어별 항들의 곱으로 분해되는 협력 게임인 곱 게임(product games)에 대한 샤플리 값(Shapley values)의 효율적인 계산을 연구합니다. 이러한 게임은 곱 커널을 사용하는 커널 기법이나 트리 기반 모델과 같이, 가치 함수가 기반 모델로부터 곱 구조를 물려받을 때 머신러닝 설명가능성(explainability) 분야에서 발생합니다. 본 연구의 핵심 결과는 곱 게임에서 각 플레이어의 샤플리 값이 정확한 1차원 적분 표현식을 갖는다는 점입니다. 즉, 지수적으로 많은 수의 특징 연합에 대한 가중 합이 $[0,1]$ 구간에서 $(d-1)$차 다항식의 적분으로 단순화되며, 여기서 $d$는 총 특징의 수입니다. 이를 통해 노드 수 $m_q$가 $m_q \geq \lceil d/2 \rceil$을 만족할 때마다 증명 가능하게 정확(provably exact)하며, 그렇지 않은 경우에도 오차가 $m_q$에 따라 기하급수적으로 감소함이 증명된 거의 정확한 근사를 제공하는 가우스-르장드르 구적법(Gauss-Legendre quadrature) 기법을 도출합니다. 실제 환경에서는 수천 개의 특징이 존재하더라도 수백 개의 노드만으로 고정밀 추정치를 얻을 수 있습니다. 이러한 정식화를 바탕으로, 본 논문은 로그 공간(log-space) 평가를 통한 수치적으로 안정한 구현과 함께, $O(d\,m_q)$의 총 작업량(work) 및 $O(\log d)$의 병렬 시간(parallel time)을 달성하는 결합 스캔(associative scan) 기본 연산 기반의 효율적인 병렬 구현을 유도합니다. 실험을 통해 QuadraSHAP이 테스트된 모든 구성에서 가장 빠른 수치적으로 안정한 방법임을 보여줍니다.

arXiv:2609.23877v1cs.AI

대규모 설명 가능 추천: YouTube Music 아티스트 발견을 위한 LLM 근거

Explainable Recommendations at Scale: LLM Rationales for YouTube Music Artist Discovery

현대 음악 스트리밍 플랫폼은 익숙한 콘텐츠를 활용하는 것과 새로운 항목의 탐험을 촉진하는 것 사이에서 지속적인 트레이드오프에 직면한다. 사용자는 종종 발견을 원하지만, 검증된 선호 아티스트 대신 낯선 아티스트를 선택하는 데 주저한다. 아직 탐색하지 않은 항목이 왜 추천되는지 설명하는 투명한 자연어 근거를 제공하면 이 장벽을 낮출 수 있다. 그러나 대규모 언어 모델(LLM)은 이러한 미묘한 설명 가능성에는 뛰어나지만, 실시간 배포는 과도한 추론 비용과 계산 오버헤드로 인해 심각한 병목에 걸린다. 본 논문에서는 지연 시간을 희생하지 않으면서 탐험을 성공적으로 확장하는 분리형 추천 아키텍처의 산업 사례 연구를 제시한다. 우리 시스템은 LLM 추론을 비동기적으로 오프라인으로 분리하여, 맞춤형 근거와 함께 미발견 아티스트에 대한 개인화 후보 풀을 사전 계산한다. 대규모 온라인 A/B 실험이 우리 설계를 검증한다. LLM 기반 추천과 이러한 설명적 근거를 결합하면 새 콘텐츠에 대한 신뢰 장벽이 크게 낮아지며, 발견 표면에서 사용자 탐험과 전반적 참여 모두에서 통계적으로 유의미한 개선을 이끈다는 것을 보여준다.

arXiv:2609.22631v1cs.CV

X-Beat: 심전도 이미지 분류를 위한 설명 가능한 프레임워크

X-Beat: An Explainable Framework for ECG Image Classification

심근경색 및 부정맥과 같은 심장 질환의 조기 발견을 위해서는 심전도(ECG)의 정확한 자동 판독이 필수적입니다. 그러나 뛰어난 성능을 보이는 많은 심층 학습(deep learning) 모델은 제한된 투명성과 신뢰도 검증(validation) 부재로 인해 실제 임상 환경에 배포되기 어렵습니다. 본 연구에서는 의료 분야에서 신뢰할 수 있는 AI 시스템을 지원하도록 설계된 심전도 이미지 분류(image classification)를 위한 설명 가능하고 신뢰도를 고려한 벤치마크(benchmark) 프레임워크인 X-Beat를 제시합니다. 제안된 프레임워크는 전이학습(transfer learning)과 사후 설명 가능성(post-hoc explainability), 그리고 이상 심박(Abnormal Heartbeat), 심근경색 병력(History of Myocardial Infarction), 심근경색(Myocardial Infarction), 정상 심박(Normal Heartbeat)의 네 가지 심장 질환 범주 전반에 걸친 체계적인 신뢰도 평가(evaluation)를 결합합니다. EfficientNet-B0, ResNet-50, DenseNet-121, MobileNetV3-Large를 포함한 여러 ImageNet 사전학습(pre-training) CNN 백본(backbone)을 통합된 학습(training) 프로토콜 하에서 평가합니다. 표준 성능 지표를 넘어, 모델(model) 예측이 임상적으로 유의미한 근거에 기반하는지 검토하기 위해 설명 안정성, 영역 민감도, 신뢰도 기반 신뢰성 평가를 포함한 추가 분석과 함께 Grad-CAM 기반 시각적 설명을 통합합니다. 실험 결과에 따르면 ResNet-50이 가장 우수한 성능을 달성하여 91.94%의 정확도와 0.9098의 매크로 F1 점수를 기록했으며, 강력한 클래스 분리도(AUC 최대 0.995)를 보였습니다. 설명 분석 결과 모델은 주로 파형(waveform) 관련 영역에 초점을 맞추는 것으로 나타났으며, 신뢰도 평가에서는 대부분의 부정확한 예측이 낮은 신뢰도에서 발생하는 것으로 나타났습니다. 종합적으로, 본 연구는 심전도 이미지 분류에서 예측 성능과 설명 신뢰도를 모두 평가할 수 있는 체계적이고 재현 가능한 벤치마크를 제공하며, 임상 의사 결정 지원 시스템을 위한 신뢰할 수 있고 해석 가능한 AI 구성요소 개발에 기여합니다.

arXiv:2606.28615v2cs.LG

LLM이 설명하는 것은 그들이 믿는 것과 다르다: 모델 자신의 입력 신념 하에서 설명 충분성 평가

What LLMs explain is not what they believe: Evaluating explanation sufficiency under models' own input beliefs

대규모 언어 모델(LLM)은 고위험 도메인에서 점점 더 많이 배포되고 있으며, 이러한 환경에서는 사고의 연쇄(chain-of-thought)나 사후 근거(post-hoc rationale)와 같은 자유 형식 텍스트 설명이 모델 출력을 정당화하는 데 사용된다. 그러나 이러한 설명들이 충분한지, 즉 모델의 출력 생성 과정을 설명하기에 충분한 정보를 담고 있는지는 여전히 불명확하다. 우리는 특징(feature) 귀속에서의 고전적 충분성 개념을 임의의 설명으로 일반화하고, 설명 충분성이 입력 분포에 따라 달라질 수 있음을 증명하며, 이 입력 분포는 LLM 설명에 대해 명시적으로 정의되어야 함을 보인다. 우리는 LLM 자체를 활용하여 설명에 조건화된 대체 입력을 생성함으로써 가능한 입력에 대한 모델(model)의 신념을 포착할 것을 제안한다. 우리는 자유 형식 텍스트 설명의 목표로서 자기 일관적 충분성(self-consistent sufficiency)을 형식화하고, 사전 정의된 편향이나 지름길에 의존하지 않고 자유 형식 텍스트 설명을 평가할 수 있게 하는 정보 이론적 지표인 SCSuff를 도입한다. 실험 결과, SCSuff는 적용 가능한 경우 표적 섭동(perturbation) 테스트와 일치함을 보이며, 설명 충분성이 입력 분포에 따라 달라질 수 있음을 입증한다. LLM의 설명은 일반적으로 불충분하며 모델 크기, 정확도 또는 출력 엔트로피와 약한 상관관계를 보임을 확인하였다. 최종 토큰(token) 은닉 상태 분석에 따르면 상위 및 하위 SCSuff 점수가 내부 표현으로부터 예측될 수 있으며, 이는 SCSuff가 충분한 LLM 설명의 탐지 및 개선을 안내할 수 있음을 시사한다. 이 논문의 코드는 https://github.com/rajesh-lab/self-consistent-sufficiency 에서 확인할 수 있다.

arXiv:2607.22872v1cs.LG

같은 예측, 다른 근거: 양자화가 모델 설명에 미치는 영향

Same Predictions, Different Reasons: The Effect of Quantization on Model Explanations

사후 학습 양자화(PTQ)는 재학습 없이 고정밀도 부동소수점 가중치를 저정밀도 표현으로 압축함으로써, 자원이 제한된 엣지 디바이스에 심층 학습 모델을 배포하는 실용적인 해결책이 되었다. 기존 연구는 양자화가 분류 정확도를 대체로 유지한다는 것을 보여 주었지만, 모델의 내부 추론(reasoning)도 보존되는지는 여전히 열린 질문이다. 본 연구는 정적 PTQ가 INT8 및 INT4 정밀도에서 다섯 가지 널리 사용되는 CNN 아키텍처(VGG19, ResNet18, EfficientNet-B0, DenseNet161, MobileNetV2)의 해석 가능성/설명 가능성에 어떤 영향을 미치는지에 대한 체계적 평가를 제시한다. Grad-CAM을 이용한 공간적 어텐션 분석과 LIME을 이용한 입력 수준 특징 귀속(feature attribution)을 결합한 이중 해석 가능성 프레임워크를 사용하여, 두 개의 이진 분류 데이터셋에서 전정밀도 모델과 양자화 모델을 체계적으로 비교한다. 해석 가능성은 모델 설명의 분포적·구조적 변화를 포착하기 위해 Pearson 상관계수, 구조적 유사도 지수(SSIM), 상위 20% IoU라는 세 가지 보완적 지표로 평가하며, 삭제/삽입 충실도(faithfulness) 분석을 보조적으로 수행한다. 결과는 저정밀도 환경에서 분류 정확도가 해석 가능성 안정성의 신뢰할 수 있는 지표가 아님을 보여 준다. DenseNet161은 두 정밀도 수준 모두에서 강한 특징 일관성을 유지하는 반면, EfficientNet-B0는 INT8 정밀도에서 경쟁력 있는 공간적 어텐션과 분류 정확도를 달성했음에도 입력 수준 특징 귀속에서 상당한 저하를 보인다. 이러한 결과는 해석 가능성 요구가 높은 응용에서 양자화 모델의 신뢰할 수 있는 배포에 직접적인 함의를 가지며, 아키텍처 선택이 양자화 전략만큼 중요함을 보여 준다.

arXiv:2607.24730v1cs.CV

KANEx: Kolmogorov-Arnold Networks의 해석 가능성을 의학적 설명 가능성으로 전환

KANEx: Translating Kolmogorov-Arnold Networks' Interpretability to Medical Explainability

컴퓨터 비전(CV) 모델은 의료 응용 분야에서 매우 효과적이 되었지만, 블랙박스 특성은 여전히 임상의의 신뢰를 약화시키고 있다. 임상 워크플로에서 흉부 X-ray 분류기는 자연어 설명을 생성하기 위해 비전-언어 모델(VLM)과 점점 더 많이 결합되고 있다. 그러나 이러한 시스템은 시각 모델의 근본적인 불투명성을 해결하지 않은 채 언어적 유창성만을 추가한다. 스플라인 기반 구성 요소가 본질적으로 해석 가능한 함수 단위를 제공하는 Kolmogorov-Arnold Networks(KAN)의 등장과 함께, 우리는 이러한 아키텍처적 투명성을 활용하여 더 신뢰할 수 있는 텍스트 설명을 생성할 수 있는지 조사한다. 우리는 KAN의 기호적 투명성을 활용하여 VLM 추론을 그라운딩하는 최초의 프레임워크인 KANEx를 제안한다. 이 해석 가능성은 또한 그래디언트 근사가 아닌 KAN 모델에서 직접 유도된 새로운 히트맵 생성 방법인 KAN-Map을 설계할 수 있게 했다. 우리는 향상된 설명 가능성을 위해 이러한 그라운딩된 컨텍스트를 다운스트림 VLM에 입력한다. MIMIC-CXR 데이터셋에서 벤치마크한 결과, ResNet/ViT 베이스라인을 갖춘 KAN 기반 아키텍처가 의미적 유사도를 향상시키는 동시에 훨씬 더 충실한 saliency map을 생성함을 보여준다. KAN 아키텍처는 시각적 국소화와 다운스트림 추론 품질을 10% 향상시킨다. 우리의 발견은 언어적 설명과 시각적 귀속(attribution)을 수학적으로 해석 가능한 단위에 그라운딩하는 것이 신뢰할 수 있는 의료 AI를 향한 필수적인 단계임을 시사한다.

arXiv:2607.23835v1cs.CV

일관된 증거, 견고한 인식: 기하 변환 하에서의 충실한 어트리뷰션 정규화

Consistent Evidence, Robust Recognition: Faithful Attribution Regularization under Geometric Transformations

어트리뷰션(attribution) 방법은 모델 예측의 근거가 되는 증거를 특성화하는 데 널리 사용되지만, 모델 동작을 개선할 수 있는 잠재력은 아직 충분히 탐구되지 않았다. 레이블을 보존하는 기하 변환 하에서의 어트리뷰션 불일치는 변환에 민감한 증거 의존을 나타낼 수 있으며, 이는 어트리뷰션 정규화를 동기 부여한다. 그러나 이러한 지도는 어트리뷰션이 예측을 유도하는 증거를 충실하게 반영할 때에만 유효하다. 기존 자기지도(self-supervised) 방법은 일반적으로 Grad-CAM과 같은 그래디언트 기반 맵을 정렬하는데, 이들의 제한된 충실성(faithfulness) 때문에 어트리뷰션 일관성이 반드시 근본적인 의사결정 과정의 일관성을 의미하지는 않으며, 변환 견고성 문제가 해결되지 않은 채로 남는다. 우리는 이미지 영역에 대한 부분모듈러(submodular) 탐색을 기반으로 한 주석 없는(annotation-free) 어트리뷰션 정규화 프레임워크를 제안한다. 후보 부분집합이 모델 출력에 미치는 영향을 측정함으로써, 탐색은 탐색 유도 지도(search-derived supervision)로서 간결하고 클래스 판별적인 증거를 추출한다. 우리는 추가로 경로 일관성(path-consistency) 및 종료 정렬(termination-alignment) 항을 갖춘 부분모듈러 순위 손실(submodular ranking loss)을 도입하는데, 이들은 각각 짝을 이룬 탐색 궤적을 따라 공간적으로 대응하는 후보 순위를 정렬하고, 변환된 궤적이 목표 종료 단계에서 정지 기준(stopping criterion)을 만족하도록 장려한다. 이 손실은 최종 어트리뷰션과 원래는 이산적인 증거 선택 과정 모두를 정규화하기 위한 미분 가능한 대리(surrogate)를 제공한다. ImageNet-100 실험에서 우리 방법은 ViT-B/16에서 정확도 하락을 0.28 포인트로 제한하면서 어트리뷰션 안정성, Insertion, Deletion을 크게 개선했으며, ViT-L/16에서도 유사한 향상을 보였다. ImageNet-1K에서는 ResNet-50과 ConvNeXt-B에서 변환된 입력 정확도를 개선하면서 클린 정확도(clean-accuracy) 하락을 0.30 포인트로 제한하여, 최소한의 성능 손실로 더 일관된 증거 의존을 보여준다. 코드는 곧 공개될 예정이다.

arXiv:2607.24074v1cs.AI

MiSS: 포인트 클라우드 분류기를 위한 최소 충분 연합의 논리 기반 설명

MiSS: A Logic-Driven Explanation of Minimal Sufficient Coalitions for Point Cloud Classifiers

MiSS를 제안한다. MiSS는 교란 상대적 충분성 추론을 통해 3D 포인트 클라우드 분류기를 설명하는 블랙박스, 쿼리 기반 프레임워크이다. MiSS는 슈퍼포인트 분할을 해석 가능한 추상화 층으로 취급하며, 지정된 교란 분포 하에서 기하학적 영역의 최소 연합으로부터 원래 예측을 인증할 수 있는지를 묻는다. 예측기의 불리언 특징 공간 또는 화이트박스 논리 인코딩을 요구하는 가역적(abductive) 설명기와 달리, MiSS는 후보 제안과 검증을 분리한다: 가중 MaxSAT 절차는 휴리스틱 적응형 카디널리티 하한, 인증된 정확 크기 폴백, 안전하게 조여진 상한, 차단 절, 그리고 이전 오라클 평가로부터 학습된 대리 획득 휴리스틱을 사용하여 연합을 제안하고, 블랙박스 통계 오라클은 예측 쿼리로부터 충분성을 결정한다. 이 시스템은 통계적으로 검증된 충분 연합을 이진 기여도(attribution)로 반환하며, 인증된 탐색이 완료되면 최소 카디널리티가 보장된다. PointNet 및 PointMLP 분류기를 사용한 ModelNet40과 ShapeNet에서의 실험은 대부분의 설정에서 규칙 기반 베이스라인보다 더 높은 정밀도와 커버리지를 보이며, 전수 탐색보다 낮은 설명 시간을 보인다.

arXiv:2607.22544v1cs.AI

확산 모델을 이용한 개념 기반 시각적 반사실적 설명

Concept-based Visual Counterfactual Explanations with Diffusion Models

시각적 반사실적 설명(counterfactual explanation)은 "이 이미지에 어떤 최소한의 변화를 가하면 모델의 예측이 뒤집힐까?"라는 질문에 답하려 하며, 비전 모델이 안전이 중요한(safety-critical) 영역(예: 의학)에 배포됨에 따라 점점 더 중요해지고 있다. 기존 확산 기반 방법들은 사실적인 편집을 생성할 수 있지만, 노이즈가 있는 이미지에서도 안정적으로 동작해야 하는 외부 분류기(classifier)에 의존하므로 취약하고, 견고한(robust) 설명을 위해 배포하기 어렵다. 우리는 C-VCE를 제안한다. 이는 개념 병목(concept bottleneck) 층을 통해 분류기를 생성 모델(generative model)에 직접 통합하는 새로운 확산 프레임워크로, 반사실적 결과가 픽셀 수준 편집과 함께 동작하는 별도의 노이즈 견고 분류기 대신 사람이 해석 가능한 특징(concepts)에 의해 유도된다. 우리 모델(model)은 사용자가 샘플링 중 의미적 개념(concept)을 켜고 끌 수 있게 하며, 특징(feature) 상관관계를 존중하면서 이미지의 나머지 부분은 보존한 채 관련 이미지 영역만 최소한으로 조정한다. 편집을 작고 통제 가능하게 유지하기 위해, "예측을 바꾸기"와 "원본에 가깝게 유지하기"를 균형 맞추는 단순한 확률적 정규화(regularizer)와, 수정을 가장 관련 있는 영역으로 제한하는 그래디언트(gradient) 기반 마스크를 추가한다. CelebA와 같은 벤치마크(benchmark)에서 C-VCE는 별도의 노이즈 이미지 분류기에 의존하는 베이스라인보다 입력에 시각적으로 더 가깝고 왜곡이 적은 반사실적 결과를 생성하면서 뒤집기(flip) 비율을 맞추거나 개선한다. 이러한 특성은 사용자가 추가의 노이즈 견고 분류기를 신뢰할 필요 없이 구체적인 "what-if" 이미지가 필요한 비전 시스템에서 C-VCE를 실용적인 도구로 만든다. 더 넓게 보면, 우리 결과는 내부 개념 층(layer)을 노출하고 제어하는 것이 강력한 생성 모델(generative model)을 더 이해하기 쉽고 더 안전하게 사용할 수 있게 만드는 유망한 방법임을 시사한다.

arXiv:2607.22428v1cs.HC

예술을 위한 확산 모델 언박싱: 인터랙티브 모델 벤딩과 실천 기반 설명 가능성

Unboxing Diffusion Models for the Arts: Interactive Model Bending and Practice-Based Explainability

창작 실천에서 설명 가능 AI(XAI)는 기술 중심적 설명보다 예술가가 제작(making) 과정의 일부로 모델을 검사·수정·디버깅할 수 있게 하는 데 더 중점을 둘 수 있다. 그러나 대규모 텍스트-투-이미지(text-to-image) 확산 시스템은 일반적으로 불투명한 end-to-end 도구로 제시되어 이러한 물질적(material) 참여를 제한한다. 우리는 내부 구조가 가시화되고 조작 가능해질 때 대규모 모델도 창작 재료로 기능할 수 있다고 주장한다. 이를 지원하기 위해 실험과 개입을 중심으로 한 실습 기반 설명 가능성 접근법을 제안한다. ComfyUI의 노드 기반 워크플로에 통합된 모델 벤딩(model bending)과 인터랙티브(검사) 인터페이스—인터랙티브 층 선택 및 개입 제어를 포함—를 통해 이 접근법을 구현한다. Stable Diffusion 1.5에서 벤딩 개입에 대한 정성적·정량적 분석을 통해, 확산 파이프라인의 특정 구성 요소를 조작하면 상대적으로 일관된 시각 효과군이 생성되며, 예술가들이 모델의 서로 다른 부분이 생성 이미지를 어떻게 형성하는지에 대한 실용적인 층 수준 직관을 구축할 수 있음을 보여준다.