PyTorchKR Papers

최신 논문

총 52편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.09028v5cs.LG

권한 기반 Android 악성코드 탐지에서 도메인 이동 진단 및 완화

Diagnosing and Mitigating Domain Shift in Permission-Based Android Malware Detection

기계 학습 기반 Android 악성코드 탐지기는 도메인 이동(domain shift) 때문에 실제 배포 환경에서 자주 실패하며, 한 데이터 소스에서 학습된 모델이 다른 소스의 애플리케이션에서는 성능이 크게 떨어진다. 본 논문은 교차 도메인(cross-domain) 조건에서 권한 기반 탐지기의 일반화 가능성과 해석 가능성에 대한 포괄적인 연구를 제시한다. PerMalDroid와 NATICUSdroid라는 두 상호 보완적 데이터셋과 다섯 가지 앙상블 분류기를 사용하여, 먼저 도메인 내(intra-domain) 기준선을 설정하며 모델이 92% 이상의 정확도를 달성함을 보인다. 이어 심각한 비대칭적 성능 하락을 정량화한다. PerMalDroid에서 학습된 모델은 NATICUSdroid에 잘 일반화되지만(정확도 86%), 반대 방향에서는 정확도가 73%까지 급격히 하락한다. 설명 가능한 AI(Explainable AI) 분석은 이봉(bimodal) 특징 분포를 밝히고, 특징 중요도가 매우 불안정하며 핵심 권한(permission)이 도메인에 따라 영향력을 잃거나 얻는다는 것을 보여준다. 서로 다른 도메인의 예측 특징 집합은 근본적으로 불일치하며, 모델은 데이터셋별로 서로 다른 권한에 의존한다. 가장 중요하게, 절삭(ablation) 연구는 대부분의 모델에서 노이즈가 있는 특징 집합으로 학습할 경우 일반화가 저조함을 보여 주며, 이는 누락된 특징보다 도메인 특이적 인공물(artifact)이 더 큰 장애물임을 확인한다. 이를 완화하기 위해 공통 특징의 교집합에 기반한 하이브리드 학습 전략을 검증하였으며, 교차 도메인 성능을 성공적으로 회복하여 PerMalDroid에서 88%의 정확도를 달성하고 NATICUSdroid에서는 97%를 유지한다. 이러한 결과는 설명 가능하고 교차 도메인에 강건한 악성코드 탐지 시스템의 중요성을 강조하며, 권한 기반 Android 악성코드 탐지기의 실제 배포 개선을 위한 실용적 경로를 제시한다.

arXiv:2606.26757v2cs.LG

견고하고 설명 가능한 곤충 인증을 위한 배치 불변 스펙트럴 인텔리전스

Batch-Invariant Spectral Intelligence for Robust and Explainable Insect Authentication

Edible insects offer an efficient source of alternative protein, requiring less land and water and emitting less greenhouse gas than conventional livestock. However, their successful integration into the food supply chain demands reliable species authentication to control allergen exposure, prevent adulteration, and meet regulatory standards. Near-infrared spectroscopy provides a rapid analytical tool, but its performance drops when applied to production batches unseen during training due to batch-to-batch variation in spectral measurements. We introduce the Batch-Invariant Spectral Network (BISN), an end-to-end framework that combines a learnable preprocessing module, initialised with Savitzky-Golay filtering, with an unsupervised, entropy-regularised auxiliary branch connected through a gradient reversal layer. The branch uses no batch labels and supplies opposing entropy gradients to the auxiliary head and preprocessing module. Using 2,700 spectra from three species (Acheta domesticus, Hermetia illucens, and Tenebrio molitor) collected across three independent production batches, BISN achieves a mean leave-one-batch-out accuracy of 0.93 (standard deviation 0.04), outperforming the strongest baseline by four percentage points (p=0.002). Further insights gained by using explainable AI confirm that model decisions consistently rely on the lipid and protein absorption regions across all folds, connecting predictive performance to known insect biochemistry. BISN addresses both cross-batch robustness and biochemical interpretability for automated insect species authentication in a controlled benchtop setting. The source code and dataset are publicly available at https://github.com/majharB/bisn.

arXiv:2610.13935v1cs.CV

숨바꼭질(Hide and Seek): 블랙박스 모델의 설명을 찾기(SEEK) 위해 개념을 숨기기(HIDE)

Hide and Seek: HIDE Concepts to SEEK explanations for black box models

머신러닝 모델의 예측을 해석하는 것은 특히 블랙박스 비전 모델에서 핵심적인 과제입니다. 개념 기반 기여도 분석(concept-based attribution) 방법은 사람이 이해할 수 있는 개념을 사용하여 모델을 해석합니다. 기존의 개념 기반 방법들은 분류(classification) 및 회귀 모델만을 해석할 수 있습니다. 또한 모델 가중치에 대한 접근이나 대규모 개념 주석 데이터셋을 필요로 하며, 대부분의 방법은 이미지 수준의 기여도를 제공하지 못합니다. 본 논문에서는 모델 가중치 접근이나 라벨이 지정된 개념 데이터셋 없이도 동작하는 새로운 개념 수준 기여도 분석 방법인 Hide and Seek(HnS)를 제안합니다. HnS는 광범위한 비전 모델을 해석할 수 있습니다. 개념과 이미지 세트가 주어지면, HnS는 비전-언어 모델(VLM)을 사용하여 개념과 일치하는 이미지를 검색하고, 각 이미지 내에서 해당 개념의 위치를 특정(localize)한 뒤, 해당 영역을 마스킹하고, 원본 이미지와 마스킹된 이미지 간의 블랙박스 모델 출력 변화로부터 기여도를 측정합니다. 이를 통해 모델의 동작을 직접 측정하고 국소적(local) 기여도를 지원함으로써 충실한 기여도 분석을 가능하게 합니다. 저자들은 CelebA와 COCO-Stuff에서 HnS를 검증했습니다. 기존 방법들과 비교했을 때, HnS는 정답(ground-truth) 기여도와 더 높은 일치도를 보였습니다. 또한 기존의 개념 기여도 분석 방법을 적용할 수 없었던 이미지 캡셔닝 및 위성 이미지 분할(image segmentation)을 포함한 다양한 태스크에서 HnS의 적용 가능성을 입증했습니다. 익명화된 코드는 보충 자료(supplementary material)에 제공되었습니다.

arXiv:2608.10434v2cs.AI

무인 항공기(UAV) 침입 탐지를 위한 대화형 대 대시보드 설명가능한 AI: 운용자 신뢰 및 의존성에 대한 실증 연구

Conversational versus Dashboard Explainable AI for UAV Intrusion Detection: An Empirical Study of Operator Trust and Reliance

머신러닝 기반 침입 탐지 시스템(IDS)은 무인 항공기(UAV) 네트워크 보안에서 우수한 성능을 입증해 왔습니다. 그러나 이러한 모델의 '블랙박스' 특성과 다중모달(multimodal) 사이버-물리 데이터의 고차원성이 결합되어 심각한 해석 가능성 문제를 야기합니다. 정적 시각화 대시보드는 다중모달 사이버-물리적 특징 간의 복잡한 관계를 운용자가 쉽게 점검하고 해석할 수 있는 형태로 표현하는 데 어려움을 겪을 수 있습니다. 이를 해결하기 위해, 우리는 온디맨드 조사를 용이하게 하는 대규모 언어 모델(LLM) 기반의 대화형 설명가능한 AI(XAI) 인터페이스를 제안합니다. 참가자를 대상으로 한 통제된 실험을 통해, 사후 침해 감사 작업 중 운용자의 이해도, 신뢰 및 의존성에 미치는 대화형 인터페이스와 기존 XAI 대시보드의 영향을 체계적으로 평가했습니다. 연구 결과에 따르면 대화형 인터페이스는 대시보드보다 더 유용한 것으로 인식되었으며, 이는 참가자들이 관련 정보에 더 쉽게 접근하고 이를 종합할 수 있도록 도왔기 때문인 것으로 보입니다. 그러나 이러한 이점은 적절한 자립성(self-reliance) 수준 저하를 동반하여, 과도한 의존의 잠재적 위험을 나타냈습니다. 한 가지 가능한 해석은 자연어 응답이 AI의 조언을 더 쉽게 수용하도록 만들어, IDS가 올바르지 않았을 때 참가자들이 근본적인 증거를 검증하려는 경향을 감소시켰을 수 있다는 점입니다. 이러한 발견은 UAV 침입 감사에서 인간-AI 협업의 잠재적 트레이드오프를 시사합니다. 즉, 인지된 유용성을 높이는 상호작용 메커니즘이 부적절한 의존 위험을 증가시킬 수도 있다는 것입니다. 결론에서는 원활한 상호작용과 인지적 강제 기능(cognitive forcing functions) 사이의 균형을 유지하여 적절한 의존성을 촉진하는 미래 XAI 시스템에 대한 설계 시사점을 논의합니다.

arXiv:2512.17559v2cs.AI

대규모 언어 모델을 활용한 조기 진단을 위한 설명 가능한 대화형 인공지능 연구

Towards Explainable Conversational AI for Early Diagnosis with Large Language Models

전 세계의 의료 시스템은 비효율적인 진단, 비용 증가, 전문의에 대한 제한된 접근성과 같은 문제로 어려움을 겪고 있습니다. 이러한 문제는 종종 치료 지연과 건강 결과 악화로 이어집니다. 기존의 대다수 인공지능 및 심층 학습(deep learning) 기반 건강 평가 시스템은 상호작용성과 투명성이 제한적이어서 사용자 중심의 건강 지원에 대한 유용성을 저하시킵니다. 본 연구에서는 GPT-4o, 검색-증강 생성(RAG), 설명 가능한 AI 기술을 활용하는 대규모 언어 모델(LLM) 기반의 대화형 챗봇을 소개합니다. 이 챗봇은 사용자와의 동적 대화를 통해 증상을 추출 및 정규화하는 동시에, 유사도 매칭과 적응형 질문을 통해 잠재적인 건강 상태를 식별하고 순위를 매깁니다. 또한 사고의 연쇄(Chain-of-Thought) 프롬프팅을 활용하여 시스템 추론 과정에 대한 보다 투명한 설명을 제공합니다. TF-IDF 및 CountVectorizer 특징(feature) 추출을 적용한 Naive Bayes, Logistic Regression, SVM, Random Forest, KNN 등 전통적인 머신러닝 모델(model)과 비교 평가했을 때, 제안된 LLM 기반 시스템은 Top-1 정확도 90%와 Top-3 정확도 100%를 달성했습니다. 아울러 14개 질환 전체에 걸쳐 17명의 의사가 참여한 단면적 전문가 평가를 통해서도 추가 검증을 수행했으며, 그 결과 대화 품질, 조기 진단의 타당성, 안전성 관련 기준에서 대체로 긍정적인 평가를 확인했습니다. 이러한 결과는 초기 증상 평가를 위한 건강 및 웰빙 지원 도구로서 설명 가능한 대화형 AI의 잠재력을 입증합니다. 다만, 제안된 시스템은 임상 진단이나 임상적 의사결정을 목적으로 하지 않으며, 실제 의료 현장에서 사용되기 전에 추가적인 검증(validation)이 필요합니다.

arXiv:2410.05479v2cs.AI공식 코드 · Papers with Code

설명이 경쟁할 때: 불확실성 하에서의 정책 인지형 선택

When Explanations Compete: Policy-Aware Selection Under Uncertainty

불확실성을 인지하는 설명 방법들은 동일한 예측에 대해 종종 여러 대안을 생성합니다. 이들 중에서 선택하려면 예측 신뢰도, 불확실성, 그리고 애플리케이션의 제약 조건 간의 균형을 맞추는 정책이 필요합니다. 본 논문은 생성된 고정된 설명 집합에 이러한 정책을 적용하기 위한 프레임워크를 제시합니다. 후보들은 불확실성 변화, 예측 방향, 그리고 가능한 경우 결정 경계(decision boundary)에 대한 구간 위치로 특성화됩니다. 이 프레임워크는 이러한 속성들을 적격성 규칙, 선택적 양방향 파레토 스크리닝(bidirectional Pareto screening), 정책 인지형 순위 매기기와 결합합니다. 가상의 전립선암 예시를 통해 서로 다른 설명 목적이 동일한 후보 집합에서 어떻게 서로 다른 선택으로 이어지는지 보여줍니다. 우리는 분류(classification), 임계값 기반 회귀, 일반 회귀를 위한 Calibrated Explanations를 통해 이 프레임워크를 구체화합니다. 41개 벤치마크 데이터셋에 걸쳐 평균 후보 수는 단일 특징(feature) 설명의 경우 11.57개에서 21.75개, 결합(conjunction)이 포함된 경우 29.48개에서 69.53개에 이릅니다. 동일 가중치(equal-weight) 정책과 신뢰도 전용 정책은 동일한 신뢰도 방향을 선호하면서도 평균 28.7%의 선택 불일치율을 보입니다. 보조적인 δ-CLUE 실험은 두 번째 생성기와의 활용 가능성을 입증합니다. 선택 정책을 명시화함으로써, 본 프레임워크는 애플리케이션이 의도된 용도에 따라 설명을 비교하고 우선순위를 정할 수 있도록 합니다.

arXiv:2610.02504v1cs.AI

HXAI: 분산 에너지 시스템에서의 계층적 프라이버시 보호 설명 가능한 AI

HXAI: Hierarchical Privacy-Preserving Explainable AI in Distributed Energy Systems

재생 에너지 발전의 내재적인 간헐성과 확률적인 전력 소비로 인해 전력 수요와 공급의 균형을 맞추는 것이 점점 더 어려워지고 있습니다. 전력망 운영자는 피크 부하를 관리하고 대응형 요금제를 설계하기 위해 가구별 에너지 소비에 대한 세밀하고 의사결정에 유의미한 통찰을 필요로 하지만, 이 수준에서 투명성이 높아지면 심각한 프라이버시 문제가 발생합니다. 설명 가능한 AI(XAI)의 전통적인 방법들은 민감한 정보를 노출할 수 있는 반면, 표준적인 프라이버시 기법들은 설명의 유용성을 저하시키는 경우가 많습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 프라이버시를 보호하면서도 전력망 수준의 수요 관리를 위한 합리적인 설명 가능 분석을 가능하게 하는 계층적 프레임워크인 HXAI를 제안합니다. HXAI는 두 가지 주요 구성 요소로 이루어져 있습니다: (1) 안전한 비공개 환경(environment) 내에서 세밀한 설명을 생성하는 로컬 모델(model), (2) 이러한 설명을 집계하여 전력망 수준의 분석을 지원하는 동시에 유연한 프라이버시 예산 관리를 통해 프라이버시를 보장하는 구역(zonal) 모델. 우리는 운영자의 반복적인 쿼리 하에서 누적 프라이버시 노출을 명시적으로 제한하며, 제안된 프레임워크가 가구의 프라이버시를 침해하지 않으면서도 의사결정에 유의미한 정보를 보존함을 보여줍니다. 시뮬레이션 및 실제 에너지 데이터셋 모두에 대한 실험을 통해, HXAI가 가전제품 수준의 소비 정보는 로컬에 유지되어 전력망 운영자에게 결코 전송되지 않도록 보장하면서도 구역 부하 관리를 위한 유용한 통찰을 제공함을 입증합니다. 우리의 결과는 수치적 오차를 최소화하는 것보다 설명의 의미론적 구조를 보존하는 것이 차분 프라이버시(differential privacy) 하에서 XAI의 핵심임을 보여줍니다. 이 프레임워크는 에너지 관리에서 프라이버시와 설명 가능성을 모두 달성할 수 있는 방법을 제공합니다.

arXiv:2610.02364v1cs.CV

도메인 변화 환경에서 보행자 검출을 위한 신뢰도 통제 기반 설명가능 인공지능(XAI) 감사

Confidence-Controlled XAI Auditing for Pedestrian Detection under Domain Shift

지능형 차량의 인지 모델에서 설명가능성(explainability)이 점차 요구되고 있으나, 주행 도메인 변화(domain shift) 환경에서도 설명이 충실도(faithfulness)를 유지하는지는 여전히 명확히 밝혀지지 않았습니다. 본 연구는 관심 영역(ROI) 기반 D-Deletion, 고정 신뢰도 3분위수, 순위 기반 검정, 부트스트랩 신뢰구간 및 Holm 교정을 활용하여 PIE 및 JAAD 데이터셋에 걸쳐 고정된 YOLOv8s 보행자 검출기의 사후(post-hoc) 설명을 감사합니다. 감사 결과, 삭제 기반 충실도는 설명 생성 시점의 검출 강도(detection strength)와 강하게 결합되어 있으며(D-RISE의 스피어만 상관계수 0.70~0.82), 이로 인해 단순한 신뢰도 계층화 비교는 신뢰하기 어려움이 드러났습니다. 고정된 f0 빈(bin) 내에서 검출 강도를 통제한 후에도 D-RISE 충실도는 중심 f0 범위에서 도메인에 따라 달라졌으며, PIE가 JAAD보다 더 높은 D-Deletion 및 Holm 보정 유의성을 나타냈습니다. 비섭동(non-perturbative) 기반 EigenCAM 기준선은 D-RISE보다 충실도가 낮았으나 마찬가지로 점수 결합 현상을 보여, 이러한 효과가 D-RISE에만 국한되지 않고 삭제 기반 평가 설정과 연관되어 있음을 시사합니다. 이러한 결과는 도메인 변화 환경의 안전 필수(safety-critical) 인지 시스템에서 신뢰도를 통제한 XAI 감사가 필요함을 시사합니다.

arXiv:2601.06701v2cs.LG

상관 영향 비율을 활용한 복잡한 AI 모델의 설명가능성

Explainability of Complex AI Models with Correlation Impact Ratio

복잡한 인공지능(AI) 시스템은 더 뛰어난 예측을 수행하지만 투명성이 부족한 경우가 많아 신뢰성, 해석 가능성, 안전한 배포를 저해합니다. LIME, SHAP, HSIC, SAGE와 같은 일반적인 사후(post hoc) AI 설명 방법들은 모델에 구애받지 않는(model-agnostic) 방식이지만, 상관관계가 있는 특징들의 순위를 잘못 매기는 경향이 있고 비용이 많이 드는 섭동(perturbation)을 필요로 하여 고차원 데이터로 확장되지 않는다는 한 가지 중요한 한계점이 있습니다. 본 논문에서는 모델 출력에 대한 입력 특징의 기여도를 설명하기 위한 이론적으로 근거 있고 단순하며 신뢰할 수 있는 지표인 ExCIR(Explainability through Correlation Impact Ratio)을 소개합니다. 이 지표는 노이즈 및 샘플링 변동 하에서도 안정적이고 일관성을 유지합니다. 우리는 ExCIR이 경량화된 단일 패스(single-pass) 정식화를 통해 상관된 특징들로부터 발생하는 의존성을 포착함을 입증합니다. EEG, 합성 차량 데이터, Digits, Cats-Dogs를 포함한 다양한 데이터셋에 대한 실험적 평가는 여러 도메인에 걸쳐 ExCIR의 효과성과 안정성을 검증하며, 기존 방법보다 계산 효율적이면서도 더 해석 가능한 특징 설명을 달성함을 보여줍니다. 나아가 우리는 상호 정보량(mutual information) 경계 조건 하에서 상관비(correlation ratio)와 정규상관분석(Canonical Correlation Analysis)을 통합하는 정보 이론적 기반으로 ExCIR을 확장하여, 대규모에서 다중 출력 및 클래스 조건부 설명가능성을 실현합니다.

arXiv:2610.02116v1cs.AI

제로샷 의학 논문 초록 분류에서 DeBERTa-v3를 위한 비교 설명가능성 프레임워크

A Comparative Explainability Framework for DeBERTa-v3 in Zero-Shot Medical Abstract Classification

본 연구에서는 의학 논문 초록의 제로샷(zero-shot) 분류 환경에서 DeBERTa-v3를 감사(audit)하기 위한 비교 설명가능성(explainability) 프레임워크를 제시한다. 이 연구는 서로 다른 기여도 산출(attribution) 방식이 동일한 입력과 예측에 대해 상이한 설명을 생성하는 설명가능한 인공지능(XAI)의 불일치 문제를 다룬다. Medical Abstracts 말뭉치를 기반으로 진단 범주당 5개의 보강된 가설과 클래스당 1,000개의 균형 잡힌 텍스트 샘플을 활용하여 자연어 추론(NLI) 엔진을 구현한다. 모델 불가지론적(model-agnostic) 접근법인 SHAP과 LIME, 딥러닝 특화 접근법인 오클루전(occlusion)과 Input x Gradient, 트랜스포머 특화 접근법인 Attention x Gradient 등 다섯 가지 설명 방법을 비교한다. 설명은 상위 토큰 기여도를 통해 표준화되며, 쌍별 일치도는 자카드 지수(Jaccard index)를 사용하여 정량화된다. 잘 정의된 임상 영역에서는 높은 예측 정확도를 달성하지만, 의미적 모호성이 높은 상황에서는 성능이 저하된다. 설명의 안정성은 예측 확신도를 직접적으로 반영하여 일가적(univalent) 범주에서는 강한 수렴을 보이고 진단 불확실성 하에서는 뚜렷한 하락을 나타낸다. 나아가 정성적 오류 감사를 통해 어휘적 과민성, 의미적 중첩, 기여도 일관성 손실이라는 세 가지 시스템적 실패 메커니즘을 밝혀낸다. 이러한 결과는 의학 텍스트 분류에서 트랜스포머 기반 모델을 감사할 때 여러 설명 방법과 정량적 일치도 지표를 결합하여 사용할 것을 지지하며, 광범위한 진단 레이블보다 구체적인 임상 온톨로지를 우선시할 것을 시사한다.

arXiv:2609.26841v1cs.NE

NeuroRule: 규칙 집합 진화를 통한 블랙박스 신경망 설명 가능화

NeuroRule: Making Black-Box Neural Networks Explainable through Rule-set Evolution

고용량 신경망 모델은 다양한 분류 과제에서 최첨단 성능을 달성해 왔지만, 종종 블랙박스 모델로 동작하여 중요한 의사결정에 필요한 투명성을 갖추지 못한다. 이러한 불투명성은 성능과 설명 가능성 사이의 지속적인 트레이드오프를 만든다. 본 논문은 이러한 공백을 메우기 위한 해결책으로, 신경망 모델로부터 설명 가능한 규칙 집합을 도출하는 NeuroRule 지식 증류 프레임워크를 제안한다. NeuroRule은 EVOTER 규칙 집합 진화 인프라를 적용하여 신경망을 진화 과정의 대상으로 삼고, 그 성능을 간결한 명제 논리 표현들의 집합으로 지식 증류한다. 주요 기여는 세 가지이다: (1) 블랙박스 신경망 모델을 명시적인 규칙 집합 모델로 지식 증류하는 진화적 방법; (2) 진화에 간결성 목표를 포함하여 규칙 집합을 더 설명 가능하게 만드는 방법; (3) 원본 신경망 학습 데이터에 접근하지 않아도 지식 증류가 가능함을 보여주는 실증. 이로써 본 논문은 블랙박스 신경망 모델을 설명 가능하게 만들 수 있으며, 따라서 신뢰성이 무엇보다 중요한 실제 응용에서 유용하게 쓰일 수 있음을 보여준다.

arXiv:2507.16761v3cs.CV

아티팩트 없는 B-cos 네트워크를 이용한 충실하고 해석 가능한 흉부 X-ray 진단

Faithful, Interpretable Chest X-ray Diagnosis with Artifact-free B-cos Networks

충실성(faithfulness)과 해석 가능성(interpretability)은 의료 영상 분석과 같은 안전이 중요한(safety-critical) 영역에서 심층 신경망(DNN)을 배포하는 데 필수적이다. B-cos 네트워크는 합성곱 및 분류(classification) 층의 매개변수화(parameterization)를 수정하여 특징(feature)-가중치(weight) 정렬(feature-weight alignment)을 통해 클래스 근거(class evidence)를 측정하고, 사후(post-hoc) 설명 없이 내장된 클래스별 기여도 맵(contribution maps)을 제공한다. 최신(state-of-the-art) DNN과 경쟁력 있는 진단 성능을 유지하는 동시에, 표준 B-cos 네트워크는 설명 맵에서 심각한 aliasing 아티팩트를 보여 임상에서 명확성이 필수적인 용도에 부적합하다. 본 연구에서는 ASAP와 BlurPool(BP)을 이용한 anti-aliasing 전략을 도입하여 설명 품질을 크게 개선함으로써 이 한계를 해소한다. 흉부 X-ray 데이터셋(dataset)에 대한 실험에서, 수정된 $\text{B-cos}_\mathrm{ASAP}$ 및 $\text{B-cos}_\mathrm{BP}$는 다중 클래스(multi-class) 및 다중 레이블(multi-label) 설정에서 임상 적용에 적합한 충실하고 아티팩트 없는 설명을 제공하면서 강력한 예측 성능을 유지함을 보여준다. 코드는 다음에서 이용할 수 있다: https://github.com/shrebox/Artifact-free-B-cos-Networks.

arXiv:2607.15957v4cs.CL

그럴듯함에서 실행 가능성으로: LLM 자기 설명에 대한 견해

From Plausible to Actionable: A Position on LLM Self-Explanations

대규모 언어 모델(LLM)은 자신의 결정을 합리화하는 자연어 설명을 생성할 수 있으며, 이러한 현상은 흔히 자기 설명(self-explanation)이라 불린다. 이러한 설명은 설명 가능한 인공지능(XAI), 특히 LLM 행동을 해석하는 데 있어 유망한 방향으로 부상했다. 그러나 자기 설명은 종종 그럴듯해 보이지만, 모델의 기저 추론 과정을 충실하게 반영하는지는 여전히 미해결 문제로 남아 있다. 본 의견 논문에서 우리는 자기 설명이 매우 그럴듯할 수 있고, 충실성은 의문의 여지가 있을 수 있으며, 그럼에도 매우 실행 가능(actionable)할 수 있다고 주장한다. 전통적인 XAI 관점에서 LLM이 생성한 자기 설명에 대한 표준 평가 프로토콜의 한계를 밝히고, 그럴듯함과 충실성을 평가하기 위한 실용적 가이드라인을 제안한다. 나아가 평가는 이러한 기준을 넘어 실행 가능성(actionability)으로 확장되어야 한다고 주장하며, 다양한 이해관계자 전반에서 정보에 기반한 의사결정과 적절한 조치를 지원하는 LLM 합리화 역량의 응용을 강조한다.

arXiv:2609.24801v1cs.CR

가드레일 디코딩: XAI 기반 섭동 분석을 통한 프롬프트 주입 탐지 분석

Decoding Guardrails: XAI-Guided Perturbation Analysis of Prompt Injection Detection

대규모 언어 모델(LLM)이 프로덕션 시스템에 점차 널리 배포됨에 따라, 프롬프트 주입(prompt injection) 및 탈옥(jailbreak) 공격을 통한 적대적 조작에 노출될 수 있다는 우려가 커지고 있습니다. Prompt Guard 2와 같은 분류기 기반 가드레일은 이러한 공격에 대한 1차 방어선으로 널리 사용되고 있으나, 그 내부 의사결정 로직은 방어자와 공격자 모두에게 대체로 불투명합니다. 본 논문은 설명 가능한 인공지능(XAI) 기법을 적용하여 Prompt Guard 2가 악성 프롬프트와 정상 프롬프트를 어떻게 구분하는지 분석하는 탐색적 사례 연구를 제시합니다. 본 연구는 이 문제를 경험적으로 조사하기 위해 네 가지 실험을 수행합니다. Vanilla Gradient 및 SHAP 어트리뷰션을 기반으로 분석한 결과, Prompt Guard 2의 결정은 소수의 지배적인 토큰보다는 다수 토큰의 누적 기여도에 의존하는 것으로 나타났습니다. 그럼에도 불구하고 중요도(saliency) 기반 동의어 대체 및 문장 수준의 패러프레이징을 적용하면 텍스트의 적당한 비율만을 변경하면서도 분류기의 예측을 뒤집을 수 있으며, 일부 경우에는 기저 LLM에 대한 탈옥에 성공하기도 했습니다. 나아가 데이터셋 규모의 중요도 분석을 통해, 탐지되지 않은 주입 프롬프트에는 분류기가 의존하는 어휘적 표지가 체계적으로 결여되어 있음을 보여줍니다. 저자들은 이러한 발견이 분류기 기반 가드레일의 설계 및 평가에 미치는 영향을 논의하며, 투명성을 지원하기 위한 설명 방법론이 오히려 성공적인 적대적 우회 공격을 구축하는 비용을 낮출 수 있다고 주장합니다.

arXiv:2609.22353v1cs.AI

PAANI: 강 로봇 시뮬레이션을 위한 온디바이스 시각적 증거 융합 및 설명 가능한 가이던스

PAANI : On Device Visual Evidence Fusion and Explainable Guidance for River Robot Simulation

이동형 하천 모니터링 로봇은 지리적 웨이포인트만으로는 설명할 수 없는 장애물과 수역 경계를 해석해야 한다. 자원이 제한된 플랫폼에서는 불완전한 시각 예측을 시의적절하고 검사 가능한 가이던스로 바꾸는 것이 별도의 과제이다. 객체 레이블이나 조향 명령만으로는 어떤 증거가 결정을 뒷받침하는지, 그 증거가 언제 신뢰할 수 없는지 설명되지 않는다. 우리는 프로젝트에서 학습한 YOLO11n 검출기와 맞춤형 MobileNetV3 Small 의미 분할기를 Arduino UNO Q에서 타임스탬프 정렬 증거 융합과 결합한, 온디바이스 지각-가이던스 아키텍처인 PAANI를 제시한다. bounded tracking은 객체 지속성을 제공하고, 명시적 통로(corridor) 정책은 수면 레이블, 수용된 검출, 긴급도, 마스크 불확실성을 결합한다. 각 최종 권고는 기여한 증거와 정책 근거를 노출한다. ROS 2 인터페이스는 로컬 AI 파이프라인을 별도의 Gazebo 선박, 위치 추정 및 제어 테스트베드와 연결한다. 학습에는 4클래스 검출용 WaterScenes 이미지 10,000장과 분할용 MaSTr1325 이미지 1,127장(분할 검증 이미지 198장 포함)을 사용한다. 선택한 FP32 ONNX 모델은 14.817 MB를 차지한다. 검출기 체크포인트 테스트 mAP(0.5 IoU)는 0.7388이며, 별도로 평가한 직사각형 ONNX 내보내기의 검증 mAP(0.5 IoU)는 0.7367이다. 분할 ONNX 검증 mIoU는 0.9750이다. 5분간 UNO Q 녹화에서 구성된 0.5 Hz 주기로 파이프라인 지연의 중앙값과 95백분위는 각각 467.8 ms와 580.3 ms였다. 평가에서는 검은 입력 오분류와, 진단용 겉보기 운동(apparent motion) 추정기가 충분한 증거를 수집하지 못하게 하는 샘플링 속도 불일치도 확인했다. 이 결과는 모델 정확도 및 온보드 실행과 검증된 수상 충돌 회피를 명확히 구분하면서, 검사 가능하고 재사용 가능한 엣지 로보틱스 기반을 뒷받침한다.

arXiv:2512.21066v4cs.AI

더 나은 설명을 탐색하기 위한 에이전틱 설명 가능한 인공지능(Agentic XAI) 접근법: 일본 벼 재배 의사결정 지원 사례 연구

Agentic Explainable Artificial Intelligence (Agentic XAI) Approach To Explore Better Explanation: A Case Study in Decision Support for Rice Cultivation in Japan

설명 가능한 인공지능(XAI)은 설명변수와 반응변수의 관계를 밝혀내지만, 비전문가에게 XAI 결과물을 전달하는 것은 여전히 어려워 AI 기반 예측에 대한 신뢰를 제한합니다. 대규모 언어 모델(LLM)은 기술적 설명을 이해하기 쉬운 서사로 변환할 수 있으나, 자율적인 LLM 에이전트(agent)에 의한 XAI 설명의 반복적 정제는 아직 탐색되지 않았습니다. 본 연구는 SHAP(SHapley Additive exPlanations)과 멀티모달 LLM에 의한 반복적 정제를 결합한 에이전틱 XAI 프레임워크를 제안하고, 이를 일본의 28개 논에서 수집된 벼 수확량 데이터에 농업 추천 시스템으로 시험합니다. 에이전트는 SHAP 결과로부터 11차례의 정제 라운드(라운드 0-10)에 걸쳐 추가적인 분석을 탐색했습니다. 작물학자(n = 12)와 LLM 평가자(n = 14)는 구체성(Specificity), 명확성(Clarity), 간결성(Conciseness), 실용성(Practicality), 맥락적 적합성(Contextual Relevance), 비용 고려(Cost Consideration), 작물학적 신뢰성(Crop Science Credibility)의 7개 기준에 따라 모든 라운드를 채점했습니다. 두 그룹 모두 정제를 통해 라운드 0 대비 평균 점수가 30-33% 향상되어 라운드 3-4에서 정점에 달한 후 품질이 저하되었으며, 작물학자의 경우 시작점 아래로 떨어졌음을 확인했습니다. 따라서 정제에는 전략적인 조기 종료(early stopping)가 필요하며, 이는 단조로운 개선이라는 가정을 반박합니다. 기준 수준의 궤적은 바이어스-분산 트레이드오프(bias-variance trade-off)를 나타냅니다. 초기 라운드는 구체성이 부족했던(바이어스) 반면, 과도한 반복(iteration)은 간결성을 훼손하고 근거 없는 경제적 추론을 통해 비용 고려를 증가시켰습니다(분산). LLM 평가자는 모든 기준에서 1.4-2.3점씩 과대평가했으나 전문가들의 라운드 순위는 대체로 유지하였으므로(Spearman $\rho$ = 0.58-0.90), 선별된 LLM 평가자는 신뢰할 수 없는 절대 점수에도 불구하고 품질 정점을 지목할 수 있습니다. 신뢰할 수 있는 에이전틱 XAI는 또한 LLM 평가자에 대한 전문가 기반의 선별과 투명하고 검증 가능한 정제 기록을 필요로 합니다.

arXiv:2609.22333v1cs.CV

설명 가능한 AI(XAI) 기반 하이퍼스펙트럴 이미지 분류를 위한 차원 축소

Dimensionality reduction for AI based hyperspectral image classification based on XAI

본 연구는 인공지능(AI) 기반 차원 축소를 활용하여 목재 재활용 공정에서 소재 재활용이 제한적인 문제를 다룬다. 본 연구는 RGB 채널을 넘어 200개 이상의 분광 채널을 갖는 다중 채널 하이퍼스펙트럴 이미징(HSI)에 합성곱 신경망(CNN)을 적용하는 방법을 탐구한다. 이러한 맥락에서 차원 축소는 AI 시스템의 학습과 추론을 위한 특징 공간을 간소화하는 것을 의미한다. 설명 가능한 AI(XAI) 기법에 초점을 맞춘 본 논문은 더 폭넓은 연구 이니셔티브에 기여하며, 목재 재활용 공정의 지속가능성과 효율성을 향상시키는 솔루션 프레임워크를 제시한다.

arXiv:2607.22045v1cs.LG

CEL: 포괄적 반사실적 설명 라이브러리 및 벤치마크

CEL: Comprehensive Counterfactual Explanations Library and Benchmark

반사실적 설명(counterfactual explanations)은 설명 가능한 인공지능(xAI)에서 두드러진 접근법으로, 원하는 결과로 모델의 예측을 바꾸기 위해 어떤 입력 변경이 필요한지에 대한 실행 가능한 지침을 제공한다. 초기 방법들은 주로 최소 특징 변경에 초점을 맞춘 반면, 최근 연구는 희소성, 실행 가능성, 개연성과 같은 추가 속성을 통합한다. 이러한 진전에도 불구하고 공정하고 체계적인 평가는 여전히 어렵다. 기존 연구들은 종종 서로 다른 데이터 분할, 예측 모델, 평가 지표에 의존하여 방법 간 객관적 비교를 제한한다. 이 공백을 메우기 위해, 우리는 일관된 구현과 평가를 지원하도록 설계된 반사실적 설명을 위한 통합 라이브러리 및 벤치마크인 CEL(Counterfactual Explanations Library)을 제안한다. CEL은 크기와 복잡도가 다양한 18개 데이터셋을 포함하며, 널리 사용되는 14개 반사실적 방법의 구현 또는 재구현을 제공한다. 이 표준화된 설정을 사용하여, 크기, 속성 수 및 유형이 다른 데이터셋에서 다양한 방법에 대한 포괄적인 정량 비교를 수행한다. 평가 프로토콜은 유효성, 커버리지, 희소성, 근접성, 분포적 개연성을 포착하는 여러 상호 보완적 지표를 포함하며, 생성된 반사실의 현실성을 평가하기 위한 밀도 기반 및 이상치 기반 측도를 포함한다. 우리가 아는 한, 이것은 통합되고 재현 가능한 프레임워크 내에서 최근 반사실적 설명 방법을 체계적으로 평가하는 최초의 포괄적 벤치마크이다. 문헌에 선행 라이브러리와 벤치마킹 노력이 존재하지만, 많은 것들이 구식이거나 범위가 제한적이거나 일관된 평가 프로토콜이 부족하다. 제안된 벤치마크는 재현성을 향상시키고, 공정한 비교를 가능하게 하며, 향후 반사실적 설명 방법 개발을 위한 작업대를 구축하는 것을 목표로 한다.

arXiv:2602.04120v4cs.LG

엣지 AI 시스템을 위한 확장 가능한 Explainability-as-a-Service(XaaS)

Scalable Explainability-as-a-Service (XaaS) for Edge AI Systems

설명 가능 AI(XAI)는 상당한 발전을 이루었지만, 엣지 및 IoT 시스템에의 통합은 일반적으로 임시방편적이고 비효율적이다. 대부분의 현재 방법은 모델 추론과 동시에 설명을 생성하는 방식으로 "결합(coupled)"되어 있다. 그 결과, 이러한 접근법은 이질적인 엣지 디바이스 집합에 배포할 때 중복 연산, 높은 지연시간, 낮은 확장성을 초래한다. 본 연구에서는 설명 가능성을 모델별 기능이 아닌 일급 시스템 서비스로 취급하는 분산 아키텍처인 Explainability-as-a-Service(XaaS)를 제안한다. 제안하는 XaaS 아키텍처의 핵심 혁신은 추론과 설명 생성을 분리(decouple)하여, 엣지 디바이스가 자원 및 지연시간 제약에 따라 설명을 요청, 캐시, 검증할 수 있게 한다는 점이다. 이를 위해 세 가지 주요 혁신을 도입한다: (1) 의미적 유사도 기반 설명 검색 방법을 갖춘 분산 설명 캐시로, 중복 연산을 크게 줄인다; (2) 캐시된 설명과 새로 생성된 설명 모두의 충실도(fidelity)를 보장하는 경량 검증 프로토콜; (3) 디바이스 성능과 사용자 요구에 따라 설명 방법을 선택하는 적응형 설명 엔진. XaaS의 성능을 세 가지 실제 엣지 AI 사용 사례에서 평가했다: (i) 제조 품질 관리; (ii) 자율주행차 인지(perception); (iii) 헬스케어 진단. 실험 결과, XaaS는 세 가지 실제 배포 환경에서 높은 설명 품질을 유지하면서 지연시간을 38% 줄였다. 전반적으로, 본 연구는 대규모 이질적 IoT 시스템 전반에 투명하고 책임 있는 AI의 배포를 가능하게 하며, XAI 연구와 엣지 실용성 사이의 격차를 메운다.

arXiv:2607.20675v1cs.LG

신뢰할 수 있는 ML 기반 광 네트워크를 위한 설명 기반 런타임 검증

Explanation-Based Runtime Verification for Trustworthy ML-driven Optical Networks

머신러닝(ML) 모델은 장애 관리, 성능 모니터링, 자원 할당과 같은 작업을 지원하기 위해 광 네트워크 자동화 프레임워크에 점점 더 통합되고 있다. 이러한 환경에서 ML 기반 예측은 제어 평면(control-plane) 동작과 직접 결합될 수 있으며, 잘못된 결정은 서비스 품질, 자원 효율성, 네트워크 안정성에 즉각적인 영향을 미칠 수 있다. 자동화 수준이 높아질수록 배포 시점에 개별 결정의 신뢰성을 보장하는 것이 핵심 요구사항이 된다. 설명 가능한 인공지능(XAI) 기법은 ML 예측에 영향을 미치는 요인을 강조함으로써 투명성을 개선하기 위해 등장했다. 영향력 있는 특징을 식별하는 것 외에도, 모델의 기저 추론 과정에 대한 통찰을 제공하여 다양한 입력 변수가 최종 결과에 어떻게 기여하는지, 그리고 특징 상호작용이 결정 경계(decision boundary)를 어떻게 형성하는지를 드러낸다. 본 연구에서는 설명 기반 런타임 검증(explanation-based runtime verification)을 제안한다. 이는 네트워크 제어 루프에서 실행되기 전에 개별 ML 결정의 타당성(soundness)을 평가하기 위해 모델 설명을 활용하는 접근법이다. 제안된 접근법은 런타임에 설명 일관성(explanation coherence)과 물리적 그라운딩(physics grounding) 일관성을 평가하여, 불확실한 것으로 표시된 결정을 연기하거나 거부할 수 있게 한다. 광경로 전송 품질(QoT) 분류의 대표적 사용 사례에서 접근법의 효과를 입증한다. 실험 결과, 설명 기반 검증이 높은 자동화율을 유지하면서 상당한 비율의 오류 결정을 가로챌 수 있음을 보여준다.