PyTorchKR Papers

최신 논문

총 78편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.22525v1cs.AI

항공 교통 관제사 지원을 위한 설명 가능한 강화학습

Explainable Reinforcement Learning for assisting Air Traffic Controllers

의료, 자율 주행, 항공과 같은 고위험·임계 환경에 AI를 효과적으로 통합하고, 더 높은 수준의 자동화와 원활한 인간-AI 협업을 향해 나아가기 위해서는 AI 기반 솔루션에 대한 신뢰 구축이 필수적이다. 신뢰는 다시 AI 시스템의 설명 가능성(explainability)과 밀접하게 연결된다. 다양한 분야에서 AI의 급속한 발전은 신뢰 구축의 어려움을 부각시켰으며, 특히 심층 학습에 적용될 때 AI 설명 가능성에 대한 관심을 더욱 높였다. 이러한 맥락에서 본 연구는 강화학습(RL) 알고리즘, 특히 안전 임계(safety-critical) 영역인 항공 교통 관제(ATC)에서 설명 가능성 기법의 적용을 탐구하는 것을 목표로 한다. 단순화된 ATC 환경을 초기 테스트베드(testbed)로 사용하여, 지능형 에이전트가 강화학습 알고리즘으로 학습되어 비행 금지 구역을 회피하는 대체 항로에 대한 의사결정을 내리도록 한다. 예비적인 설명 가능성 접근법으로 saliency map을 사용하여, 에이전트의 의사결정 과정에 가장 크게 영향을 미치는 입력 특징(feature)에 대한 통찰을 제공한다.

arXiv:2606.16794v2cs.CV

얼굴 피부 질환 분류 모델의 설명 가능성 평가를 위한 LLM 기반 시각적 설명 평가 프레임워크

LLM-Based Visual Explanation Evaluation Framework for Assessing the Explainability of Facial Skin Disease Classification Models

본 연구는 얼굴 피부 질환 진단에서 시각적 어텐션 설명을 평가하기 위한 도메인 특화 LLM 기반 시각적 설명 평가 프레임워크를 제안한다. 기존 연구는 주로 분류 성능 향상에 초점을 맞춰 왔으나, 시각적 설명이 임상적으로 관련 있는 병변 영역에 그라운딩(grounding)되어 있는지를 체계적으로 검토한 연구는 상대적으로 적다. 본 연구에서는 얼굴 피부 질환 이미지로부터 병변 중심의 어텐션 맵을 생성하기 위해 이미지 기반 시각적 어텐션 생성 알고리즘을 개발했다. 기존의 그래디언트 기반 설명 가능성 방법과 달리, 제안된 접근법은 색상 현저성(color saliency), 얼굴 공간 사전(facial spatial priors), 가우시안 스무딩(Gaussian smoothing), 어텐션 오버레이 시각화를 결합하여 임상적으로 해석 가능한 어텐션 맵을 생성한다. 또한 GPT-5.5, Gemini 3.5 Flash, Claude Sonnet 4.6을 사용하여 LLM-as-a-judge 평가 프레임워크를 설계하고, 병변 국소화와 설명 신뢰성 관점에서 생성된 시각적 설명을 평가했다.

arXiv:2607.21573v1cs.LG

충분성을 넘어: 반사실적 필요성 기반 시계열 설명

Beyond Sufficiency: Time Series Explanation with Counterfactual Necessity

시계열 분류기에 대한 충실한 설명은 블랙박스 모델의 예측을 유지하기에 충분할 뿐만 아니라, 그 예측을 유지하는 데 필요한 부분 시퀀스(subsequence)를 식별해야 한다. 그러나 기존의 충분성(sufficiency) 중심 방법들은 모델의 의사결정에 필수적이지 않으면서도 예측을 뒷받침하는 허위(spurious) 부분 시퀀스에 높은 중요도를 부여할 수 있다. 우리는 시계열 설명을 위한 필요성(necessity) 인식 프레임워크인 TimePNS를 제안한다. Pearl의 반사실적(counterfactual) 필요성 개념에서 영감을 받아, TimePNS는 시간적 요인에 개입(intervention)하고 원래 예측이 방해되는지 측정함으로써 해당 요인이 필요한지 평가한다. 이 프레임워크는 2단계 설계를 채택한다. 1단계에서는 식별 가능한(identifiable) 인과 생성 과정과 충분성 중심 설명 마스크를 함께 학습한다. 2단계에서는 시간적 요인에 대한 반사실적 개입을 수행하여 필요성 신호를 도출하고, 이 신호가 시간적 게이트(temporal gate)를 지도하여 비필수 구성 요소를 억제하고 반사실적으로 필요한 요소를 강조함으로써 초기 설명을 정제한다. 합성 및 실세계 시계열 벤치마크(benchmark)에서의 실험은 TimePNS가 의사결정에 핵심적인 부분 시퀀스를 더 정확하게 식별하고, 강력한 기준선(baseline) 대비 충분성-필요성 트레이드오프를 일관되게 개선함을 보여준다.

arXiv:2607.21068v1cs.LG

CycleGAN 및 반사실-분류기 정렬 점수를 활용한 망막 질환 분류를 위한 반사실 설명 가능성 프레임워크

Counterfactual Explainability Framework With CycleGAN And Counterfactual-Classifier Alignnment Score for Retinal Disease Classification

안저 영상으로부터 시력을 저해하는 망막 기반 안과 질환의 자동 탐지는 조기 스크리닝, 적시 의뢰, 전문의 중심 평가에 대한 의존도 감소에 중요하며, 이를 위해 신경망 기반 심층 학습(DL) 모델이 널리 활용되어 왔다. 그러나 DL 프레임워크의 설명 가능성은 임상 채택의 주요 병목으로 남아 있으며, 특히 모델의 판단이 임상적으로 의미 있는 망막 영역과 연결되지 않을 때 그렇다. 이 문제를 해결하기 위해 본 연구는 CounterFundus라는 새로운 CycleGAN 기반 반사실 설명 가능성 프레임워크를 제안하며, EfficientNet-B5 기반 망막 질환 탐지와 시각적으로 해석 가능한 질병-정상 안저 영상 변환을 통합한다. 각 병리학적 영상에 대해 CycleGAN 생성기가 산출한 반사실은 추정된 건강한 대응 영상을 나타내며, 그로부터 얻은 차이 맵은 질환 관련 망막 변화의 국소화에 활용된다. 기존의 사후(post-hoc) saliency 방법과 달리, CounterFundus는 시각적으로 그럴듯한 질병-정상 망막 변환을 통해 반사실 설명을 제공한다. 이어서 반사실 차이 맵과 분류기 saliency 간의 공간적 일치를 정량화하기 위해 반사실-분류기 정렬 점수(Counterfactual-Classifier Alignment Score, CCAS)를 도입하며, Spearman 상관, 이진 IoU, 포인팅 정확도(pointing accuracy)를 단일 평가 프로토콜에 임베딩한다. 이를 위해 EigenCAM 정렬 평가를 수행한 결과, 생성된 반사실 설명이 모든 CCAS 차원에서 분류기 관련 망막 근거와 공간적으로 일관됨을 보여준다. 또한 ablation 연구는 CCAS로 필터링한 반사실 증강이 안저 영상의 하위 분류 성능을 향상시킴을 추가로 확인하여, CounterFundus를 망막 질환 탐지를 위한 임상적으로 그라운딩된 설명 가능 인공지능(XAI) 프레임워크로 확립한다.

arXiv:2607.20814v1cs.AI

가이드 그라운딩 멀티모달 LLM을 활용한 설명 가능한 심장 진단 향상

Enhancing Explainable Cardiac Diagnosis with Guide-Grounded Multimodal LLMs

심전도(ECG)는 심장 평가의 핵심이지만, 심층 학습 모델의 임상 배포는 해석 가능성의 제한과 대규모 언어 모델(LLM)의 환각(hallucination) 위험으로 인해 여전히 제약을 받고 있다. 기존 CNN+Grad-CAM+멀티모달 LLM 프레임워크는 ECG 보고서를 생성할 수 있지만, 그 설명은 종종 확립된 진단 기준에 약하게만 그라운딩(grounding)되어 신뢰성과 재현성을 떨어뜨린다. 우리는 보고서 생성을 선별된 임상 지식에 명시적으로 고정하는 가이드 그라운딩 멀티모달 프레임워크를 제안한다. 합성곱 신경망(CNN)과 Grad-CAM이 먼저 12-lead ECG 이미지로부터 클래스 확률과 클래스별 히트맵을 생성한다. 병행하여, 권위 있는 ECG 교과서와 가이드라인 자료를 오프라인에서 구조화된 ECG Interpretation Guide로 증류하여, 이를 모든 샘플에 대해 고정된 지식 블록으로 주입한다. ECG 이미지, Grad-CAM 오버레이, CNN에서 파생된 fact pack, 주입된 가이드를 조건으로 하여, 멀티모달 LLM이 가이드라인과 일관된 용어 및 기준 사용을 갖춘 구조화된 진단 보고서를 생성한다. PTB-XL 테스트 세트 전체에 대한 실험은 가이드 그라운딩이 경쟁력 있는 분류 성능을 유지하면서 생성된 보고서의 의미적 품질과 지각된 일관성을 향상시킴을 보여준다. 특히, 우리 방법은 강력한 CNN+Grad-CAM+MLLM 기준선 대비 생성된 impression의 평균 BERTScore를 0.818에서 0.953으로 높여, 참조 보고서와의 더 밀접한 정렬(alignment)을 나타낸다. 이러한 결과는 증류된 해석 가이드를 멀티모달 프롬프팅 파이프라인에 주입하는 것이 환각을 줄이고 LLM 기반 ECG 설명의 임상적 타당성을 높이는 실용적인 경로를 제공하며, 설명 가능한 심장 진단을 실제 배포에 더 가깝게 이끈다는 것을 시사한다.

arXiv:2607.21007v1cs.CV

설명 가능한 딥페이크 탐지 챌린지

Explainable Deepfake Detection Challenge

딥페이크 탐지는 이진 분류 결정을 넘어, 그러한 결정을 뒷받침하는 시각적 증거를 설명할 수 있는 시스템으로 발전하고 있다. 이러한 전환은 실제 검증 환경에서 중요한데, 다양한 사용자가 이미지가 조작되었는지 여부뿐 아니라 왜 의심스러운 것으로 간주되는지도 이해해야 하기 때문이다. ACM Multimedia 2026의 설명 가능한 딥페이크 탐지 챌린지는 이러한 복합 역량을 벤치마크하기 위해 설계되었다. 설명 가능한 딥페이크 탐지를 위한 백만 규모 벤치마크인 XPlainVerse를 기반으로, 이 챌린지는 이미지 분류와 그라운딩(grounded) 자연어 설명 생성에 대한 방법들을 평가한다. 참가자는 각 이미지에 대해 real/fake 레이블과 함께 두 가지 설명을 제출한다: 기술 사용자를 위한 상세한 복합 설명과 일반 사용자를 위한 간결한 단순 설명. 평가는 분류 지표와 의미적 유사성, 단순성, 그리고 설명이 관련된 조작된 개체와 뒷받침하는 시각적 증거를 식별하는지 평가하는 의도 인식(intent-aware) 그라운딩 지표를 결합한다. 챌린지를 통해 개발된 방법론은 차세대 설명 가능한 딥페이크 탐지기 개발에 기여할 것이다. 평가 스크립트, 기준선 모델, 및 동반 코드는 https://github.com/Abhijeet8901/XPlainVerse-ACMChallenge 에서 이용할 수 있다.

arXiv:2607.13738v3cs.CV

해부학적으로는 충실하지만 시간적으로는 분산됨: 심초음파 기반 좌심실 박출률 추정을 위한 귀속(attribution) 검증

Anatomically Faithful but Temporally Diffuse: Auditing Attribution for Left-Ventricular Ejection-Fraction Estimation from Echocardiography

심층 비디오 모델은 심초음파(echocardiography)로부터 좌심실 박출률(EF)을 거의 전문가 수준의 정확도로 추정하며, 사후 귀속(attribution)은 이러한 모델이 올바른 위치를 보고 있는지를 검증하는 데 점점 더 많이 사용된다. EF는 수축기말(end-systolic, ES) 및 이완기말(end-diastolic, ED) 프레임으로 정의되므로, 충실한 설명은 공간적으로 좌심실뿐 아니라 시간적으로도 결정적인 프레임을 국소화해야 한다. EchoNet-Dynamic에서 파인튜닝(fine-tuning)된 두 가지 구조적으로 상이한 회귀 모델에 대해 공간적 그라운딩(spatial grounding), 교란(perturbation), 시간적 의존(temporal reliance)의 세 축을 따라 귀속의 충실성을 검증한다: Chefer relevance propagation으로 검증한 자기지도 VideoMAE 트랜스포머, 및 Grad-CAM으로 검증한 Kinetics 사전학습(pre-training) R(2+1)D 컨볼루션 네트워크. 모든 통계는 전체 1,276건 연구 테스트 분할에 대해 부트스트랩 95% 신뢰구간으로 보고되며, 명시적 우연(chance) 기준선 및 어텐션 롤아웃과 무작위 귀속 대조군과 비교된다. 시간적 무효(null)가 아니라 뚜렷한 비대칭을 발견한다. 두 모델 모두 해부학적으로는 강하게 충실하지만(우연 대비 3.04배 및 3.76배) 시간적으로는 약하게만 국소화된다: 튜블릿 가림(tubelet occlusion)은 VideoMAE에서 ES/ED에 대한 인과적 의존을 우연 대비 1.05배(95% CI [1.037, 1.068]), R(2+1)D에서는 1.15배([1.134, 1.166])로 나타낸다 — 공간에서보다 3배 약한 집중도 — 그리고 귀속은 이러한 약점을 충실히 반영한다. 수렴과 아키텍처를 분리하면 시간적 의존은 아키텍처에 의해 결정되고 수렴 불변(convergence-invariant)임을 보여준다: R(2+1)D는 단일 학습 에포크 후 1.14배, 수렴 시 1.15배에 도달하는 반면, 두 VideoMAE 변형 모두 사전학습이나 정확도와 관계없이 1.05배를 유지한다. 따라서 공간적 충실성은 시간적 충실성을 함의하지 않으며, 이러한 부족은 추가 학습으로도 보완되지 않는다.

arXiv:2509.14925v2cs.LG

모바일 네트워크 자원 할당을 위한 자기 설명 강화학습

Self-Explaining Reinforcement Learning for Mobile Network Resource Allocation

심층 강화학습(DRL) 방법은 강력하지만 종종 투명성이 부족하여, 이는 중요한 분야에서의 채택을 제한한다. 우리는 PPO 에이전트의 정책을 SENN(Self-Explaining Neural Networks)으로 매개변수화하여 내재적 국소 설명을 생성함으로써 RL에 SENN을 적용하고, 이를 전역 설명으로 집계하는 방법을 제안한다. 모바일 네트워크 자원 할당 문제에서 본 접근법을 평가한 결과, 본 접근법은 최신(state-of-the-art) 심층 학습 방법과 작은 마진(margin) 차이 내에서 성능을 보이며, 현장에 배포된 최고의 휴리스틱을 크게 능가한다. 한편 추출된 전역 설명은 DeepLift 및 InputXGradient와 강한 상관관계를 보여, SENN은 고위험(high-stakes) RL에서 유망한 후보임을 시사한다.

arXiv:2607.20065v1cs.AI

TRUST-ESD: 불확실성 하에서 기업 전략적 의사결정 지원을 위한 위험 보정 및 거버넌스 인식 AI 프레임워크

TRUST-ESD: A Risk-Calibrated and Governance-Aware AI Framework for Enterprise Strategic Decision Support Under Uncertainty

기업 전략적 의사결정 지원을 위해서는 정확할 뿐만 아니라 불확실성 인식, 위험 보정, 설명 가능, 거버넌스 준수가 가능한 AI 시스템이 필요하다. 본 논문은 불확실성 하의 기업 의사결정 지원을 위한 위험 보정 및 거버넌스 인식 프레임워크인 TRUST-ESD를 제안한다. TRUST-ESD는 예측적 효용 추정, conformal 불확실성 보정, CVaR 기반 하방 위험 점수화, 위험 메모리 검색, policy-as-code 거버넌스, 설명 가능성, 인간 감독을 통해 실행 가능한 반사실적(counterfactual) 전략을 평가한다. 최대 기대 효용으로 행동을 선택하는 예측 전용 방법과 달리, TRUST-ESD는 가치, 신뢰성, 위험 노출, 준수를 균형 있게 고려한 전략을 권고한다. 실험 결과, TRUST-ESD는 강력한 불확실성 인식 기준선 대비 위험 조정 효용을 7.95% 향상하고, 위험 노출을 23.22% 감소하며, CVaR을 23.78% 감소하고, 보정 오차를 13.89% 낮추며, 설명 충실도를 10.90% 향상하고, 거버넌스 준수율을 9.76% 높이는 동시에 경쟁력 있는 예측 정확도를 유지한다. Ablation 및 사례 연구 분석은 불확실성 보정, 하방 위험 점수화, 위험 메모리, 설명 가능성, 거버넌스 검증이 공동적으로 신뢰할 수 있는 기업 의사결정을 개선함을 추가로 확인한다.

arXiv:2604.12069v4cs.CL

기업 NLP 시스템에서 사용자 신뢰를 위한 견고한 설명

Robust Explanations for User Trust in Enterprise NLP Systems

기업 NLP에서 사용자 신뢰를 위해 견고한 설명이 점점 더 요구되고 있지만, 표현 기반 설명기가 불가능한 블랙박스 배포(API 전용 접근)라는 일반적인 경우에는 사전 배포 검증이 어렵고, 기존 연구는 설명이 실제 사용자 노이즈 하에서 안정적으로 유지되는지에 대해 제한적인 지침만 제공하며, 특히 조직이 인코더 분류기에서 디코더 LLM으로 전환할 때 그렇다. 이 간극을 메우기 위해, 우리는 leave-one-out occlusion 기반의 토큰 수준 설명을 위한 통합 블랙박스 견고성 평가 프레임워크를 제안하고, 여러 심각도 수준에서의 현실적인 교란(교환, 삭제, 셔플, 역번역) 하에서 상위 토큰 flip rate로 설명 견고성을 구체화한다. 이 프로토콜을 사용하여, 세 개의 벤치마크 데이터셋과 인코더 및 디코더 계열에 걸친 여섯 개 모델(BERT, RoBERTa, Qwen 7B/14B, Llama 8B/70B; 64,800건)에 대해 체계적인 교차 아키텍처 비교를 수행한다. 우리는 디코더 LLM이 인코더 베이스라인보다 상당히 더 안정적인 설명을 생성함을(평균 73% 낮은 flip rate) 발견했으며, 안정성이 모델 스케일에 따라 향상됨을(7B에서 70B로 44% 향상) 발견한다. 마지막으로, 견고성 향상을 추론 비용과 연관 지으며, 규정 준수가 중요한 애플리케이션에서 배포 전 모델 및 설명 선택을 지원하는 실용적인 비용-견고성 트레이드오프 곡선을 도출한다.

arXiv:2607.15241v1cs.CL

리더보드를 넘어: 신뢰할 수 있는 멀티모달 VQA를 위한 설계 교훈

Beyond the Leaderboard: Design Lessons for Trustworthy Multimodal VQA

의료 멀티모달 AI는 시각적·텍스트적 근거를 결합하면서도 신뢰할 수 있고 해석 가능해야 한다. MediaEval Medico 2025를 후향적 위(GI) 내시경 사례 연구로 활용하여, 질의응답과 설명 품질에 대한 아홉 개의 문서화된 시스템의 설계 선택을 분석한다. 사전학습 백본의 매개변수 효율적 적응은 강력한 챌린지 성능을 제공하지만, 답변 수준의 향상이 신뢰성 있고 완전한 임상적 추론으로 일관되게 이어지지는 않는다. 구조화된 추론과 명시적 그라운딩을 강제하는 방법은 이질적인 질문 유형 전반에서 더 신뢰할 수 있는 동작을 보이지만, 근거는 ablation 기반이라기보다 상관적이다. 이러한 결과는 어휘 중복을 넘어서는 평가, 표준화된 근거 연결 설명, 누출 인식 데이터 거버넌스, 경량 견고성 및 캘리브레이션 점검의 필요성을 뒷받침한다. 이러한 발견은 데이터 융합, 설명 가능성, 회복력 있는 평가에 기반한 신뢰할 수 있는 멀티모달 의료 AI를 지지한다.

arXiv:2607.14315v1cs.LG

통합 다차원 설명가능성 지표를 향하여: AI 모델의 신뢰성 평가

Towards a Unified Multidimensional Explainability Metric: Evaluating Trustworthiness in AI Models

본 논문에서는 LIME 및 SHAP과 같은 다양한 XAI 방법의 설명가능성을 여러 데이터셋과 머신러닝 모델에 걸쳐 평가하는 포괄적 프레임워크를 제시하며, 궁극적으로 통합 다차원 설명가능성 점수를 만드는 것을 목표로 한다. 우리의 방법론은 설명가능성의 세 가지 핵심 측면, 즉 충실도(fidelity), 단순성(simplicity), 안정성(stability)에 초점을 맞춘다. 벤치마킹 실험을 활용하여 이러한 측면들을 체계적으로 평가하고, 얻은 통찰을 바탕으로 오프라인 지식 베이스를 구축한다. 이 지식 베이스는 등록된 각 모델의 설명가능성 점수를 기록하며, 설명가능성의 맥락 의존적 평가를 위한 유용한 자원 역할을 한다. AI 모델, 데이터셋, XAI 방법의 상호 보완적 특성과 메타데이터를 분석함으로써, 이 지식 베이스는 이전에 보지 못한 데이터셋과 모델에 대한 설명가능성 점수 추정을 가능하게 할 것이다. 충실도, 단순성, 안정성과 같은 속성은 데이터셋, 기반 모델, 최종 사용자의 도메인 전문성에 따라 크게 달라질 수 있다. 세 개의 오픈소스 데이터셋에 이 프레임워크를 적용하여 이를 시연하고, 데이터셋 특성과 관련하여 얻은 결과의 함의를 논의한다. 본 연구는 다양한 XAI 방법의 설명가능성을 평가하고 비교하는 견고하고 다목적의 도구를 제공함으로써 XAI 분야에 기여하며, 궁극적으로 더 투명하고 신뢰할 수 있는 AI 시스템 개발을 지원한다.

arXiv:2607.14416v1cs.AI

CausalGraphX: 설명 가능한 시스템적 리스크 평가를 위한 반사실적 그래프 신경망 프레임워크

CausalGraphX: A Counterfactual Graph Neural Network Framework for Explainable Systemic Risk Assessment

글로벌 금융 시스템의 상호연결성은 소수 기관의 실패가 치명적인 연쇄 디폴트를 촉발할 수 있는 시스템적 리스크에 취약하게 만든다. 전통적인 리스크 모델은 이러한 네트워크의 복잡한 비선형 역학을 포착하지 못하는 경우가 많다. 그래프 신경망(GNN)은 관계형 데이터 모델링에서 유망함을 보여 왔지만, 주로 상관적 패턴을 학습하고 블랙박스로 작동하여 충격 전파의 인과적 메커니즘에 대한 통찰을 거의 제공하지 못한다. 이 한계는 스트레스 테스트를 수행하고 효과적인 개입 방안을 마련하기 위해 설명 가능한 모델을 요구하는 규제 기관에게 중요하다. 우리는 GNN과 반사실적 추론을 통합하여 시스템적 리스크에 대한 설명 가능한 평가를 제공하는 새로운 프레임워크인 CausalGraphX를 제안한다. CausalGraphX는 그래프 어텐션 메커니즘을 사용하여 기관 취약성의 표현을 학습하고, 이러한 표현이 허위 상관관계가 아닌 인과적 요인을 포착하도록 적대적 정규화 기법을 사용한다. 또한 우리는 반사실적 설명을 생성하기 위한 최적화 기반 접근법을 제안하여, "특정 스트레스 시나리오에서 Bank A의 디폴트를 막기 위해 필요한 최소 자본 주입은 얼마였을까?"와 같은 질문에 답한다. 우리는 대규모 합성 금융 네트워크에서 CausalGraphX를 검증한다. 결과는 CausalGraphX가 희소하고 타당하며 실행 가능한 반사실적 설명을 제공하는 동시에 연쇄 디폴트 예측에서 전통적 및 심층 학습 베이스라인을 크게 능가함을 보여준다.

arXiv:2606.27201v2cs.LG

특징 유발 정보 흐름을 통한 시간 그래프 신경망 설명

Explaining Temporal Graph Neural Networks via Feature-induced Information Flow

이벤트 기반 시간 그래프 신경망(ETGNN)은 사회 네트워크 분석, 전염병 추적, 추천 시스템, 정치 이벤트 예측을 포함한 광범위한 응용 분야에서 강한 성능을 보여왔다. 그러나 그 복잡성이 증가함에 따라 설명 가능성(explainability)에 상당한 도전을 제기한다. 기존 설명 방법은 ETGNN 내 정보 흐름의 일부만을 다루며, 일반적으로 출력에 대한 이벤트 관련 임베딩의 기여를 추적한다. 따라서 노드 간 상호작용을 매개하며 장거리 시간 의존성을 포착하는 데 핵심적인 역할을 하는 이벤트 유발 변수(event-induced variables)를 통한 중요한 경로를 간과한다. 이 한계를 극복하기 위해, 우리는 모든 이벤트 관련 변수를 통한 전체 정보 흐름을 분석하는 새로운 귀속(attribution) 방법을 제안한다. 우리 방법은 최근 Normalized Relevance Measure(NRM) 프레임워크를 기반으로 하며, 이벤트 임베딩에서 기원하는 정보 흐름뿐만 아니라 이벤트 유발 변수를 통과하는 정보 흐름의 명시적 정량화를 가능하게 한다. 또한 레이어 간 잠재 변수의 비교 가능성을 보장하고, 이벤트 간 상호작용의 고차 분석을 지원한다. ETGNN의 아키텍처 복잡성을 처리하기 위해, 복잡한 신경 아키텍처에 대한 관련성 구조의 체계적 구성을 용이하게 하는 모듈식 분해 절차로 NRM 프레임워크를 확장한다. 우리는 전염병 추적과 사회 역학을 위한 두 개의 합성 데이터셋과 정치 이벤트 네트워크의 실제 데이터셋에서 접근법을 평가한다. 정성적 및 정량적 실험은 우리 방법이 기존 설명 접근법을 일관되게 능가하며 더 인간이 해석 가능한 설명을 생성함을 보여준다.

arXiv:2607.12284v1cs.CV

GeoSEAN: ASEAN 지역을 위한 설명 가능한 국가 수준 이미지 지리위치 추정

GeoSEAN: Explainable Country-Level Image Geolocation for ASEAN Regions

이미지 지리위치 추정(image geolocation)은 시각적 콘텐츠만으로 이미지의 지리적 출처를 추론하는 것을 목표로 한다. 그러나 이 과업은 도시, 도로변, 건축, 환경적 특성이 유사한 국가들이 공유하는 지역에서는 여전히 어렵다. 기존의 많은 지리위치 추정 모델은 좌표 수준 예측이나 분류(classification) 성능에 초점을 맞추면서, 시각적 증거가 위치 예측에 어떻게 기여하는지에 대한 통찰은 제한적으로 제공한다. 본 연구는 11개 ASEAN 국가를 위한 설명 가능한 국가 수준 이미지 지리위치 추정 파이프라인을 제시한다. 먼저 GeoGuessr 스타일 소스, Google Images, 추가 도로 수준(street level) 영상에서 4,850장의 이미지를 수집하였다. 이어서 이 데이터셋(dataset)에 대해 세 가지 접근법을 평가하였다: CLIP 제로샷(zero-shot) 분류, LightGBM 분류기, MLP 분류기. MLP가 최고의 테스트 성능을 달성하여 정확도와 F1 점수 85.91%를 기록하였다. 설명 가능성(explainability)을 위해 MLP 분류기가 생성한 예측을 사후(post hoc) 분석하였으며, CLIP 어텐션(attention) 롤아웃(rollout), 원본 이미지에 대한 YOLO26 객체 검출(object detection), Energy Based Pointing Game(EBPG) 겹침(overlap) 지표를 사용하였다. 객체 수준 분석에 따르면, 자주 검출되는 객체가 반드시 가장 높은 어텐션 밀도와 연관되지는 않으며, 이는 객체 빈도와 어텐션 기반 시각적 증거가 장면의 서로 다른 측면을 포착함을 시사한다. 이러한 결과는 제안된 모델(model)이 정확한 지역 이미지 지리위치 추정을 지원하면서, 예측의 근거가 되는 시각적 단서에 대한 객체 수준 검사를 가능하게 함을 보여준다.

arXiv:2607.12588v1cs.AI

EU AI법에 따른 고위험 AI 시스템의 수직 표준화: 알고리즘 채용을 위한 도메인 특화 프레임워크

Vertical Standardisation for High-Risk AI Systems under the EU AI Act: A Domain-Specific Framework for Algorithmic Hiring

최근 유럽 법률에 따르면, 고위험 AI 시스템은 유럽 인공지능(AI)법에 명시된 바와 같이 위험 관리, 데이터 품질 및 거버넌스, 로깅 및 추적 가능성, 기술 문서화, 투명성, 인간 감독(human oversight), 정확도(accuracy) 등 특정 영역과 관련된 요건을 준수하기 위해 적응해야 한다. AI 표준화 과정이 반복적으로 진행될 것으로 예상되고, 현재까지 알고리즘 채용의 과제를 완전히 포괄하는 유럽 AI 표준이 없기 때문에, 우리는 유럽 집행위원회가 지정한 관련 AI 영역과 관련된 구체적인 표준화 지향 권고안을 제안한다. 이러한 각 영역에 대해 우리는 고위험 도메인, 특히 채용 분야의 AI 시스템이 충족해야 하는 요건과 AI법에서 파생되는 요건에 부합하여 적절한 사용과 기대 성능을 보장하기 위해 수행해야 하는 활동을 설명함으로써 맥락을 설정한다. 기존의 수평적 AI 거버넌스 및 표준화 접근법과 달리, 본 논문은 AI법의 요건을 구체적인 표준화 권고안에 매핑함으로써 알고리즘 채용, 특히 순위 기반 채용 시스템을 위한 수직적이고 도메인 특화된 프레임워크를 제시하며, 채용 시스템에서의 수명 주기 차별 위험, 공정성을 고려한 데이터 거버넌스, 설명 가능성(explainability), 인간 감독, 배포 후 모니터링에 초점을 맞춘다. 우리의 권고안이 유럽 프로젝트 FINDHR의 성과에 기반하였음에도 불구하고, 프로젝트의 기술적 산출물에 종속되지 않으며 대안적인 방법, 도구 또는 거버넌스 메커니즘을 사용하여 구현될 수 있다.

arXiv:2607.12584v1cs.SD

위너-홉프 선형 예측 기반 설계상 설명 가능한 오디오 딥페이크 탐지

Explainable-by-Design Audio Deepfake Detection via Wiener-Hopf Linear Prediction

합성 음성 생성 방법의 빠른 발전으로 오디오 딥페이크 탐지는 멀티미디어 포렌식에서 중요한 과제가 되었다. 최근 접근법들은 높은 탐지 정확도를 달성하지만, 일반적으로 해석 가능성이 제한되고 계산 복잡도가 높은 블랙박스 아키텍처에 의존한다. 본 논문에서는 위너-홉프 선형 예측에 기반하고 경량 2차원 합성곱 신경망(CNN)으로 처리하는 설계상 설명 가능한 오디오 딥페이크 탐지 프레임워크를 제안한다. 이 설계는 분류 결과와 신호의 음향 특성 사이에 직접적이고 투명한 연결을 가능하게 한다. 벤치마크 데이터셋에서의 실험 결과는 최신 기법 대비 현저히 낮은 계산 복잡도를 유지하면서 경쟁력 있는 탐지 성능을 보여준다. Grad-CAM을 이용한 해석 가능성 분석 결과, 분류기는 저차 예측기 계수와 침묵 및 전이 구간에 집중하는 것으로 나타났으며, 이는 위너-홉프 예측기가 합성 음성의 잔향 특성과 미세한 통계적 불일치를 포착함을 시사한다. 마지막으로, 강건성 실험은 미세조정이 가산 노이즈, MP3 압축, 전화 필터링을 포함한 일반적인 후처리 열화 하에서 탐지 성능을 효과적으로 회복함을 보여준다.

arXiv:2607.10365v1cs.CV

비전 트랜스포머의 효율적 설명 가능성을 위한 그래디언트-스킵 관련성 전파

Gradient-Skipping Relevance Propagation for Efficient Explainability of Vision Transformers

비전 트랜스포머(ViT)는 현재의 관련성 전파(relevance propagation) 및 어텐션 흐름(attention flow) 방법이 어텐션 헤드의 불균등한 중요도나 잔차 연결(residual connection)과 같은 핵심 아키텍처 특성을 충분히 고려하지 못하기 때문에 해석하기 어렵다. 기존 접근법들은 일반적으로 모든 어텐션 헤드의 중요도가 균일하다고 가정하며, 스킵 연결(skip connection)을 항등 경로(identity path)로 모델링함으로써 부정확한 관련성 귀속(relevance attribution)을 초래한다. 이러한 문제를 해결하기 위해 우리는 적응적 헤드 가중치(adaptive head weighting)와 스킵 인식 전파(skip-aware propagation)를 기반으로 한 ViT용 새로운 관련성 전파 방법인 GradSkip을 제안한다. GradSkip은 어텐션 헤드별 중요도 차이를 모델링하고, 어텐션 경로와 잔차 경로 사이에서 관련성을 동적으로 분배한다. ImageNet1K 및 BloodMNIST에 대한 실험에서 GradSkip은 최상위 성능의 기존 접근법 대비 14배 이상 적은 GFLOP을 요구하면서도 최고 수준의 충실도(faithfulness)를 달성함을 입증하였다. 트랜스포머 기반 분할(segmentation) 모델을 활용한 추가 평가에서도 개선된 위치 파악(localization) 성능과 정답 영역과의 정렬(alignment) 향상이 확인되었다.

arXiv:2607.09649v1cs.AI

ConceptSMILE: 개념 기반 설명 가능한 AI의 신뢰성 감사

ConceptSMILE: Auditing the Trustworthiness of Concept-Based Explainable AI

개념 기반 설명 가능한 인공지능(AI)은 모델 추론을 인간이 이해하기 쉽게 만들 수 있지만, 개념 수준의 출력이 자동으로 신뢰할 수 있는 것은 아니다. 본 논문에서는 개념 기반 설명의 신뢰성을 평가하기 위한 모델 비의존적 퍼터베이션 기반 감사 프레임워크인 ConceptSMILE을 소개한다. ConceptSMILE은 SMILE을 대체하는 것이 아니라, 특징(feature) 또는 영역 수준의 어트리뷰션에 적용된 퍼터베이션 기반 논리를 인간이 이해할 수 있는 개념 설명의 감사로 확장한다. 이 프레임워크는 입력 영역을 퍼터베이션하고, 개념 응답 변화를 측정하며, 지역성 가중치를 적용하고, XGBoost 서로게이트를 적합시켜 국소적 개념 동작을 근사한다. 신뢰성은 어트리뷰션 정확도, 서로게이트 충실도, 페이스풀니스(faithfulness), 안정성, 일관성을 통해 평가된다. 망막 안저 이미지에서 MedSAM 기반 시각적 개념과 시각-언어 모델(VLM) 기반 의미론적 개념을 비교하여 ConceptSMILE을 평가한다. 결과에 따르면 신뢰성은 개념 및 경로에 따라 다르게 나타났다: MedSAM은 더 강한 공간적 어트리뷰션과 가장 높은 서로게이트 충실도($R^2 = 0.8503$, $R_w^2 = 0.8465$)를 달성한 반면, VLM 경로는 선택된 아티팩트 조건 하에서 더 강한 혈관 페이스풀니스와 더 강한 안정성을 보였다. ConceptSMILE은 개념 기반 XAI의 신뢰성을 평가하기 위한 독립적인 감사 층(layer)을 제공한다.

arXiv:2607.09378v1quant-ph

경로가 소진될 때: 양자 중계기 네트워크에서의 적대적 공동학습과 설명 가능한 강건성

When Routes Run Out: Adversarial Co-Learning and Explainable Robustness in Quantum Repeater Networks

우리는 소규모 그래프 코퍼스에서 얽힘 기반 양자 네트워크 라우팅에 대한 적대적 밴딧 문제를 연구한다. Alice는 자신의 수(move)를 나타내는 Ekert-91 프로토콜(E91)을 위한 종단간 중계기 경로를 선택하고, Eve는 공격 표면—엣지 가로채기-재전송 또는 중계기 메모리 열화—을 선택한다. 보상은 캐시된 SeQUeNCe 시뮬레이션 E91 트랜스크립트에서 추출되며, 유한 표본 통계량이 Clauser-Horne-Shimony-Holt(CHSH) 경계를 위반할 때 Alice는 턴을 수락한다. 50개의 구조화된 토폴로지에 걸쳐 적대적 공동학습을 수행한 결과, 학습된 보유율이 전체 행렬 미니맥스 기준을 긴밀하게 추적함을 발견하였다(피어슨 r=0.99): 단일 표면 Eve 행동 모델 하에서 병목 패밀리는 보유율이 0이며, 비병목 패밀리는 1-1/N 커버리지 원칙을 따른다. 이후 그래프, 공격, 경로 수준의 토폴로지 코퍼스 타깃에 의사결정 트리 설명 모델을 적합시키고 그 충실도를 보고한다. 마지막으로 로컬 언어 모델이 트리 증거를 요약할 수 있도록 프롬프트 기록을 구성하여, 양자 중계기 네트워크 게임을 위한 오픈소스 설명 워크플로우를 제시한다.