arXiv:2610.10957v1 cs.LG

TRACE: 프로덕션 AI 시스템의 설명가능성 부채 측정을 위한 거버넌스 프레임워크

TRACE: A Governance Framework for Measuring Explainability Debt in Production AI Systems

Harish Kant Pathak

제출 2026-10-07

저자 비고

arXiv Comments

28 pages, 4 figures, 4 tables. Keynote presented at ICIDS 2026 (Manipal University Jaipur) and IEEE Al-Khwarizmi 2026. IEEE Senior Member #101994709. U.S. Provisional Patent Application No. 64/159,545 (USPTO Confirmation #9430) covers aspects of the TRACE/EDS framework

한국어 초록

중대한 영향을 미치는 고위험(high-stakes) 영역에 배포된 프로덕션 AI 시스템에는 기존 모니터링 프레임워크로는 감지하지 못하는 거버넌스 부채가 축적됩니다. 바로 규제 기관, 감사인 또는 영향을 받는 개인이 책무성을 요구할 때 개별 결정을 설명하지 못하는 능력이 점진적으로 심화되는 현상입니다. 본 논문에서는 프로덕션 AI 시스템에서 설명가능성 부채(Explainability Debt)를 측정, 추적 및 개선하기 위한 7가지 도구 기반의 거버넌스 프레임워크인 TRACE(Transparency, Risk, Accountability, Compliance, and Explainability)를 소개합니다. 핵심 도구인 설명가능성 부채 점수(EDS, Explainability Debt Score)는 임의의 시점에서 거버넌스에서 정의한 설명가능성 신뢰도 임계값에 미치지 못하는 프로덕션 결정의 비율을 정량화합니다. 보완 도구로는 DART(위반 예측을 위한 부채 축적률 추적기), SHIV(일일 거버넌스를 위한 시나리오 건전성 및 무결성 검증기), FDE(인과 관계 귀속을 위한 특징 드리프트 평가기), HVE(인간 검증 엔진), AIDE(감사 개입 결정 엔진), ZERO(개선을 위한 무결점 설명가능성 위험 최적화기)가 포함됩니다. 매일 50,000건의 금융 거래를 처리하며 98.46%의 정확도와 0.9990의 ROC-AUC를 달성한 프로덕션 이상거래 탐지(fraud detection) 시스템에 대한 12개월간의 종단적 사례 연구를 통해, 감사 당일 0.23의 EDS를 DART 궤적 분석을 통해 6개월 전에 통계적으로 예측할 수 있었음을 입증했습니다(beta = 0.008/주, R-squared = 0.94, 95% CI: [0.006, 0.010]). 또한 설명가능성 부채의 78%가 가장 규제 위험이 높은 결정 범주(10,000달러 초과 거래)에 집중되어 있었으며, 이는 시스템 수준의 지표로는 전혀 감지할 수 없는 위험 비대칭성이었습니다. TRACE는 프로덕션 AI 배포 환경에서 EU AI 법(EU AI Act) 제13조 준수를 위한 최초의 정량적 운영 아키텍처를 제공하며, 설명 생성(explanation generation)과는 구별되는 설명 거버넌스(explanation governance)라는 새로운 하위 분야를 정립합니다.

원문 초록

Production AI systems deployed in high-stakes domains accumulate a governance liability that existing monitoring frameworks fail to detect: the progressive inability to explain individual decisions when regulators, auditors, or affected individuals demand accountability. We introduce TRACE (Transparency, Risk, Accountability, Compliance, and Explainability), a seven-instrument governance framework for measuring, tracking, and remediating Explainability Debt in production AI systems. The foundational instrument, the Explainability Debt Score (EDS), quantifies the proportion of production decisions falling below a governance-defined explainability confidence threshold at any point in time. Complementary instruments include DART (Debt Accumulation Rate Tracker for breach forecasting), SHIV (Scenario Health and Integrity Validator for daily governance), FDE (Feature Drift Evaluator for causal attribution), HVE (Human Validation Engine), AIDE (Audit Intervention Decision Engine), and ZERO (Zero Explainability Risk Optimiser for remediation). Through a twelve-month longitudinal case study of a production fraud detection system processing 50,000 daily financial transactions, achieving 98.46% accuracy and ROC-AUC of 0.9990, we demonstrate that an EDS of 0.23 on audit day was statistically predictable six months in advance using DART trajectory analysis (beta = 0.008/week, R-squared = 0.94, 95% CI: [0.006, 0.010]), and that 78% of Explainability Debt was concentrated in the highest-regulatory-risk decision category (transactions above $10,000), a risk asymmetry completely invisible to system-level metrics. TRACE provides the first quantitative operational architecture for EU AI Act Article 13 compliance in production AI deployment, establishing a new subdiscipline of explanation governance distinct from explanation generation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.10957v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24016v1cs.AI공통 태그 Anomaly Detection, Fraud Detection, ai governance

AI 시스템의 맥락 인식 기반 배포 전 평가: 나이지리아 핀테크를 위한 규제 프레임워크

Context-Aware Pre-Deployment Evaluation of AI Systems: A Regulatory Framework for Nigerian Fintech

상용 대규모 언어 모델(LLM)이 사기 탐지 및 고객 커뮤니케이션을 위해 아프리카 핀테크 인프라 전반에 점점 더 많이 배포되고 있으나, 조달 전 이러한 시스템이 어떤 배포 전 평가(pre-deployment evaluation)를 거쳐야 하는지 명시한 나이지리아 또는 아프리카 대륙 차원의 규제 문서는 전무하다. 본 논문은 글로벌, 아프리카 대륙, 나이지리아의 규제 문서를 아울러 아프리카 핀테크 AI 거버넌스를 검토하고, 안전성(safety)은 원칙으로 확인되는 반면 배포 전 평가는 운영상 구체화되어 있지 않음을 보여준다. 범용 안전성 벤치마크는 나이지리아 기관 관련 콘텐츠를 포함하지 않으며 정상적인 금융 커뮤니케이션의 위양성(false positive) 오분류를 테스트하지 않으므로, 이 도메인에 가장 밀접한 실패 모드를 드러낼 수 없다. 이러한 주장은 3가지 시스템 프롬프트 조건에서 6개의 상용 모델에 적용된 전용 평가 도구인 SafeAlert를 통해 입증된다. 실험 결과에 따르면 범용 유해 콘텐츠 요청을 거부하는 모델도 특정 프레이밍 하에서는 완전한 사기 스크립트를 생성하며, 여러 모델이 대부분의 정상적인 나이지리아 은행 커뮤니케이션을 의심스럽거나 사기성 있는 것으로 오분류하는 등 표준 안전성 평가에서는 드러나지 않는 실패를 보였다. 본 논문은 확인된 격차가 기술적 또는 재정적 자원의 부족이 아니라 규제적 명세의 부재를 반영한다고 주장하며, CBN, NITDA, SEC 및 AU를 위한 배포 전 평가 요건을 제안하는 규제 프레임워크로 결론을 맺는다.

arXiv:2608.24631v2quant-ph공통 태그 Anomaly Detection, Fraud Detection

유사도가 상호작용에 의해 결정될 때: 체제 민감 학습을 위한 양자 커널

When Similarity Is Interaction-Driven: Quantum Kernels for Regime-Sensitive Learning

많은 의사결정 시스템에서 유사도는 거리만으로 결정되는 것이 아니라 변수들 간의 상호작용에 의해 좌우된다. 사기 탐지 및 이상 탐지(anomaly detection)에서는, 국소적인 작은 교란(perturbation)이 주변 거리는 거의 변화시키지 않으면서도 상호작용에 민감한 결정 경계(decision boundary)를 넘어설 수 있다. 이러한 상황에 착안하여, 우리는 박층(thin-slab) 상호작용 모델과, 얽힌(entangled) 파울리 문자열(Pauli-string) 특징 맵으로 구성된 상호작용 기반 양자 커널(quantum kernel)을 제안한다. 이 특징 맵은 희소한 고차 블록 상호작용(sparse high-order block interactions)을 명시적으로 인코딩한다. 우리는 그 결과로 얻어지는 충실도 커널(fidelity kernel)이 양의 준정부호(positive semidefinite)이며, 정확한 블록 분해(block-factorized) 형태로 표현 가능하고, 상호작용 체제(interaction regime)의 변화에 민감한 기하 구조를 유도함을 보인다. 3차, 4차, 6차, 8차 상호작용을 포괄하는 균형 및 불균형 합성 실험 전반에서, 제안된 커널은 선형 커널, 방사 기저 함수(RBF) 커널, 라플라시안(Laplacian) 커널, 다항(polynomial) 커널은 물론, 심어진(planted) 블록 곱을 제공받은 조작된 상호작용 선형 기준선(baseline)보다도 일관되게 더 우수한 성능을 보인다. 실제 사기 탐지 벤치마크에서는, Credit Card Fraud Detection 데이터셋에서 가장 높은 평균 정확도와 F1 점수를 달성하며, IEEE-CIS Fraud Detection에서는 2위를 기록한다. 156큐비트(qubit) IBM Quantum 프로세서에서 4차 설정으로 실행한 결과, 하드웨어로 추정한 커널은 시드 간 변동성(seed-to-seed variability) 범위 내에서 노이즈 없는 시뮬레이터와 일치하며, 기준선들에 대한 우위를 그대로 유지한다. 이러한 결과는 양자 커널의 성능이 힐베르트 공간(Hilbert space)의 차원만이 아니라, 특징 맵의 기하 구조와 기저의 예측 구조 사이의 정합(alignment) 여부에 좌우됨을 보여준다. 제안된 블록 분해 커널은 고전 컴퓨터에서도 정확하게 계산될 수 있으므로, 본 연구의 결과는 계산적인 양자 가속(quantum speedup)이 아니라 예측적 및 표현적 가치를 입증하는 것이다.

arXiv:2609.27287v1cs.LG공통 태그 Anomaly Detection, Fraud Detection

SR-Fraud: 비정상(non-stationary) 결제 사기 탐지를 위한 결과 지도(outcome-supervised) 반성형 LLM 에이전트 프레임워크

SR-Fraud: An Outcome-Supervised Reflective LLM Agent Framework for Non-Stationary Payment Fraud Detection

실시간 결제 사기 탐지는 비정상(non-stationary) 스트리밍 예측 문제이다. 적대자는 지도 라벨이 성숙하기 전에 적응하고, 국소적 버스트 공격은 재학습 전에 손실을 유발할 수 있다. 프로덕션 시스템은 일반적으로 테이블형 분류기와 규칙에 의존하며, 주기적 재학습이 이루어지기 전에 새로 나타나는 순차 패턴을 포착하는 데 어려움을 겪을 수 있다. 우리는 요청 시점 의사결정과 오프라인 적응을 분리하는 결과 지도(outcome-supervised) 반성형 LLM 프레임워크인 SR-Fraud를 제안한다. 동결(frozen)된 무상태(stateless) 에이전트가 Hybrid Episodic Window로부터 각 거래를 점수화하여 행동 변화를 추적하고, 오프라인 반성 에이전트는 성숙한 오류로부터 경계 가설을 제안한다. 결정론적 검증기는 이어서 지지되는 가설만 실행 가능한 지식 상태에 편입한다. 프로덕션 결제 사기 벤치마크에서 SR-Fraud는 동결된 의사결정 에이전트 대비 모든 탐지 지표를 개선하고, 정적 및 주기적 재학습 CatBoost보다 높은 점 추정치(point estimate)를 얻으며, 새로 나타나는 사기 버스트를 탐지한다.

arXiv:2607.19350v1cs.AI공통 태그 Anomaly Detection, Fraud Detection

강건한 금융 사기 탐지와 적대적 회복력을 위한 LSTM-그래프 신경망 하이브리드 프레임워크

Hybrid LSTM-Graph Neural Framework for Robust Financial Fraud Detection and Adversarial Resilience

금융 기관은 극심한 데이터 불균형(사기 비율 0.13%)과 진화하는 적대적 회피 전술로 인해 스머핑(smurfing) 및 레이어링(layering)과 같은 정교한 자금 세탁 패턴을 탐지하는 데 큰 어려움을 겪고 있다. 본 논문은 시간적 시퀀스와 구조적 관계 맥락을 모두 포착하기 위해 장단기 기억(Long Short-Term Memory, LSTM) 네트워크와 수공 제작 그래프 위상학적 특징을 통합하는 하이브리드 프레임워크인 FraudShield AI를 제안한다. PageRank 중심성, 입력 차수(In-Degree) 역학, 맞춤형 Flow Ratio를 포함한 네트워크 중심 특징을 설계함으로써, 이 시스템은 탐지 패러다임을 개별 거래 분석에서 네트워크 수준 포렌식으로 전환한다. 클래스 불균형을 해결하기 위해 Focal Loss 목적함수를 사용하고, 저가치 스머핑 공격에 대한 회복력을 높이기 위해 동적 임계값 설정 메커니즘을 도입한다. PaySim 데이터셋에 대한 실험 평가 결과, 제안된 하이브리드 모델이 정밀도, 재현율, F1-Score에서 로지스틱 회귀 및 XGBoost 베이스라인을 크게 능가했으며, 특히 탐지가 어려운 소액 거래 사기 패턴에서 두드러진 성능을 보였다. 절제(ablation) 연구를 통해 시간적 구성요소와 위상학적 구성요소가 상호 보완적으로 기여함을 확인했다.

arXiv:2607.13469v1cs.LG공통 태그 Anomaly Detection, Fraud Detection

은행 거래 이상 탐지를 위한 설명 가능한 인공지능: 내부 감사 관점

Explainable Artificial Intelligence for Anomaly Detection in Banking Transactions: An Internal Audit Perspective

은행 부문은 사기 징후를 찾기 위해 전자 거래를 모니터링하는 자동화 시스템에 점점 더 의존하고 있지만, 기존 규칙 기반 접근법은 높은 오탐(false-positive)률에 어려움을 겪고 출력에 대한 근거를 제공하지 않아 규정 준수(compliance) 팀의 활용도를 제한한다. 본 논문은 내부 감사 워크플로에서 은행 거래 이상 탐지를 위해 맞춤 설계된 설명 가능한 인공지능(XAI) 프레임워크를 제안한다. Isolation Forest(iForest) 모델이 비지도 이상 점수화를 수행하고, SHAP(SHapley Additive exPlanations) 층이 협력 게임 이론 [8]에 기반한 거래 수준의 특징 기반 설명을 제공한다. 경량 Streamlit 대시보드는 머신러닝 전문 지식이 없는 감사 전문가도 접근할 수 있는 형태로 이러한 출력을 시각화한다. 합성 은행 데이터셋에서의 평가는 정밀도 0.91과 재현율 0.88을 달성하여 세 가지 비지도 기준선을 능가한다. 전문가 피드백은 특징 수준 설명이 감사자의 신뢰와 의사결정 품질을 측정 가능한 정도로 향상시킴을 확인한다. 이 프레임워크는 규제가 있는 금융 환경에서 책임 있고 투명한 AI의 실용적 배포를 앞당긴다.

arXiv:2607.10317v1cs.CL공통 태그 Anomaly Detection, Fraud Detection

나이지리아 핀테크 섹터의 구조적 불평등 중립화

Neutralizing Structural Inequality in the Nigerian FinTech Sector

금융 서비스의 알고리즘 의사결정 시스템은 구조적 불평등을 의도치 않게 인코딩하는 데이터 프록시에 의존하는 경우가 많다. 본 논문은 나이지리아 핀테크 섹터의 포인트 오브 세일(Point of Sale) 사기 탐지를 위한 계층적 인간-AI 트리아지 모델을 소개한다. '우리 모두는 평등하다(We Are All Equal)' 세계관을 채택하여, 시스템이 농촌 네트워크 타임아웃과 같은 인프라 관련 우연적 노이즈(aleatoric noise)를 사기 의도로 잘못 해석하는 차별 세탁(discrimination laundering) 문제를 다룬다. 우리는 보정된 앙상블 모델을 1차 필터로 활용하는 3단계 라우팅 정책을 구현한다. 이 정책은 콜드 스타트 신규 계정과 같이 인식론적 불확실성(epistemic uncertainty)을 특징으로 하는 거래를 전문 분석가에게 라우팅하는 한편, 고위험 사례는 선임 감독자를 위해 유보한다. 유한한 인간 처리 용량을 관리하기 위해 동적 섀도우 가격(dynamic shadow price)을 활용하여 인간의 주의를 배분하고, 인간 기술 퇴화를 방지하는 무작위 감사 메커니즘을 구현한다. 실험 결과, 자율 기준선 대비 통계적으로 유의미한 1.88%의 상보성 격차(complementarity gap)와 24.79%포인트의 사기 재현율 향상이 확인되었다. 특히, 모델은 지역 간 성능 격차를 19.43에서 2.88 퍼센트포인트로 줄여 구조적 바이어스를 중립화한다. 계층적 협력은 실질적인 기회 균등을 위한 강건한 메커니즘을 제공하며, 농촌 계정이 환경적 우연(environmental brute luck)으로 인해 디지털 경제에서 배제되지 않도록 보장한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.