Explainable AI(XAI) 기법—특징 기여도(feature attribution)부터 희소 자기인코더(sparse autoencoder)에 이르기까지—의 확산에도 불구하고, 설명은 실제 업무 흐름에 거의 영향을 미치지 않는다. 실무에서는 설명이 종종 생성된 뒤 버려지며, 의미 있는 행동을 이끌어내지 못한다. 이 격차는 기초적 한계를 반영한다. 연구는 아직 설명을 end-to-end, human-in-the-loop 시스템에 통합하는 방법론을 확립하지 못했다. 본 position paper는 기계학습 커뮤니티가 임시방편적 XAI 방법에서 방향을 전환하여, 불명확한 문제 정식화, 명시가 부족한 평가 목표, 설명 기반 피드백을 위한 파이프라인 부재 등 기초적·구조적 과제를 해결해야 한다고 주장한다. 최근 ICML, NeurIPS, ICLR 논문 분석과 XAI 실무자 설문을 통해 이 주장을 뒷받침하며, 누적적 진보를 제한하는 반복적 문제를 드러낸다. 마지막으로 XAI를 보다 인간 중심적이고 행동 지향적인 패러다임으로 전환하기 위한 실용적 체크리스트를 개략적으로 제시한다. 임시방편적 방법 개발보다 기초적 명확성을 강조함으로써, 설명을 실행 가능하고 피드백 기반 AI 시스템에 통합하기 위한 로드맵을 제공하고자 한다.
어노테이션 품질은 정신 건강 연구를 위한 신뢰할 수 있고 설명 가능한 인공지능(XAI) 시스템 구축의 주요 병목이다. 우울 관련 데이터셋에서는 라벨이 종종 구조화된 근거, 증상 수준 정당화, 또는 «정신장애의 진단 및 통계 편람» 5판 텍스트 개정판(DSM-5-TR) 기준과의 추적 가능한 정렬 없이 부여되어, 투명성과 하류 모델의 해석가능성을 모두 제한한다. 우리는 대규모 언어 모델(LLM) 보조 라벨링과 전문가 검증을 결합한 주요 우울 장애(Major Depressive Disorder, MDD)용 자기 진화형 전문가-참여(expert-in-the-loop) 어노테이션 프레임워크를 제안한다. 이 프레임워크는 임상 진단을 수행하기보다는 설명 가능하고 DSM-5-TR에 정렬된 데이터셋 구축을 지원하기 위한 것이다. 3단계로 작동한다: 텍스트 기록으로부터 후보 근거 선택, 기준 수준의 DSM-5-TR 분석, 라벨 수준의 진단 및 중증도 어노테이션을 생성하는 사례 수준 종합. 예시 메모리(Example Memory)와 성찰 메모리(Reflection Memory)로 구성된 이중 메모리 아키텍처는 재학습 없이 전문가 피드백을 내재화하고 향후 어노테이션을 반복적으로 개선하도록 설계되었다. 우리는 이 메커니즘을 설명하고, 다중 피드백 주기에 걸친 평가는 향후 연구에 맡긴다. 최종 라벨 외에도 이 프레임워크는 임상적 근거, 추론 추적, 편집 이력을 내보내 포괄적인 감사 가능성을 가능하게 한다. 전문가 검토 표본을 사용한 파일럿 연구에서, 제안된 접근법은 수동 수정 노력을 줄이면서 어노테이션 일관성과 설명 가능성을 향상시켰다.
산업 공정에서 자동화된 최적화가 점점 더 널리 채택되고 있으나, 이러한 알고리즘을 설계하는 엔지니어와 권고 사항에 따라 조치해야 하는 운영자 사이에는 여전히 신뢰 격차가 존재한다. SHAP(SHapley Additive exPlanations)와 같은 설명 가능 AI(Explainable AI) 방법은 머신러닝 예측의 해석 가능성을 변화시켰으며, 최적화 결과 역시 유사한 기법의 이점을 누릴 수 있다. 본 연구는 암시함수 정리(Implicit Function Theorem, IFT) 기반 민감도 분석을 SHAP 속성 부여와 대규모 언어 모델(LLM)을 통한 서술 생성에 통합하여 운영자 맞춤형 설명을 생성하는 접근법을 제시한다. 본 접근법은 IFT를 활용해 최적성 조건으로부터 정확한 매개변수 민감도 $\partial p^*/\partial x$를 계산하고, 이를 통해 효율적인 GradientSHAP 계산을 가능하게 한다. 22개 특성을 갖는 산업용 고압 롤 분쇄기(High Pressure Grinding Roll, HPGR) 제어 최적화 문제에서 KernelSHAP과 상관관계 $>$0.99의 동등한 SHAP 속성 부여를 달성하면서 40$\times$ 이상 속도 향상을 이루어 실시간 자연어 설명을 가능하게 한다. 산업 시나리오에서 이를 검증하고 생성된 설명에 대한 도메인 전문가 피드백을 제시한다.
데이터 시각화의 설득력은 잘못된 방향으로 작용할 수 있다. 예를 들어, 설명 가능 AI(XAI) 맥락에서 시각화는 예측 모델에 대한 과도한 신뢰(over-trust)를 유발할 수 있다. 본 논문에서는 크라우드소싱 연구를 통해, 모델 설명에 정확하지만(불필요하거나 무관한) 데이터를 제공하는 것이 실제로 모델이 명백히 차별적이고 불공정한 경우에도 불구하고 모델에 대한 부당한 신뢰 및 기타 긍정적 믿음을 초래할 수 있음을 보인다. 우리의 결과는 XAI 설계자와 개발자들이 자신의 작업에 내재되거나 명시적인 수사를 고려해야 하며, 시각화가 모델에 근거 없는 신뢰를 불어넣을 수 있는 잠재력에 주의해야 함을 시사한다.
교란 기반 xAI 방법은 심층 학습 모델의 동작과 예측을 분석하는 데 널리 사용된다. 입력 영역을 변경하고 원본 이미지 대비 클래스 확률의 변화를 측정함으로써, 각 영역의 예측 기여도를 반영하는 관련성 점수를 할당하고 히트맵을 생성한다. 그러나 겉보기 단순함에도 불구하고 교란 기반 방법은 매개변수 선택에 민감하다. 본 연구에서는 교란 파이프라인의 두 가지 핵심 매개변수, 즉 교란 영역의 크기와 형태를 포함하는 패치 기하학(patch geometry)과 대체 방식(replacement scheme)으로 정의되는 교란 유형(perturbation type)에 초점을 맞춘다. 합성개구레이더(Synthetic Aperture Radar, SAR) 영상을 이용한 홍수 탐지라는 사용 사례에 근거하여, 다양한 교란 설정 하에서 관련성 추정이 어떻게 변하는지 포괄적으로 조사한다. 결과 관련성 맵의 시각적 검토를 넘어, 교란 전략 간 일관성과 모델의 추론에 대한 충실성(faithfulness)을 평가한다. 서로 다른 교란 선택이 결과 관련성 맵을 어떻게 유도할 수 있는지, 모호하거나 심지어 상충하는 설명을 초래할 수 있음을 보여준다. 연구 결과는 교란 기반 xAI에서 방법론적 설정의 중요성을 강조한다. 이는 교란 선택을 면밀히 검토·평가하고 설명을 해석할 때 그것을 필수 구성 요소로 다루어, 설명과 모델 예측 모두에 대한 견고한 이해를 보장할 필요성을 부각한다.
기는하목(Ichneumonoidea) 초과에 속하는 기생벌의 정확한 분류학적 식별은 생물다양성 평가, 생태 모니터링, 생물학적 방제 프로그램에 필수적이다. 그러나 형태적 유사성, 작은 몸 크기, 미세한 종간 변이로 인해 수동 식별은 노동 집약적이며 전문성에 의존한다. 본 연구는 해석 가능성을 높이기 위해 고해상도 클래스 활성화 매핑(High-Resolution Class Activation Mapping, HiResCAM)과 통합된 YOLO 기반 아키텍처를 사용하여 Ichneumonoidea 기생벌을 자동으로 식별하는 심층 학습 기반 프레임워크를 제안한다. 제안된 시스템은 고해상도 이미지로부터 말벌류 과(family)를 동시에 식별한다. 데이터셋은 벌목(Hymenoptera) 표본의 고해상도 이미지 3556장으로 구성된다. 분류학적 분포는 주로 좀벌과(Ichneumonidae, n = 786), 뿔벌과(Braconidae, n = 648), 꿀벌과(Apidae, n = 466), 말벌과(Vespidae, n = 460)에 집중되어 있다. 큐레이션된 데이터셋을 사용하여 광범위한 실험을 수행하였으며, 모델 성능은 정밀도, 재현율, F1 score, 정확도를 통해 평가되었다. 결과는 96% 이상의 높은 정확도와 형태적 변이에 걸친 견고한 일반화를 보여준다. HiResCAM 시각화는 모델이 날개맥(wing venation), 더듬이 분절, 후체(metasomal) 구조와 같은 분류학적으로 관련된 해부학적 영역에 집중함을 확인하여, 학습된 특징의 생물학적 타당성을 검증한다. 설명 가능한 AI 기법의 통합은 투명성과 신뢰성을 향상시켜, 잘 기술되지 않은 기생벌 초과에서 생물다양성 특성화를 가속화하는 곤충학 연구에 적합한 시스템을 만든다.
은행 부문은 사기 징후를 찾기 위해 전자 거래를 모니터링하는 자동화 시스템에 점점 더 의존하고 있지만, 기존 규칙 기반 접근법은 높은 오탐(false-positive)률에 어려움을 겪고 출력에 대한 근거를 제공하지 않아 규정 준수(compliance) 팀의 활용도를 제한한다. 본 논문은 내부 감사 워크플로에서 은행 거래 이상 탐지를 위해 맞춤 설계된 설명 가능한 인공지능(XAI) 프레임워크를 제안한다. Isolation Forest(iForest) 모델이 비지도 이상 점수화를 수행하고, SHAP(SHapley Additive exPlanations) 층이 협력 게임 이론 [8]에 기반한 거래 수준의 특징 기반 설명을 제공한다. 경량 Streamlit 대시보드는 머신러닝 전문 지식이 없는 감사 전문가도 접근할 수 있는 형태로 이러한 출력을 시각화한다. 합성 은행 데이터셋에서의 평가는 정밀도 0.91과 재현율 0.88을 달성하여 세 가지 비지도 기준선을 능가한다. 전문가 피드백은 특징 수준 설명이 감사자의 신뢰와 의사결정 품질을 측정 가능한 정도로 향상시킴을 확인한다. 이 프레임워크는 규제가 있는 금융 환경에서 책임 있고 투명한 AI의 실용적 배포를 앞당긴다.
연합 학습(Federated Learning, FL)은 분산되고 이질적인 데이터 소스에 걸친 프라이버시 보존 협업 모델 학습을 위한 핵심 패러다임으로 부상했다. 원시 데이터를 로컬에 유지함으로써 FL은 데이터 기밀성 우려를 해소하지만, 현대 머신러닝 모델의 불투명성 문제는 해결하지 못한다. 한편 설명 가능한 인공지능(Explainable Artificial Intelligence, XAI)은 특히 고위험 도메인에서 투명성, 신뢰, 책무성(accountability) 향상을 위해 주목받고 있다. 두 분야의 교차점에서 연합 설명 가능 인공지능(Federated Explainable Artificial Intelligence, FedXAI) 패러다임이 등장했으며, 이는 프라이버시와 설명 가능성 요구를 동시에 충족하는 것을 목표로 한다. 본 서베이는 FedXAI에 대한 체계적 검토를 제공하며, 설명 가능성이 사후(post-hoc) 도구에서 FL 생명주기의 필수 구성 요소로 전환되는 과정을 강조한다. 우리는 설명 가능성이 집계(aggregation), 개인화(personalization), 견고성(robustness), 조율(coordination), 시스템 수준 의사결정을 어떻게 지원하는지 보여준다. 문헌을 체계화하기 위해, 설명 가능성의 역할, 모델 및 explainer 유형, 설명 범위, 통합 수준, FL 설정, 데이터 이질성(heterogeneity)에 따라 FedXAI 방법을 분류하는 분류 체계(taxonomy)를 제시한다. 우리는 모델 불가지론적(model-agnostic) 설명부터 해석 가능한(interpretable) 연합 모델 및 설명 가능성 인식(explainability-aware) 집계 메커니즘에 이르는 접근법들을 검토한다. 또한 평가(evaluation) 관행을 검토하고, 설명 품질, 안정성(stability), 프라이버시 누출(privacy leakage), 계산 오버헤드(computational overhead)를 측정하기 위한 표준화된 벤치마크(benchmark)와 메트릭(metrics)의 부재를 논의한다. 마지막으로 non-IID 데이터에서의 설명 가능성, 설명 중심(explanation-centric) 보안 위협, 통신 효율적인(communication-efficient) XAI, 지속적(continual) FedXAI, 도메인 지식 및 규제 제약(regulatory constraints)의 통합을 포함한 주요 과제들을 제시한다. 기존 연구를 통합하고 핵심 공백을 식별함으로써, 본 서베이는 신뢰할 수 있고 투명하며 프라이버시를 보존하는 연합 AI 시스템 설계를 위한 참조 프레임워크 역할을 한다.
설명 가능한 강화학습(Explainable Reinforcement Learning, XRL)은 강화학습(RL) 정책을 더 투명하고 해석 가능하게 만드는 것을 목표로 하며, 이는 안전-필수(safety-critical) 및 인간 중심 시나리오에서 핵심 요구사항이다. 그러나 XRL은 대부분 사용자 연구에 기반하므로 특정 수용층의 필요를 대상으로 하고 공유된 평가 지표가 부족하다. 한편, 설명 가능한 인공지능(eXplainable Artificial Intelligence, XAI) 내 논리 기반 접근법은 의사결정에 대한 간결하고 사람이 읽을 수 있는 추상화를 제공한다. 그러나 논리적 표현의 설명 가능성 정도를 체계적으로 정량화하는 것은 여전히 열린 문제로 남아 있다.
본 연구는 RL 설정에서 정책 설명 가능성에 대한 객관적이고 계획(planning) 지향적 지표를 도입하여 XRL의 최신 수준을 발전시키는 것을 목표로 한다. 동시에 논리 규칙의 설명 가능성을 정량화하는 원칙적 방법을 제공함으로써 상식적 평가와 단순 명제적 조각(propositional fragments)을 넘어서 XAI를 위한 논리 분야에 기여한다.
우리는 귀납적 논리 프로그래밍(Inductive Logic Programming, ILP)을 사용하여 RL 정책의 기호적 표현을 추출하고, activation rate, feature coverage, syntactic distance, semantic distance를 포함한 새로운 설명 가능성 지표 집합을 정의한다. 이 지표들은 기호적 규칙과 에이전트 행동 간의 정렬(alignment), 의사결정에서 특징의 역할, 단일 및 다중 에이전트 RL에서 학습 과정과 에이전트 간 정책의 진화를 정량화한다.
다양한 RL 도메인에 걸친 실험에서 제안된 지표들은 전역 보상(global return)을 넘어 행동 특이적 학습 역학을 부각하고, 전역 특징 중요도 추정을 위한 고전적 접근법을 넘어 도메인 특징에 대한 세밀한 통찰을 제공하며, MARL(다중 에이전트 RL)에서 조율(coordination), 특화(specialization), 적응(adaptation) 패턴을 밝혀낸다. 더 나아가, 이들은 행동 특이적 정책의 전이(transfer)와 일반화(generalization)에 대한 핵심적인 통찰을 제공한다.
본 논문은 지능을 원자적 압축과 구성적 재사용의 과정으로 이해하기 위한 이론적 프레임워크를 제안한다. 우리는 인지, 생물, 계산, 조직 시스템이 복잡한 현상을 재사용 가능한 원자 단위로 분해하고 이를 고차 구조로 재결합함으로써 확장 가능한 지능을 달성한다고 주장한다. 인지과학, 정보 이론, 진화생물학, 소프트웨어 공학, 의학, 법률적 추론, 교육, 음악, 인공지능의 증거를 바탕으로, 본 논문은 원자 단위를 효율성, 전이(transfer), 해석 가능성, 진화 가능성을 뒷받침하는 근본적인 압축 층으로 개념화한다. 핵심 기여는 표면 수준 표현과 원자적 표현을 비교하고 추상화 층을 가로질러 압축 이득이 어떻게 복합되는지 기술하는 형식적 프레임워크인 압축 미적분(Compression Calculus)이다. 우리는 각 추가 추상화 층이 단순히 점진적 절감을 더하는 것이 아니라 표현 효율을 승수적으로 증가시킨다는 복합 캐스케이드(Compounding Cascade) 논제를 도입한다. 본 논문은 또한 현대 AI 시스템이 안정적인 개념 수준의 원자 구조보다는 토큰 수준 처리나 문서 수준 검색에 의존하여 종종 최적이 아닌 표현 수준에서 작동한다고 주장한다. 이 관점에서 대규모 언어 모델(LLM)은 완전한 지식 아키텍처라기보다 원자 단위를 탐색·순서화·재결합할 수 있는 동적 융합 엔진으로 이해하는 것이 가장 적절하다. 이 프레임워크는 시간에 따라 새로운 프리미티브(primitives)를 발견·정제·구성할 수 있는 자기 진화형 지식 시스템 설계의 토대를 제공한다. 구성적 추상화를 통한 압축으로 지능을 재정의함으로써, 본 논문은 전문성, 지식 표현, 설명 가능 AI, 적응형 지능 시스템의 미래 아키텍처에 대한 통합적 관점을 제시한다.
복합 정신건강 결과에 적용된 설명 가능한 머신러닝(XML) 파이프라인은 겉으로는 강건하고 집단 간 안정적으로 보이는 위험 위계 구조를 산출할 수 있으나, 이는 대부분 결과 변수의 구성 방식에서 비롯된 인위적 산물이다. 우리는 로잔 대학교 의과대학생 886명(1차 코호트, 2022)에 ElasticNet 파이프라인을 적용하고, 세 시점에 걸친 2,580개의 종단 관측치 및 8개 학부 비의학 전공생 701명의 데이터로 검증함으로써 이를 실증한다. 세 데이터셋 모두 동일한 측정 도구를 사용한다. 이 파이프라인은 결과 변수가 측정되는 어느 상황에서든 특질 불안과 건강 만족도가 지배적인 위계를 산출하며, 모든 다섯 개 평가 세트에서 상위 두 순위에 대한 Kendall τ = 1.0을 보이고 일관된 전이 성능(R²: 0.41–0.49)을 나타낸다. 상관된 변수 간의 공유 분산을 회귀를 통해 분리하는 두 가지 잔차화(residualization) 실험을 통해 그 메커니즘이 밝혀진다. 특질 불안(STAI-T)을 함께 포함된 우울 하위척도(CES-D, r = 0.72)에 대해 잔차화하면 모델 R²가 0.41에서 0.16으로 하락하고 STAI-T의 순위는 1위에서 6위로 떨어진다. 번아웃 하위척도를 CES-D에 대해 잔차화하면 R²는 0.016으로 붕괴된다. 예측 구간은 0–100 척도에서 평균 35.4단위(결과 표준편차의 2.4배)로, 이는 개인 수준의 배포 가능성을 독립적으로 배제한다. 잔차화 프로토콜은 본 논문의 전이 가능한 기여이다. 상관된 예측 변수와 결과 구성 개념을 결합하는 모든 XAI 연구는 외견상의 안정성을 연구 결과로 해석하기 전에 이 검증을 적용해야 한다.
구조적이고 해석 가능한 평가를 제공하기 위해, 우리는 툴민(Toulmin) 논증 모델의 구성 요소에 따라 이미지 기반 진단을 분해한다. 이 모델은 주장(claim), 근거(grounds), 보증(warrant), 한정(qualifier), 반박(rebuttal), 뒷받침(backing)으로 구성된다. 머신러닝(ML) 모델이 망막 진단을 위해 생성한 주장을 고려해 보자. 이 주장을 액면 그대로 수용하는 대신, 설명 가능한 AI(XAI) 기법을 적용하거나 논증 기반 접근법을 채택할 수 있다. 우리의 프레임워크에서, 이미지로부터 바이오마커를 추출하는 데 특화된 모델이 근거를 제공한다. 근거와 주장을 연결하는 보증은 의학 지식을 갖춘 에이전트가 분석하며, 우리의 아키텍처에서 이 역할은 MedGemma 에이전트가 수행한다. 한정자는 보증 모델과 근거 모델 모두에 대한 전반적인 정량적 평가를 기반으로 결정된다. 마지막으로, 반박은 MedSigLip으로 계산된 이미지 유사도 측정값을 사용하여 구성된다. 이러한 모든 구성 요소는 인간 전문가에게 제시되어, ML이 생성한 진단에 대해 보다 충분한 정보에 기반한 비판적 평가를 가능하게 한다.
머신러닝 모델을 설명하는 일은 의사결정과 소비자 신뢰 측면에서 점점 더 중요해지고 있으나, 기존의 설명 가능한 AI(XAI) 방법들은 정확도-설명가능성 트레이드오프라는 고질적인 문제를 안고 있다고 널리 알려져 있다. 우리는 이 트레이드오프가 근본적인 것이 아니라, 설명과 예측을 별개의 목표로 취급한 데서 비롯된 부산물임을 주장한다. 둘을 적절히 결합하면 상호 보완적이 되어, 모델이 스스로를 설명할 수 있도록 갖추는 것이 정확도를 저하시키는 것이 아니라 오히려 향상시킨다. 우리는 라쇼몽 설명(Rashomon Explanation) 패러다임을 제안하는데, 이는 단일 설명 대신 충실하고 예측을 안내하는 설명들의 집합을 구성하며, 이 집합이 일반적으로 비어 있지 않음을 증명하고 설명 충실도가 그것이 안내하는 모델의 성능에 상한을 부여함을 증명한다. 이 집합을 탐색하기 위해 우리는 RashomonLLM을 제안한다. 이는 설명-예측-반성(Explanation-Prediction-Reflection) 에이전트 워크플로우로, 자연어로 설명을 생성하면서 예측과 반복적으로 정렬시키며, 이것이 수렴하고 전체 집합을 복원함을 증명한다. 대규모 라이브 스트리밍 로그에 대한 고객 이탈 분류, 임상 생존 회귀, 산업용 클릭률 예측 전반에 걸쳐, RashomonLLM은 정확도와 설명 품질 모두에서 최신 예측 및 XAI 베이스라인을 크게 능가하며, 이 성능 향상은 설명 충실도에 의해 주도되고 분포 이동, 시간적 분할, 시드에 대해 강건하다. 따라서 우리의 프레임워크는 비즈니스 성능을 향상시키는 동시에 소비자 신뢰의 토대를 마련한다.
철거 전 평가(pre-demolition assessment)는 도시 채굴(urban mining)의 핵심을 이루는 규제된 감사 프로세스로, AI 지원이 결정에 대한 책임을 지는 자격 있는 감사자를 보조해야 하는 정보 처리 과정이다. 여기서 가치의 핵심 단위는 예측 정확도만이 아니라, 지원된 결정의 방어 가능성(defensibility), 즉 가독성·타당성·출처 추적성·이의 제기 가능성이다. 설명 가능한 AI(XAI) 기법과 도메인 지식 그래프는 이 요건의 각 부분을 다루며, 기존 분류 체계들은 이들의 통합을 목록화해 왔다. 관련 문헌은 기술적으로는 풍부하지만 구조적으로는 불충분하게 명세되어 있다. 특정 통합이 어느 자원도 단독으로는 제공할 수 없는 아티팩트를 왜 생성하는지에 대한 구조적 설명은 아직 덜 발전되어 있다. 본 논문은 IS(정보 시스템) 자원 기반 전통에 기반한 상호 보완성 이론적 해석을 제시한다. 우리는 네 가지 통합된 KG-XAI 통합 모드(Lifting, Constraining, Typing, Revising)를 제안하며, 각각은 XAI 아티팩트와 지식 그래프 기저 구조에 대한 타입화된 연산으로 정의된다. 각 모드는 방어 가능성의 고유한 속성을 열어주며, 철거 전 평가가 요구하는 규제 아티팩트 유형에 기여한다. 도시 채굴 프로세스에서 도출한 방화문 예시를 통해 W3C Linked Building Data 스택과 가치 평가 확장을 활용하여 이 모드들을 구체적으로 설명한다.
설명 가능한 AI(XAI)가 안전한 AI 개발 및 인증에 기여할 수 있는지를 검토하기 위해 (X)AI와 인증 분야 전문가 15명을 대상으로 정성적 인터뷰를 수행하였다. XAI 방법론이 머신러닝 모델의 편향과 오류를 드러내는 디버깅 도구로서 유용하지만, 기술 시스템에 대한 포괄적이고 정확한 정보를 요구하는 인증 절차에서의 활용은 여전히 제한적임을 확인하였다.
자율주행 정책의 실패 진단에 기반한 적대적 시나리오 생성 프레임워크 SPHINX를 제안하며, 설명 가능한 인공지능(XAI) 기법으로 정책의 시각적 개념 의존도와 예측 불확실성을 분석해 비전-언어 모델이 실패 유형을 진단하고 표적 시나리오를 생성하는 폐루프 구조를 갖는다. 기존 LLM 사전 지식 기반 방법과 달리 정책 고유의 실패 근거를 조건으로 시나리오를 합성함으로써, 다양한 최신 자율주행 아키텍처에서 기존 시나리오 생성 방법 대비 일관된 강건성 향상을 달성했다.
XGBoost, SHAP, 재귀적 특징 제거(RFE)를 결합한 설명 가능한 AI(XAI) 프레임워크를 활용해 신경돌기 교환 영상(NEXI) 확산 MRI 프로토콜을 27분에서 14분으로 단축하는 최적 8개 특징 부분집합을 식별했으며, 데이터 기반 선택이 이론적 최적값인 크라메르-라오 하한(CRLB)에 수렴함을 검증했다. 이 모델 무관(model-agnostic) 최적화 프레임워크는 복잡한 야코비안 유도 없이 금표준 수준의 최적화를 달성하여 기존 휴리스틱 대비 우수한 생체 내 강건성을 보이며, 미래 초고 그래디언트 시스템 및 임상 스캐너에 적용 가능한 회백질 미세구조 정량화 방법을 확립한다.
Explainable AI for Screening Abuse-Related Trauma in Bangladeshi Children: A Training-Free Multimodal Framework Evaluated on Noise-Aware Synthetic Data
방글라데시에는 인구 10만 명당 약 1.17명의 정신건강 전문가가 있으며, 전국에 소아 정신과 의사가 단 여섯 명뿐입니다. 아동의 학대 관련 심리적 트라우마 조기 스크리닝을 위한 벵골어 기반의 문화적으로 적합한 도구는 존재하지 않습니다. 우리는 ShishuRaksha AI를 제시합니다. 이는 의사결정 지원(진단이 아닌) 프레임워크로, 검증된 설문지(SDQ, CPSS), 벵골어 서술 텍스트, 집-나무-사람(HTP) 그림 특징, 얼굴 정서의 네 가지 스크리닝 양식을 융합합니다. 이 융합은 학습이 필요 없고 임상적으로 가중치가 부여되며, 교차 모달 어텐션을 사용하고 단일 양식 우선 적용 규칙을 포함합니다. 모든 위험 점수는 임상적으로 가중된 섭동 기반 가산 귀인을 통해 설명되며, 2013년 아동법에 따라 국가 아동보호 서비스(OCC, DSS, NMHH)로의 의뢰 경로가 포함된 이중 언어(방글라/영어) 보고서로 출력됩니다. 현 단계에서는 피해 아동의 임상 데이터셋을 윤리적으로 수집할 수 없으므로, 노이즈 인식 합성 벤치마크(500 케이스, 116개 양성[23.2%], 네 개의 의도적 노이즈 레이어, 문헌 기반 HTP 사전)를 도입하고, 5겹 층화 교차 검증하에 융합 설계(얼굴 채널 제외)의 트리 앙상블 대리 모델을 평가합니다. 융합 모델은 AUC 0.874[0.834-0.908]를 달성하였으며, SDQ 단독 기준선의 0.756[0.705-0.803]과 비교되고, 절제 분석, 운영 지점, 서브그룹, 보정 분석을 포함합니다. 우리는 합성 데이터만 사용, 보류 평가셋 없음, 텍스트 특징 순환성, 도시-농촌 서브그룹 격차를 포함한 모든 한계를 명시합니다. 이 연구는 저자원 환경에서 윤리적으로 배포 가능한 아동보호 스크리닝을 향한 타당성 연구이자 설계적 기여입니다.
PotatoGANs: Utilizing Generative Adversarial Networks, Instance Segmentation, and Explainable AI for Enhanced Potato Disease Identification and Classification
심층 학습(deep learning) 기법을 이용한 농업 병해 분할의 자동화는 다양한 응용 사례를 낳았다. 그러나 이러한 응용들은 새로운 환경에 적용될 때 과적합(overfitting) 문제에 자주 직면하여 분할 성능이 저하되는 어려움을 겪는다. 감자 농업에서는 병해가 수확량에 큰 영향을 미치므로, 신속하고 정확한 병해 식별이 농업 경제에 매우 중요하다. 회전, 반전, 이동과 같은 전통적인 데이터 증강(data augmentation) 방법은 한계가 있으며 강력한 일반화 결과를 제공하지 못하는 경우가 많다. 이러한 문제를 해결하기 위해 본 연구에서는 PotatoGANs이라 명명한 새로운 접근 방식을 제안한다. 이 새로운 데이터 증강 방법에서는 두 가지 유형의 생성적 적대 신경망(GAN)을 활용하여 건강한 감자 이미지로부터 합성 감자 병해 이미지를 생성한다. 이 접근 방식은 데이터셋(dataset)을 확장할 뿐만 아니라 다양성을 추가함으로써 모델(model) 일반화 향상에 기여한다. Inception score를 측정 지표로 사용한 실험 결과, PotatoGANs이 생성한 이미지의 우수한 품질과 사실성이 입증되었으며, 실제 병해 이미지와 밀접하게 유사한 이미지를 생성하는 능력이 강조되었다. CycleGAN 모델은 Pix2Pix GAN 모델보다 이미지 품질 면에서 우수한 성능을 보였는데, black scurf와 common scab에 대해 각각 1.2001과 1.0900의 더 높은 Inception score(IS)를 달성한 것이 그 근거이다. 이러한 합성 데이터는 대규모 신경망의 학습(training)을 크게 향상시킬 수 있다. 또한 데이터 수집 비용을 줄이는 동시에 데이터 다양성과 일반화 능력을 향상시킨다. 본 연구는 감자 병해 분류(classification)를 위해 세 가지 그래디언트(gradient) 기반 설명 가능한 AI 알고리즘(GradCAM, GradCAM++, ScoreCAM)을 세 가지 서로 다른 CNN 아키텍처(DenseNet169, ResNet152 V2, InceptionResNet V2)와 결합함으로써 해석 가능성을 향상시킨다.
설명 가능한 AI(XAI)에서 결정 트리(decision tree)의 신뢰성을 보장하기 위해, 대수적 모델 카운팅(AMC)에서 영감을 받아 최적 및 근최적 결정 트리의 전체 가설 공간을 세미링(semiring) 위의 합-곱 연산으로 통합 분석하는 프레임워크인 Algebraic Decision Tree Counting(ADTC)을 제안한다. 동적 프로그래밍 알고리즘을 통해 이중 지수 복잡도를 O*(n^O(Δ))로 줄이고, 모델 행동 텐서(model behavior tensor)를 도입하여 정확도·크기·공정성 간의 트레이드오프를 포함한 Rashomon 집합의 전역적 프로파일을 효율적으로 구성함을 실제 데이터셋 실험으로 검증하였다.