ExplAIner: 분류 모델 설명을 위한 선언적 쿼리 언어
ExplAIner: A Declarative Query Language for Explaining Classification Models
한국어 초록
XAI 커뮤니티는 ML 모델의 예측을 설명하기 위한 다양한 쿼리와 점수를 연구해 왔다. 데이터 관리 관점에서, 이러한 설명 개념의 증식은 해당 개념들을 일관되게 명세하고, 결합하고, 분석할 수 있는 선언적 쿼리 언어의 필요성을 제기한다. 본 논문에서는 불리언(Boolean) 모델을 위한 그러한 프레임워크를 개발한다. 먼저 블랙박스 모델을 위한 해석 가능성 쿼리 언어인 FOIL을 재검토하고, 이것이 두 가지 근본적인 한계를 가짐을 보인다: 최적성 기반의 핵심 설명 쿼리를 표현할 수 없으며, 결정 트리에 대한 평가 문제가 다항식 계층의 모든 수준에서 어렵다. 이어서 확장된 어휘와 계층적 구조를 갖춘 FOIL 기반 쿼리 언어인 ExplAIner를 소개한다. ExplAIner가 귀추적(abductive), 대조적(contrastive), 특징(feature) 기반, 거리 기반 쿼리를 포함하는 광범위한 설명 개념 군을 표현할 수 있음을 보인다. 또한 ExplAIner의 각 쿼리에 대한 평가 문제가, 일부 기본 술어를 다항 시간 내에 평가할 수 있는 모든 불리언 모델 클래스에 걸쳐 불리언 계층(Boolean hierarchy)에 속함을 증명한다. 특히 이 성질은 결정론적이고 분해 가능한(decomposable) 불리언 회로에서 성립한다. 마지막으로, 엄격한 부분 순서에 대해 최소인 설명을 계산하기 위한 최적화 지향 단편인 Opt-FOIL을 도입하고, 동일한 다루기 쉬움(tractability) 가정 하에서 그 평가 문제가 $\mathrm{FP}^{\mathrm{NP}}$에 속함을 증명한다. 이러한 복잡도 결과는 알고리즘적으로 직접적인 함의를 지닌다: 고정된 ExplAIner 쿼리는 고정된 횟수의 SAT 솔버 호출로 평가할 수 있으며, Opt-FOIL로 명세된 설명 개념은 다항 횟수의 호출로 계산할 수 있다. 이는 SAT 솔버가 여러 ML 모델 클래스에 대한 설명 계산에 성공적으로 활용되어 온 형식적 XAI(formal XAI) 분야에서 특히 관련성이 높다.
원문 초록
The XAI community has studied a wide range of queries and scores for explaining predictions of ML models. From a data management perspective, this proliferation of explanation notions calls for declarative query languages in which such notions can be specified, combined, and analyzed uniformly. In this paper, we develop such a framework for Boolean models. We first revisit FOIL, an interpretability query language for black-box models, and show that it has two fundamental limitations: it cannot express central optimality-based explanation queries, and its evaluation problem over decision trees is hard for every level of the polynomial hierarchy. We then introduce ExplAIner, a query language based on FOIL with an extended vocabulary and a layered structure. We show that ExplAIner can express a broad family of explanation notions, including abductive, contrastive, feature-based, and distance-based queries. We also prove that the evaluation problem for each query in ExplAIner belongs to the Boolean hierarchy over every class of Boolean models for which some basic predicates can be evaluated in polynomial time. In particular, that property holds for deterministic and decomposable Boolean circuits. Finally, we introduce Opt-FOIL, an optimization-oriented fragment of ExplAIner for computing explanations that are minimal with respect to strict partial orders, and prove that its evaluation problem is in $\mathrm{FP}^{\mathrm{NP}}$ under the same tractability assumptions. These complexity results have a direct algorithmic consequence: a fixed ExplAIner query can be evaluated with a fixed number of calls to a SAT solver, while a notion of explanation specified in Opt-FOIL can be computed with a polynomial number of such calls. This is particularly relevant in formal XAI, where SAT solvers have been successfully used to compute explanations for several classes of ML models.
요약
ML 모델의 예측을 설명하기 위한 기존 해석 가능성 쿼리 언어 FOIL의 표현력 부족 및 평가 복잡도 문제를 해결하고자, 귀추적·대조적·거리 기반 설명 등 다양한 설명 개념을 균일하게 표현할 수 있는 선언적 쿼리 언어 ExplAIner와 최적화 지향 단편 Opt-FOIL을 제안한다. ExplAIner의 평가 문제는 불리언 계층(Boolean hierarchy)에 속하며, Opt-FOIL의 계산 문제는 $\mathrm{FP}^{\mathrm{NP}}$ 내에서 해결 가능함을 증명하여 SAT 솔버를 활용한 효율적인 XAI 쿼리 평가의 이론적 기반을 마련했다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.06407v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MiSS: 포인트 클라우드 분류기를 위한 최소 충분 연합의 논리 기반 설명
MiSS: A Logic-Driven Explanation of Minimal Sufficient Coalitions for Point Cloud Classifiers
MiSS를 제안한다. MiSS는 교란 상대적 충분성 추론을 통해 3D 포인트 클라우드 분류기를 설명하는 블랙박스, 쿼리 기반 프레임워크이다. MiSS는 슈퍼포인트 분할을 해석 가능한 추상화 층으로 취급하며, 지정된 교란 분포 하에서 기하학적 영역의 최소 연합으로부터 원래 예측을 인증할 수 있는지를 묻는다. 예측기의 불리언 특징 공간 또는 화이트박스 논리 인코딩을 요구하는 가역적(abductive) 설명기와 달리, MiSS는 후보 제안과 검증을 분리한다: 가중 MaxSAT 절차는 휴리스틱 적응형 카디널리티 하한, 인증된 정확 크기 폴백, 안전하게 조여진 상한, 차단 절, 그리고 이전 오라클 평가로부터 학습된 대리 획득 휴리스틱을 사용하여 연합을 제안하고, 블랙박스 통계 오라클은 예측 쿼리로부터 충분성을 결정한다. 이 시스템은 통계적으로 검증된 충분 연합을 이진 기여도(attribution)로 반환하며, 인증된 탐색이 완료되면 최소 카디널리티가 보장된다. PointNet 및 PointMLP 분류기를 사용한 ModelNet40과 ShapeNet에서의 실험은 대부분의 설정에서 규칙 기반 베이스라인보다 더 높은 정밀도와 커버리지를 보이며, 전수 탐색보다 낮은 설명 시간을 보인다.
MEA: 충실한 모델 설명을 위한 보상 기반 다중 에이전트 시스템
MEA: A Reward-Driven Multi-Agent System for Faithful Model Explanations
최근 중요도가 높은 고위험 영역에서 수많은 머신러닝(ML) 모델이 도입되고 있지만, 그 예측을 바탕으로 행동해야 하는 실무자들에게 이러한 모델은 여전히 대부분 불투명한 상태로 남아 있습니다. 사후(post-hoc) 설명 방법들이 모델의 동작을 들여다볼 수 있는 시각을 제공하긴 하지만, 이를 효과적으로 다루기 위해서는 대부분의 도메인 전문가들이 갖추지 못한 전문 지식이 필요합니다. 즉, 고차원 출력을 탐색하고, 최적의 설명을 선택하며, 이질적인 도구들 전반에 걸친 증거를 종합해야 합니다. 이를 위해 본 연구에서는 설명에 필요한 전문 지식의 장벽을 완전히 제거하는 다중 에이전트 프레임워크인 MEA를 제시합니다. 제안자(Proposer) 에이전트는 질문과 양식(modality)에 따라 설명 도구를 선택하고 구성하며, 실행자(Actor) 에이전트는 충실도(faithfulness)를 기준으로 엔드투엔드 최적화되어 테이블, 텍스트, 비전 양식 전반에 걸쳐 모델 동작에 기반(grounding)한 자연어 설명으로 출력을 변환합니다. 나아가, 특징 기여도(feature attribution), 반사실적 추론(counterfactual reasoning), 거짓 특징(spurious feature) 탐지를 아우르는 다양한 질문 유형을 도입하고, 각각을 섭동 기반 충실도 지표와 짝지었습니다. 연구 결과, 프론티어 대규모 언어 모델(LLM)들은 체계적으로 충실하지 못한 설명을 생성하는 것으로 나타났습니다. 양식 적응형 페널티로 강화된 충실도 보상에 대해 최적화함으로써, MEA는 6개 데이터셋 전반에서 기존 사후 설명 기법, 에이전트 기반 베이스라인, 상용 폐쇄형 베이스라인을 일관되게 능가했으며, 보상 기반 최적화를 통해 학습되지 않은 백본 대비 충실도가 테이블에서 +28%, 텍스트에서 +21%, 비전에서 +34% 향상되었습니다. 더 넓게는, 본 연구 결과는 AI 에이전트 자체가 머신러닝 설명가능성(explainability)을 위한 확장 가능하고 적응력 있는 인터페이스 역할을 할 수 있음을 시사하며, 오랫동안 이 분야를 규정해 온 고정된 단일 목적 도구를 넘어 일반화되는 자연어 설명가능성으로 향하는 길을 열어줍니다.
대규모 환경에서의 레이블 효율적 시계열 분류: 반사실적 귀속을 적용한 이중 스트림 OSSE-LSTM
Label-Efficient Time Series Classification at Scale: A Dual-Stream OSSE-LSTM with Counterfactual Attribution
시계열 데이터는 산업 장비, 웨어러블 기기, 전력망, 임상 모니터 등에서 엄청난 규모로 끊임없이 생성되지만, 주석 작업은 여전히 수작업에 의존하며 비용이 많이 들고 전문가를 필요로 합니다. 따라서 대규모 시계열 분석의 결정적인 병목은 데이터 양이 아니라 레이블의 양이며, 실무자가 마주하는 질문은 구체적입니다. 즉, 분류기가 실용성을 갖추려면 클래스당 몇 개의 예시에 레이블을 지정해야 하는가입니다. 본 연구에서는 레이블 공간이 고정되어 사전에 알려져 있으며, 클래스당 단 K개의 레이블된 예시만으로 결정 규칙을 구성해야 하는 조건에서 이 문제를 직접 탐구합니다. 우리는 데이터셋별 커널 튜닝 없이도 다중 스케일 모티프 추출을 수행하는 Squeeze-and-Excitation 재보정 결합 Omni-Scale CNN과, 전역적 시간적 맥락을 포착하는 양방향 LSTM을 결합한 에피소드식 메트릭 학습(metric learning) 프레임워크인 Dual-Stream OSSE-LSTM을 제안합니다. 두 스트림은 독립적으로 정규화된 후 프로토타입 지향 임베딩으로 융합됩니다. 또한 소수의 레이블로부터 도출된 결정은 설명 가능해야 하므로, 개별 분류기 로짓 대신 타깃 클래스와 반대 클래스 간의 프로토타입 마진을 귀속시키고 그 결과 맵을 인코더 업데이트 없이 테스트 시점 프로토타입 개선을 위한 소프트 마스크로 재사용하는 반사실적 통합 그래디언트(C-IG)를 도입합니다. 19개의 단변량 UCR 데이터셋에서 OSSE-LSTM은 모든 서포트 크기에서 가장 높은 평균 정확도와 데이터셋별 승수를 달성했으며, 해당 범위 전반에 걸쳐 정확도가 0.36%포인트 범위(96.36-96.72%) 내에서 안정적으로 유지되었습니다. 가장 낮은 성능의 구성조차 비교 대상 기준선 모델이 임의의 K에서 기록한 최고 결과(93.99%)를 상회합니다.
임상 중증도 분류를 위한 오픈소스 대규모 언어 모델의 반사실적 바이어스 감사
Counterfactual Auditing of Bias in Open-Source Large Language Models for Clinical Triage
응급실(ED) 중증도 분류(triage)는 인구통계학적, 사회경제적 및 시스템적 맥락 정보가 중증도 지정에 부적절한 영향을 미칠 수 있는 중대한 우선순위 결정 작업입니다. 로컬 환경 및 개인정보를 보호하는 임상 의사결정 지원을 위해 오픈소스 대규모 언어 모델(LLM)의 활용이 점차 고려되고 있으나, 모델 제품군, 크기, 의료 도메인 모델 및 도메인 특화 적응 모델 전반에서 반사실적 바이어스가 어떻게 달라지는지는 여전히 불분명합니다. 본 논문에서는 소아 응급 중증도 지수(ESI) 예측을 위해 10개의 오픈소스 LLM을 대상으로 비교 반사실적 감사를 제시합니다. 실제 임상 사례 및 핸드북 스타일의 임상 비네트에서 출발하여, 임상적 증상은 고정한 채 주입된 인구통계학적, 사회경제적, 의료 접근성, 행동적, 사회적 또는 시스템 맥락 변수 중 단 하나만 변경한 쌍 형태의 반사실적 변형을 구성합니다. 대상 모델에는 Qwen2.5-7B, Qwen2.5-14B-Instruct, QLoRA 파인튜닝된 Qwen2.5-7B, MedGemma 변형들, MedLLaMA2-7B, GPT-OSS-20B 및 GPT-OSS-120B가 포함됩니다. 본 연구에서는 모든 반사실적 변화, 과소 분류(undertriage), 과대 분류(overtriage), 1단계 이상의 ESI 수준 변화, 평균 변화 및 평균 절대 변화를 측정합니다. 반사실적 민감도는 상당한 차이를 보였으며 모델 크기 증가나 의료 도메인 사전학습에 따라 일관되게 감소하지 않았습니다. 파인튜닝된 Qwen2.5-7B는 베이스 모델의 전체 변화율 16.02% 및 평균 절대 변화 0.1706에 비해, 5.27%의 전체 변화율과 0.0534의 평균 절대 변화를 기록하며 전반적으로 가장 낮은 민감도를 보였습니다. 몇몇 대형 모델 또는 의료 도메인 모델은 더 유의미한 변화를 보였습니다. 층화 및 상관 분석을 통해 집계된 수치에 가려졌던 임상적으로 중요한 방향성과 공통된 실패 패턴 또한 추가로 밝혀냈습니다. 이러한 결과는 임상 배포 전에 오픈소스 LLM의 공정성 위험을 비교하기 위한 경량화되고 임상적으로 해석 가능한 프레임워크로서 반사실적 감사를 지지합니다.
확산 모델을 이용한 개념 기반 시각적 반사실적 설명
Concept-based Visual Counterfactual Explanations with Diffusion Models
시각적 반사실적 설명(counterfactual explanation)은 "이 이미지에 어떤 최소한의 변화를 가하면 모델의 예측이 뒤집힐까?"라는 질문에 답하려 하며, 비전 모델이 안전이 중요한(safety-critical) 영역(예: 의학)에 배포됨에 따라 점점 더 중요해지고 있다. 기존 확산 기반 방법들은 사실적인 편집을 생성할 수 있지만, 노이즈가 있는 이미지에서도 안정적으로 동작해야 하는 외부 분류기(classifier)에 의존하므로 취약하고, 견고한(robust) 설명을 위해 배포하기 어렵다. 우리는 C-VCE를 제안한다. 이는 개념 병목(concept bottleneck) 층을 통해 분류기를 생성 모델(generative model)에 직접 통합하는 새로운 확산 프레임워크로, 반사실적 결과가 픽셀 수준 편집과 함께 동작하는 별도의 노이즈 견고 분류기 대신 사람이 해석 가능한 특징(concepts)에 의해 유도된다. 우리 모델(model)은 사용자가 샘플링 중 의미적 개념(concept)을 켜고 끌 수 있게 하며, 특징(feature) 상관관계를 존중하면서 이미지의 나머지 부분은 보존한 채 관련 이미지 영역만 최소한으로 조정한다. 편집을 작고 통제 가능하게 유지하기 위해, "예측을 바꾸기"와 "원본에 가깝게 유지하기"를 균형 맞추는 단순한 확률적 정규화(regularizer)와, 수정을 가장 관련 있는 영역으로 제한하는 그래디언트(gradient) 기반 마스크를 추가한다. CelebA와 같은 벤치마크(benchmark)에서 C-VCE는 별도의 노이즈 이미지 분류기에 의존하는 베이스라인보다 입력에 시각적으로 더 가깝고 왜곡이 적은 반사실적 결과를 생성하면서 뒤집기(flip) 비율을 맞추거나 개선한다. 이러한 특성은 사용자가 추가의 노이즈 견고 분류기를 신뢰할 필요 없이 구체적인 "what-if" 이미지가 필요한 비전 시스템에서 C-VCE를 실용적인 도구로 만든다. 더 넓게 보면, 우리 결과는 내부 개념 층(layer)을 노출하고 제어하는 것이 강력한 생성 모델(generative model)을 더 이해하기 쉽고 더 안전하게 사용할 수 있게 만드는 유망한 방법임을 시사한다.
하나의 해답을 향한 세 가지 경로: 응용 연구자를 위한 AIPW, TMLE 및 이중 머신러닝의 일치화
Three Routes to One Answer: Reconciling AIPW, TMLE, and Double Machine Learning for Applied Researchers
토론
이 논문과 연결된 포럼 글이 아직 없습니다.