arXiv:2606.26228v1 physics.data-an

물리학의 기계학습에서 '해석 가능성'의 해석과 '설명 가능성'의 설명

Interpreting "Interpretability" and Explaining "Explainability" in Machine Learning in Physics

Rikab Gambhir, Luisa Lucie-Smith, Jesse Thaler

제출 2026-06-24

한국어 초록

물리학에서의 기계학습에 적용되는 해석 가능성(interpretability)과 설명 가능성(explainability)의 개념을 검토한다. 해석 가능성은 모델의 구조적 투명성, 즉 내부 작동 방식을 이해하거나 근사할 수 있는 능력과 관련된 것으로, 설명 가능성은 모델의 과학적 내용, 즉 도메인 지식에 대응시킬 수 있는 능력과 관련된 것으로 정의한다. 각각이 수반하는 트레이드오프(해석 가능성 대 표현력; 설명 가능성 대 적응성), 각각이 필요한 맥락, 그리고 이를 달성하기 위해 사용 가능한 내재적(intrinsic) 및 사후(post-hoc) 도구를 논의한다. 전반에 걸쳐, 기계학습 모델도 고전 모델과 동일한 과학적 질문의 대상이며 규모만 다르다는 점, 그리고 해석 가능성과 설명 가능성은 고유한 속성이라기보다 의도적인 모델링 선택으로 이해하는 것이 가장 적절하다는 점을 강조한다. 또한 작업 명세(task specification)와 개입 계획(intervention plans)이 모델 설계의 핵심 측면이라는 점의 중요성을 강조한다.

원문 초록

We review the concepts of interpretability and explainability as they apply to machine learning in physics. We define interpretability as concerning the structural transparency of a model (the ability to understand or approximate its inner workings) and explainability as concerning the scientific content of a model (the ability to map it onto domain knowledge). We discuss the trade-offs each entails (interpretability vs. expressivity; explainability vs. adaptability), the contexts in which each is needed, and the intrinsic and post-hoc tools available for achieving them. Throughout, we emphasize that machine-learned models are subject to the same scientific questions as classical models, differing only in scale, and that interpretability and explainability are best understood as deliberate modeling choices rather than inherent properties. We also emphasize the importance of task specification and intervention plans as a core aspect of model design.

요약

물리학에서 기계학습의 해석 가능성(interpretability)과 설명 가능성(explainability)을 구조적 투명성과 도메인 지식 대응으로 구분해 검토하며, 표현력·적응성과의 트레이드오프와 내재적·사후(post-hoc) 방법을 정리한다. 기계학습 모델도 고전 모델과 동일한 과학적 질문의 대상이며, 해석·설명 가능성은 고유 속성이 아니라 작업 명세와 개입 계획을 포함한 의도적 모델링 선택으로 이해해야 한다고 강조한다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.26228v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.00578v4cs.CV공통 태그 interpretability, explainability

캡션 병목 모델

Caption Bottleneck Models

개념 병목 모델(CBM)은 예측을 인간이 이해할 수 있는 개념 층을 통해 라우팅함으로써 해석 가능성을 제공합니다. 그러나 특정 데이터셋에 대한 최적 개념 집합을 정의하는 것은 여전히 미해결 과제입니다. 기존 접근법은 값비싼 전문가 주석이나 클래스 이름만을 기반으로 LLM이 생성한 목록에 의존합니다. 심지어 "개방형 어휘" 변형조차도 일반적으로 정적 개념 집합에 의존하며, 이는 발견을 제한하고 레이블 바이어스를 초래합니다. 또한 기존 CBM은 모델링되지 않은 시각적 특징이 병목을 우회하여 설명의 무결성을 훼손하는 정보 누수 문제를 겪는 경우가 많습니다. 이러한 한계를 극복하기 위해 우리는 캡션 병목 모델(CaBM)을 제안합니다. CaBM은 엄격한 개념 층을 자유형 자연어로 대체하여 사전 정의된 개념 집합의 필요성을 우회하는 프레임워크입니다. LMM이 생성한 캡션으로 이미지를 표현하고 이 텍스트만으로 분류기를 학습함으로써, CaBM은 설계상 누수 없는 아키텍처를 보장합니다. 더불어 학습 후 텍스트 분류기를 분석함으로써 CaBM은 고품질의 데이터셋 특화 개념을 자율적으로 발견합니다. 세밀 및 조대 벤치마크에 걸친 결과는 CaBM이 외부 사전이나 수동 레이블링의 제약 없이 해석 가능성을 유지하면서 경쟁력 있는 정확도를 달성함을 보여줍니다.

arXiv:2607.14271v1cs.LG공통 태그 Survey, interpretability

지역적 가법적 특징 기여: 수학적 분류 체계와 보고 체크리스트

Local Additive Feature Attribution: A Mathematical Taxonomy and Reporting Checklist

특징 기여(feature attribution) 방법은 설명 가능한 인공지능의 핵심이다. 그 가정들은 협력 게임 값(cooperative-game values), 경로 적분(path integrals), 그래디언트 연산자, 교란 분포(perturbation distributions), 역전파 규칙 등 여러 수학적 언어로 표현된다. 본 서베이는 지역적 가법적 특징 기여를 위한 공통 프레임워크를 제안한다. Shapley, 경로 기반(path-based), 그래디언트/역전파, 교란, CAM 스타일 방법을 값 함수(value function), 참조(reference), 경로(path), 교란 분포, 보존 규칙(conservation rule)의 다섯 가지 명세 선택을 중심으로 정리한다. 이어서 공리-방법별 행렬(axiom-by-method matrix)을 통해 이들 방법을 비교하고, 기준선 민감도(baseline sensitivity), 매니폴드 외 교란(off-manifold perturbations), 타당성 검사 실패(sanity-check failures), 적대적 조작(adversarial manipulation), 방법 간 불일치(method disagreement) 등 흔한 실패 양상을 이를 야기하는 가정과 연결한다. 마지막으로, 본 서베이는 지역적 가법적 기여를 사용하는 연구를 위한 10개 항목의 보고 체크리스트를 제안한다. 핵심 메시지는 기여 결과가 정의된 수학적 가정에 상대적으로만 의미가 있으며, 그 가정들은 보고되어야 한다는 것이다.

arXiv:2607.12588v1cs.AI공통 태그 Survey, explainability

EU AI법에 따른 고위험 AI 시스템의 수직 표준화: 알고리즘 채용을 위한 도메인 특화 프레임워크

Vertical Standardisation for High-Risk AI Systems under the EU AI Act: A Domain-Specific Framework for Algorithmic Hiring

최근 유럽 법률에 따르면, 고위험 AI 시스템은 유럽 인공지능(AI)법에 명시된 바와 같이 위험 관리, 데이터 품질 및 거버넌스, 로깅 및 추적 가능성, 기술 문서화, 투명성, 인간 감독(human oversight), 정확도(accuracy) 등 특정 영역과 관련된 요건을 준수하기 위해 적응해야 한다. AI 표준화 과정이 반복적으로 진행될 것으로 예상되고, 현재까지 알고리즘 채용의 과제를 완전히 포괄하는 유럽 AI 표준이 없기 때문에, 우리는 유럽 집행위원회가 지정한 관련 AI 영역과 관련된 구체적인 표준화 지향 권고안을 제안한다. 이러한 각 영역에 대해 우리는 고위험 도메인, 특히 채용 분야의 AI 시스템이 충족해야 하는 요건과 AI법에서 파생되는 요건에 부합하여 적절한 사용과 기대 성능을 보장하기 위해 수행해야 하는 활동을 설명함으로써 맥락을 설정한다. 기존의 수평적 AI 거버넌스 및 표준화 접근법과 달리, 본 논문은 AI법의 요건을 구체적인 표준화 권고안에 매핑함으로써 알고리즘 채용, 특히 순위 기반 채용 시스템을 위한 수직적이고 도메인 특화된 프레임워크를 제시하며, 채용 시스템에서의 수명 주기 차별 위험, 공정성을 고려한 데이터 거버넌스, 설명 가능성(explainability), 인간 감독, 배포 후 모니터링에 초점을 맞춘다. 우리의 권고안이 유럽 프로젝트 FINDHR의 성과에 기반하였음에도 불구하고, 프로젝트의 기술적 산출물에 종속되지 않으며 대안적인 방법, 도구 또는 거버넌스 메커니즘을 사용하여 구현될 수 있다.

arXiv:2610.02480v2cs.AI공통 태그 explainability

MEA: 충실한 모델 설명을 위한 보상 기반 다중 에이전트 시스템

MEA: A Reward-Driven Multi-Agent System for Faithful Model Explanations

최근 중요도가 높은 고위험 영역에서 수많은 머신러닝(ML) 모델이 도입되고 있지만, 그 예측을 바탕으로 행동해야 하는 실무자들에게 이러한 모델은 여전히 대부분 불투명한 상태로 남아 있습니다. 사후(post-hoc) 설명 방법들이 모델의 동작을 들여다볼 수 있는 시각을 제공하긴 하지만, 이를 효과적으로 다루기 위해서는 대부분의 도메인 전문가들이 갖추지 못한 전문 지식이 필요합니다. 즉, 고차원 출력을 탐색하고, 최적의 설명을 선택하며, 이질적인 도구들 전반에 걸친 증거를 종합해야 합니다. 이를 위해 본 연구에서는 설명에 필요한 전문 지식의 장벽을 완전히 제거하는 다중 에이전트 프레임워크인 MEA를 제시합니다. 제안자(Proposer) 에이전트는 질문과 양식(modality)에 따라 설명 도구를 선택하고 구성하며, 실행자(Actor) 에이전트는 충실도(faithfulness)를 기준으로 엔드투엔드 최적화되어 테이블, 텍스트, 비전 양식 전반에 걸쳐 모델 동작에 기반(grounding)한 자연어 설명으로 출력을 변환합니다. 나아가, 특징 기여도(feature attribution), 반사실적 추론(counterfactual reasoning), 거짓 특징(spurious feature) 탐지를 아우르는 다양한 질문 유형을 도입하고, 각각을 섭동 기반 충실도 지표와 짝지었습니다. 연구 결과, 프론티어 대규모 언어 모델(LLM)들은 체계적으로 충실하지 못한 설명을 생성하는 것으로 나타났습니다. 양식 적응형 페널티로 강화된 충실도 보상에 대해 최적화함으로써, MEA는 6개 데이터셋 전반에서 기존 사후 설명 기법, 에이전트 기반 베이스라인, 상용 폐쇄형 베이스라인을 일관되게 능가했으며, 보상 기반 최적화를 통해 학습되지 않은 백본 대비 충실도가 테이블에서 +28%, 텍스트에서 +21%, 비전에서 +34% 향상되었습니다. 더 넓게는, 본 연구 결과는 AI 에이전트 자체가 머신러닝 설명가능성(explainability)을 위한 확장 가능하고 적응력 있는 인터페이스 역할을 할 수 있음을 시사하며, 오랫동안 이 분야를 규정해 온 고정된 단일 목적 도구를 넘어 일반화되는 자연어 설명가능성으로 향하는 길을 열어줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.