인공지능에 대한 신뢰 구축: 철도 응용 분야를 위한 필수 과제
Building Trust in Artificial Intelligence: A Necessity for Railway Applications
한국어 초록
철도 산업의 엄격한 표준과 규제로 인해 현재 인공지능(AI)은 안전과 직결되지 않는 비안전 필수(non-safety critical) 응용 분야에만 적용되고 있습니다. 본 논문에서는 데이터 과학 및 AI 알고리즘에 대한 신뢰를 높이고 규정 준수(compliance)를 달성하는 데 필요한 세 가지 주요 분야인 강건성(robustness), 운용 설계 영역(ODD, Operational Design Domain), 설명가능성(explainability)을 검토할 것을 제안합니다. 강건성은 어떠한 환경에서도 AI 시스템이 성능 수준을 유지할 수 있는 능력입니다(ISO24029). 최근 발표된 DIN DKE SPEC 99004에 따르면, ODD는 시스템이 작동하도록 의도된 운용 조건을 명시적으로 정의할 수 있게 해줍니다. 설명가능성은 AI 시스템의 결과에 영향을 미치는 주요 요인을 인간이 이해할 수 있는 방식으로 표현하는 AI 시스템의 특성입니다. 이러한 3가지 연구 영역은 비철도 분야의 주체들에 의해 이미 활발히 연구되어 왔으며, 철도 응용 분야에 즉시 사용할 수 있는 알고리즘과 방법론들이 갖추어져 있습니다. 안전한 MLOps 환경 내에서 모든 신뢰성 요구사항이 지속적으로 상호작용하도록 보장함으로써 규제 기관, 운영자 및 대중의 수용성을 높이려면 시스템적 관점(system view)이 필수적입니다. 안전 필수 응용 분야를 보호하는 것을 넘어, 현재 전 세계 규제 프레임워크에서 요구하는 바와 같이 AI에 대한 깊은 신뢰를 구축하는 것이 AI의 잠재력을 온전히 실현하고 미션 크리티컬(mission-critical) 도메인 전반에 걸친 도입 속도를 혁신적으로 변화시킬 것임을 보여주고자 합니다.
원문 초록
Artificial Intelligence (AI) is currently only applied to non-safety critical applications due to the strict standards and regulations for railway industries. We propose to review the three main fields necessary to increase trust in data science and AI algorithms and reach compliance: robustness, Operational Design Domain (ODD), and explainability. Robustness is the ability of an AI system to maintain its level of performance under any circumstances (ISO24029). ODDs allow the explicit definition of operating conditions under which a system is intended to operate, according to the recently published DIN DKE SPEC 99004. Explainability is the property of an AI system to express important factors influencing the AI system results in a way that humans can understand. Those 3 domains of research are already well investigated by nonrailway actors, with algorithms and methods ready to use for railway applications. A system view is necessary to ensure all trustworthy requirements interact continuously in a safe MLOps environment thereby fostering acceptance from regulators, operators and the public. Beyond safeguarding safety-critical applications, we aim to show that fostering deep trust in AI, as now required by regulatory frameworks worldwide, will unlock its full potential and transform the pace of adoption across mission-critical domains.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
입력 스킵 잠재 이진 베이지안 신경망을 통한 설명 가능한 베이지안 심층 학습
Explainable Bayesian deep learning through input-skip Latent Binary Bayesian Neural Networks
인공 신경망(ANN)으로 자연 현상을 모델링하면 높은 정확도의 예측을 제공하는 경우가 많습니다. 그러나 ANN은 과잉 파라미터화(over-parameterization)로 인해 해석이 복잡해지고 불확실성 문제가 발생하는 경우가 많습니다. 베이지안 신경망(BNN)은 가중치를 확률 분포로 표현함으로써 예측 불확실성 평가를 가능하게 하여 후자의 문제를 해결합니다. 잠재 이진 베이지안 신경망(LBBNN)은 구조적 불확실성을 추가로 처리하고 불필요한 가중치를 제거하여 모델을 희소화합니다. 본 논문은 공변량(covariate)이 이후의 임의의 층으로 스킵하거나 제외될 수 있도록 함으로써 LBBNN을 발전시켜 네트워크를 단순화하고 예측에 대한 입력의 영향을 명확히 합니다. 이를 통해 적절한 경우 더 단순한 구조(예: 선형 모델 또는 상수 절편 전용 모델)를 학습할 수 있습니다. 또한 입력 스킵 LBBNN(ISLaB) 방법은 표준 LBBNN 대비 네트워크 밀도를 크게 줄여, 소규모 네트워크에서는 99% 이상, 대규모 네트워크에서는 99.9% 이상의 감소를 달성하면서도 높은 예측 정확도와 불확실성 정량화를 유지합니다. 예를 들어, MNIST에서 단 935개의 가중치만으로 97% 정확도와 우수한 캘리브레이션을 달성하여 신경망 압축 분야에서 최신 성능(state-of-the-art)에 도달했습니다. 또한 제안된 방법은 실제 공변량을 정확하게 식별하고 시스템 비선형성을 조정합니다. 주요 기여는 활성 경로(active path)의 도입으로, LBBNN 프레임워크 내에서 직접 설계된 전역 및 지역 설명을 강화한다는 점입니다. 후자는 이론적 보증이 있는 정확한 방법으로, 사후(post hoc) 외부 도구를 필요로 하지 않습니다.
캡션 병목 모델
Caption Bottleneck Models
개념 병목 모델(CBM)은 예측을 인간이 이해할 수 있는 개념 층을 통해 라우팅함으로써 해석 가능성을 제공합니다. 그러나 특정 데이터셋에 대한 최적 개념 집합을 정의하는 것은 여전히 미해결 과제입니다. 기존 접근법은 값비싼 전문가 주석이나 클래스 이름만을 기반으로 LLM이 생성한 목록에 의존합니다. 심지어 "개방형 어휘" 변형조차도 일반적으로 정적 개념 집합에 의존하며, 이는 발견을 제한하고 레이블 바이어스를 초래합니다. 또한 기존 CBM은 모델링되지 않은 시각적 특징이 병목을 우회하여 설명의 무결성을 훼손하는 정보 누수 문제를 겪는 경우가 많습니다. 이러한 한계를 극복하기 위해 우리는 캡션 병목 모델(CaBM)을 제안합니다. CaBM은 엄격한 개념 층을 자유형 자연어로 대체하여 사전 정의된 개념 집합의 필요성을 우회하는 프레임워크입니다. LMM이 생성한 캡션으로 이미지를 표현하고 이 텍스트만으로 분류기를 학습함으로써, CaBM은 설계상 누수 없는 아키텍처를 보장합니다. 더불어 학습 후 텍스트 분류기를 분석함으로써 CaBM은 고품질의 데이터셋 특화 개념을 자율적으로 발견합니다. 세밀 및 조대 벤치마크에 걸친 결과는 CaBM이 외부 사전이나 수동 레이블링의 제약 없이 해석 가능성을 유지하면서 경쟁력 있는 정확도를 달성함을 보여줍니다.
On the effects of emulated quantum layers on CNN performance and explainability for OCT and dementia imaging
MEA: 충실한 모델 설명을 위한 보상 기반 다중 에이전트 시스템
MEA: A Reward-Driven Multi-Agent System for Faithful Model Explanations
최근 중요도가 높은 고위험 영역에서 수많은 머신러닝(ML) 모델이 도입되고 있지만, 그 예측을 바탕으로 행동해야 하는 실무자들에게 이러한 모델은 여전히 대부분 불투명한 상태로 남아 있습니다. 사후(post-hoc) 설명 방법들이 모델의 동작을 들여다볼 수 있는 시각을 제공하긴 하지만, 이를 효과적으로 다루기 위해서는 대부분의 도메인 전문가들이 갖추지 못한 전문 지식이 필요합니다. 즉, 고차원 출력을 탐색하고, 최적의 설명을 선택하며, 이질적인 도구들 전반에 걸친 증거를 종합해야 합니다. 이를 위해 본 연구에서는 설명에 필요한 전문 지식의 장벽을 완전히 제거하는 다중 에이전트 프레임워크인 MEA를 제시합니다. 제안자(Proposer) 에이전트는 질문과 양식(modality)에 따라 설명 도구를 선택하고 구성하며, 실행자(Actor) 에이전트는 충실도(faithfulness)를 기준으로 엔드투엔드 최적화되어 테이블, 텍스트, 비전 양식 전반에 걸쳐 모델 동작에 기반(grounding)한 자연어 설명으로 출력을 변환합니다. 나아가, 특징 기여도(feature attribution), 반사실적 추론(counterfactual reasoning), 거짓 특징(spurious feature) 탐지를 아우르는 다양한 질문 유형을 도입하고, 각각을 섭동 기반 충실도 지표와 짝지었습니다. 연구 결과, 프론티어 대규모 언어 모델(LLM)들은 체계적으로 충실하지 못한 설명을 생성하는 것으로 나타났습니다. 양식 적응형 페널티로 강화된 충실도 보상에 대해 최적화함으로써, MEA는 6개 데이터셋 전반에서 기존 사후 설명 기법, 에이전트 기반 베이스라인, 상용 폐쇄형 베이스라인을 일관되게 능가했으며, 보상 기반 최적화를 통해 학습되지 않은 백본 대비 충실도가 테이블에서 +28%, 텍스트에서 +21%, 비전에서 +34% 향상되었습니다. 더 넓게는, 본 연구 결과는 AI 에이전트 자체가 머신러닝 설명가능성(explainability)을 위한 확장 가능하고 적응력 있는 인터페이스 역할을 할 수 있음을 시사하며, 오랫동안 이 분야를 규정해 온 고정된 단일 목적 도구를 넘어 일반화되는 자연어 설명가능성으로 향하는 길을 열어줍니다.
어떤 픽셀이 충분한가? SEAMS: MSE 보존 소프트 마스크를 통한 충분성 살리언시
What Pixels Are Enough? SEAMS: Sufficiency Saliency via MSE-Preservation Soft-Masks
살리언시 맵(saliency map)은 모델의 동작을 보존하기에 충분한 이미지 영역을 식별할 때 가장 유용하다. 우리는 보존 목적 함수를 사용하여 소프트 마스크를 직접 최적화하는 충분성 기반 살리언시 방법인 SEAMS를 소개한다. 클래스 확률, CLS 임베딩, 또는 토큰 표현과 같이 고정된 미분 가능한 모델 출력이 주어지면, SEAMS는 선택된 출력을 보존하는 컴팩트한 마스크를 탐색한다. 이 접근법은 소프트 마스크, 학습 가능한 버짓(budget), 그리고 쿼리 이미지만으로 생성된 3방향 이미지 합성에 기반한 단순한 최적화 프레임워크에 의존한다. 그 결과, 보조 방해 데이터셋, 아키텍처별 귀인 메커니즘, 또는 미분 가능한 top-k 완화가 필요하지 않다. 고정된 ViT-S/16 및 ConvNeXt 모델을 이용한 실험에서, 동일한 최적화 파이프라인이 보존 대상만 변경함으로써 객체 수준, 클래스 조건부, 토큰 수준 설명을 생성할 수 있음을 보인다. 결과 마스크는 컴팩트하고 해석 가능하며, 무작위 초기화에 걸쳐 안정적이고, 삽입 및 삭제 벤치마크에서 경쟁력 있는 성능을 보인다. 또한 우리의 결과는 서로 다른 아키텍처가 유사한 보존 충실도를 달성하면서도 종종 서로 다른 충분한 증거에 의존함을 나타내며, 이는 시각적 설명의 아키텍처 의존적 특성을 부각시킨다.
SHAP에서의 설명 다중성: 특성화 및 평가
Explanation Multiplicity in SHAP: Characterization and Assessment
SHAP 설명은 중요한 의사결정을 정당화하기 위해 고위험 환경에서 널리 사용되지만, 모델, 입력 인스턴스, 예측이 일정하게 유지되는 경우에도 반복 실행 간에 상당한 차이를 보일 수 있습니다. 선행 연구에서는 서로 다른 설명 방법 간의 불일치를 기록해 왔으나, 본 연구에서는 동일하게 학습된 모델과 인스턴스에 대해 동일한 추정기를 재실행할 때조차 SHAP 내부에서 상당한 불일치가 발생함을 보입니다. 저자들은 이 현상을 '설명 다중성(explanation multiplicity)'이라 부르고, 실제 배포 환경 수준의 계산 예산 하에서 이를 특성화하기 위한 평가 방법론을 개발했습니다. 이는 모델 기인 변동성과 설명기(explainer) 기인 변동성을 비교하는 이중 시드(dual-seed) 프로토콜, 크기 기반·순위 기반·집합 기반 지표의 계층 구조, 그리고 관측된 불일치에 대한 기준 척도를 제공하는 무작위 Dirichlet 및 Mallows 귀무 모델을 결합합니다. 여러 데이터셋, 모델, 샘플링 전략 전반에 걸쳐 분석한 결과, 설명 다중성은 만연하며 신뢰도가 높은 예측에 대해서도 지속됨을 발견했습니다. 각 원인의 상대적 기여도는 데이터 체제와 모델에 따라 달라집니다. 모델 기인 불일치는 일반적으로 더 작은 데이터셋에서 더 큰 반면, 설명기 기인 불일치는 더 큰 데이터셋에서 더 큽니다. 흔히 사용되는 L2 거리는 이러한 불안정성을 과소평가할 수 있는 반면, 순위 기반 지표는 최상위 특징(feature)을 포함하여 상위 랭크 특징들의 실질적인 변화를 드러냅니다. CTE와 같이 개선된 샘플링 방법도 순위 수준의 다중성을 제거하지 못하며, K-Means는 실행 간 변동을 줄이지만 압축된 배경(compressed-background) 설명이 경험적 분포 기준과 달라질 수 있습니다. 실무자는 단일 실행 SHAP 결과를 결정적인 결과물이라기보다는 한 분포의 표본 실현값으로 취급해야 합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Transport Research Arena 2026, accepted