arXiv:1909.06907

X-ToM: Explaining with Theory-of-Mind for Gaining Justified Human Trust

Arjun R. Akula, Changsong Liu, Sari Saba-Sadiya, Hongjing Lu, Sinisa Todorovic, Joyce Y. Chai, Song-Chun Zhu

제출 2019-09-15

원문 초록

We present a new explainable AI (XAI) framework aimed at increasing justified human trust and reliance in the AI machine through explanations. We pose explanation as an iterative communication process, i.e. dialog, between the machine and human user. More concretely, the machine generates sequence of explanations in a dialog which takes into account three important aspects at each dialog turn: (a) human's intention (or curiosity); (b) human's understanding of the machine; and (c) machine's understanding of the human user. To do this, we use Theory of Mind (ToM) which helps us in explicitly modeling human's intention, machine's mind as inferred by the human as well as human's mind as inferred by the machine. In other words, these explicit mental representations in ToM are incorporated to learn an optimal explanation policy that takes into account human's perception and beliefs. Furthermore, we also show that ToM facilitates in quantitatively measuring justified human trust in the machine by comparing all the three mental representations. We applied our framework to three visual recognition tasks, namely, image classification, action recognition, and human body pose estimation. We argue that our ToM based explanations are practical and more natural for both expert and non-expert users to understand the internal workings of complex machine learning models. To the best of our knowledge, this is the first work to derive explanations using ToM. Extensive human study experiments verify our hypotheses, showing that the proposed explanations significantly outperform the state-of-the-art XAI methods in terms of all the standard quantitative and qualitative XAI evaluation metrics including human trust, reliance, and explanation satisfaction.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01188v1cs.AI공통 태그 Pose Estimation, Action Recognition

운동별 관절 선택은 언제 도움이 되는가? 평가 및 대조군 설계에 대한 감사

When Does Exercise-Specific Joint Selection Help? An Audit of Evaluation and Control Design

운동별 관절 선택(joint selection)은 골격 기반 정확도 분류(classification) 성능을 향상시킬 수 있지만, 그러한 향상이 입증하는 바는 무엇일까? 본 연구는 평가 집계, 부분집합 구조, 시간적 표현을 분리하여 10명의 REHAB24-6 피험자로부터 얻은 1,057회의 반복 동작을 감사(audit)한다. 수동 부분집합 kNN 이득은 풀링된 폴드 외부(pooled out-of-fold) AUROC 기준 0.055에서 동일 가중치(weight) 개인 내(within-person) AUROC 기준 0.020으로 변화하며, 두 대응 구간 모두 0을 포함한다. 차원이 일치하는 1,000개의 무작위 맵 중 14개가 수동 풀링 결과와 일치하거나 이를 초과한 반면, 양측 구조와 몸통 포함 여부까지 일치시킨 경우에는 145개가 이를 초과하거나 일치했다. RBF-SVM은 양의 개인 내 이득을 유지하지만, 로지스틱 회귀와 무작위 합성곱(convolution) 비교 대상은 해당 추정량(estimand) 하에서 음의 점 이득을 보인다. 시퀀스 순서 및 대응 시드(paired-seed) 대조군은 해석을 더욱 한정한다. 이러한 탐색적 감사는 관절 선택 주장이 명시적인 추정량과 구조적으로 적절한 대조군을 요구하는 이유를 보여주며, 새로운 알고리즘이나 임상적 이점을 확립하는 것은 아니다.

arXiv:2609.26923v1cs.CV공통 태그 Pose Estimation, Action Recognition

크리켓 샷 분류 및 자동 생체역학 분석을 위한 3D 포즈 기반 앙상블 프레임워크

A 3D Pose-Based Ensemble Framework for Cricket Shot Classification and Automated Biomechanical Analysis

크리켓은 전 세계에서 가장 사랑받는 스포츠 중 하나이며, 기술 발전은 현대 경기가 분석되고 코칭되는 방식에 깊이 자리 잡았다. 크리켓 샷 분류와 자동화된 성과 분석은 이러한 흐름에 또 다른 차원을 더한다. 전통적 접근법은 RGB 영상 특징이나 정적 이미지에 의존하며, 카메라 각도, 조명, 배경 잡음 등 환경 변화에 민감하고, 타격 동작의 근본적인 생체역학을 포착하는 데 종종 실패한다. 본 논문에서는 원시 영상 데이터를 입력으로 받아 YOLO로 영상 프레임에서 타자를 추출하고 MeTRAbs로 영상 프레임에서 3D 포즈 데이터를 추출하여 크리켓 코칭을 개선하는 시스템을 제안한다. 이 시스템은 30개 신체 관절점의 순차적 골격 포즈 데이터를 생성하며 타자의 생체역학적 특징을 포착한다. 시스템의 일부로 flick, pull, defense, drive 네 가지 샷에 대한 샷 분류용 심층 학습 앙상블도 제안한다. 앙상블은 기존 분류 연구 대비 우수한 성능을 보였으며 97.68%의 정확도를 달성했다. 또한 오분류율을 분석하여 샷이 잘못 분류된 사례를 식별하고 가능한 원인을 검토했다. 제안 시스템은 초보 선수가 전문 타자 대비 중요 관절 각도와 같은 유용한 피드백을 얻을 수 있게 하며, 부상 예방에도 도움이 될 수 있다. 샷 분류기는 클래스별 샷을 시간에 따라 추적하여 추가 분석을 돕는다. 초보 선수뿐 아니라 코치도 선수 평가에 이 시스템을 활용할 수 있다.

arXiv:2609.25862v1cs.CL공통 태그 Pose Estimation, Action Recognition

아이슬란드 수어 고립 수어 인식: 저자원 환경에서의 실험

Isolated Sign Language Recognition for Icelandic Sign Language: Experiments in a Low-resource Setting

본 논문은 아이슬란드 수어(\'ITM)에 대한 고립 수어 인식(ISLR) 최초의 실험을 제시한다. 아이슬란드어–\'ITM 이중 언어 온라인 사전에서 파생된 데이터셋인 \'ITM SignWiki를 사용한다. 이 데이터셋은 실제로 저자원 환경에 해당한다. 1,845개의 비디오가 849개 클래스를 이루며, 이 중 86%는 예시가 단 두 개뿐이어서 전체 과제는 사실상 서로 다른 수어 사용자 간의 원샷(one-shot) 인식이 된다. 어휘 크기가 점차 커지는 세 가지 과제(22개, 117개, 849개 클래스)에서 두 가지 오픈소스 ISLR 프레임워크인 OpenHands와 SPOTER를 비교하고, 세 가지 포즈 추정기와 두 가지 형태의 교차 언어 전이(cross-lingual transfer)를 평가한다. \'ITM 데이터만 사용할 경우 세 과제 모두에서 SPOTER가 OpenHands보다 우수한 성능을 보였으며, MediaPipe 포즈가 AlphaPose나 SDPose보다 더 좋은 결과를 냈다. 가장 큰 성능 향상은 교차 언어 전이에서 나타났다. \'ITM으로 파인튜닝하기 전에 미국 수어 데이터로 SPOTER를 사전학습하면 정확도가 14~24%p 상승하여 세 과제에서 각각 72.7%, 47.9%, 22.6%에 도달했으며, 다른 여섯 개 수어의 데이터를 활용한 다국어 학습은 전체 과제에서 OpenHands의 정확도를 1.41%에서 28.86%로 끌어올렸다. 실용화 수준에는 크게 못 미치지만, 이 결과는 자원이 더 풍부한 수어로부터의 전이가 극저자원 수어에 유망함을 시사한다. 두 프레임워크를 각각 수정한 버전을 공개한다.

arXiv:2609.24193v1cs.CV공통 태그 Pose Estimation, Image Classification

안전한 보행자-차량 상호작용을 위한 경량 보행자 머리 방향 인식 네트워크

Lightweight Pedestrian Head-Orientation Recognition Network for Safe Pedestrian-Vehicle Interaction

보행자 머리 방향 인식은 보행자의 주의를 파악하고 잠재적인 횡단 행동을 예측하는 데 유용한 단서를 제공함으로써 자율주행에서 중요한 역할을 한다. 그러나 실제 교통 상황에서 보행자의 머리 영역이 저해상도로 촬영되는 경우가 많아 신뢰할 수 있는 인식은 여전히 어려운 과제로 남아 있다. 이러한 문제를 해결하기 위해, 우리는 보행자 머리 방향 인식을 위한 경량의 저해상도 머리 방향 합성곱 신경망(Low-Resolution Head Orientation Convolutional Neural Network, LRHO-CNN)을 제안한다. 우리는 여러 공개 데이터셋에서 보행자 머리 이미지를 추출하고 이를 8개의 방향 범주로 수동으로 주석 처리하여 새로운 데이터셋을 구축한다. 수집된 이미지는 데이터 다양성을 높이고 조명 및 이미지 품질의 변화를 더 잘 반영하기 위해 체계적으로 전처리 및 증강된다. 실험 분석에서는 LRHO-CNN을 세 가지 파인튜닝된 기준선 모델인 ResNet-18, ResNet-34, VGG-16과 비교한다. 그 결과 LRHO-CNN이 평가된 모델 중 가장 높은 분류 정확도를 달성함을 보여준다. LRHO-CNN은 JAAD 및 PIE 데이터셋에서 추가로 평가되어 실제 교통 상황에서 보행자 머리 방향을 인식하는 데 효과적임을 입증하며, 후속 보행자 행동 및 의도 예측을 지원할 수 있는 유용한 머리 방향 단서를 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.