Dissonance Between Human and Machine Understanding
원문 초록
Complex machine learning models are deployed in several critical domains including healthcare and autonomous vehicles nowadays, albeit as functional black boxes. Consequently, there has been a recent surge in interpreting decisions of such complex models in order to explain their actions to humans. Models that correspond to human interpretation of a task are more desirable in certain contexts and can help attribute liability, build trust, expose biases and in turn build better models. It is, therefore, crucial to understand how and which models conform to human understanding of tasks. In this paper, we present a large-scale crowdsourcing study that reveals and quantifies the dissonance between human and machine understanding, through the lens of an image classification task. In particular, we seek to answer the following questions: Which (well-performing) complex ML models are closer to humans in their use of features to make accurate predictions? How does task difficulty affect the feature selection capability of machines in comparison to humans? Are humans consistently better at selecting features that make image recognition more accurate? Our findings have important implications on human-machine collaboration, considering that a long term goal in the field of artificial intelligence is to make machines capable of learning and reasoning like humans.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SGML: A Symmetric Graph Metric Learning Framework for Efficient Hyperspectral Image Classification
Beyond the Attention: Distinguish the Discriminative and Confusable Features For Fine-grained Image Classification
Accurate Dictionary Learning with Direct Sparsity Control
MODA General Attribute Suite: 패션 속성 추출을 위한 4트랙 평가 벤치마크
The MODA General Attribute Suite: A Four-Track Evaluation Benchmark for Fashion Attribute Extraction
패션 속성 추출(fashion attribute extraction)은 일관성 없이 평가되고 있다: 결과는 서로 다른 문제를 제기하는 이미지 유형 전반에 걸쳐 단일 집계 수치로 보고되고, 이미지에 보이지 않는 필드는 일반적인 음성(negative)으로 채점되며, 데이터셋 간 어휘 불일치(vocabulary mismatch)의 영향은 인정되지만 측정되지는 않는다. 우리는 이러한 문제들을 설계상 분리하여 유지하는 4트랙 벤치마크인 MODA General Attribute Suite를 공개한다. 각 트랙(국소화된 의류 크롭(localized garment crop), 카탈로그 제품 이미지, 적용 가능성(applicability)을 고려한 전신 사진, 제품 텍스트)은 각각 고정된(frozen) 테스트 세트, 입력 계약(input contract), 지표(metric), 누출 단위(leakage unit)를 가지며, 트랙 간에는 결코 평균을 내지 않는다. 프로토콜은 레이블을 보지 않는(label-blind) 예측, 레이블을 공개하기 전 예측 파일의 SHA-256 커밋(commitment), 폐쇄 실패형(fail-closed) 채점기, 그리고 각 트랙의 고유한 누출 단위에서의 10,000-샘플 페어드 클러스터 부트스트랩(paired cluster bootstrap)을 요구한다; 승급(promotion)에는 유리한 평균이 아니라 모든 트랙에서 양의 구간(positive interval)이 요구된다. 우리는 채점기(scorer), 분할 빌더(split builder), 주요 결과에 포함된 모든 이미지 트랙 시스템과 성능이 뒤처진 실행(run)에 대해서도 해시를 포함한 자체 예측 파일, 그리고 4개 트랙 중 3개에 대한 MODA_NER(V) 모델 체크포인트를 공개한다. 텍스트 모델은 배포되지 않으나 그 벤치마크는 배포된다. 우리는 기준선(baseline) 결과, 이를 개선하지 못한 6가지 개입(intervention), 그리고 근거의 한계를 보고한다. 의류 크롭(garment-crop) 트랙에서는 헤드라인 결과가 벤치마크 자체의 설계에 얼마나 의존하는지도 측정한다: 두 최상위 시스템의 순위는 필드를 마이크로 평균(micro-average)할지 매크로 평균(macro-average)할지에 따라 달라지며, 프로토콜이 판정하는 셀(cell)의 3분의 2는 어노테이션(annotation)이 전혀 없고, 적용 가능성 판단(applicability decision)을 비활성화하면 속성 마이크로 F1(micro-F1)이 0.63에서 0.27로 떨어진다. 따라서 이 점수의 대부분은 원본 레이블로는 판정할 수 없는 부재(absence) 판단에 의존하고 있다. 이 버전에서는 또한 추론(inference) 전처리 결함이 영향을 미쳤던 외부 비교의 수치 하나를 수정하였다.
설명 가능한 AI(XAI) 기반 하이퍼스펙트럴 이미지 분류를 위한 차원 축소
Dimensionality reduction for AI based hyperspectral image classification based on XAI
본 연구는 인공지능(AI) 기반 차원 축소를 활용하여 목재 재활용 공정에서 소재 재활용이 제한적인 문제를 다룬다. 본 연구는 RGB 채널을 넘어 200개 이상의 분광 채널을 갖는 다중 채널 하이퍼스펙트럴 이미징(HSI)에 합성곱 신경망(CNN)을 적용하는 방법을 탐구한다. 이러한 맥락에서 차원 축소는 AI 시스템의 학습과 추론을 위한 특징 공간을 간소화하는 것을 의미한다. 설명 가능한 AI(XAI) 기법에 초점을 맞춘 본 논문은 더 폭넓은 연구 이니셔티브에 기여하며, 목재 재활용 공정의 지속가능성과 효율성을 향상시키는 솔루션 프레임워크를 제시한다.
Evaluating the Performance of TAAF for image classification models
토론
이 논문과 연결된 포럼 글이 아직 없습니다.