arXiv:2110.14927

Counterfactual Explanation of Brain Activity Classifiers using Image-to-Image Transfer by Generative Adversarial Network

Teppei Matsui, Masato Taki, Trung Quang Pham, Junichi Chikazoe, Koji Jimura

제출 2021-10-28

원문 초록

Deep neural networks (DNNs) can accurately decode task-related information from brain activations. However, because of the nonlinearity of the DNN, the decisions made by DNNs are hardly interpretable. One of the promising approaches for explaining such a black-box system is counterfactual explanation. In this framework, the behavior of a black-box system is explained by comparing real data and realistic synthetic data that are specifically generated such that the black-box system outputs an unreal outcome. Here we introduce a novel generative DNN (counterfactual activation generator, CAG) that can provide counterfactual explanations for DNN-based classifiers of brain activations. Importantly, CAG can simultaneously handle image transformation among multiple classes associated with different behavioral tasks. Using CAG, we demonstrated counterfactual explanation of DNN-based classifiers that learned to discriminate brain activations of seven behavioral tasks. Furthermore, by iterative applications of CAG, we were able to enhance and extract subtle spatial brain activity patterns that affected the classifier's decisions. Together, these results demonstrate that the counterfactual explanation based on image-to-image transformation would be a promising approach to understand and extend the current application of DNNs in fMRI analyses.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.21068v1cs.LG공통 태그 Generative Adversarial Network, counterfactual

CycleGAN 및 반사실-분류기 정렬 점수를 활용한 망막 질환 분류를 위한 반사실 설명 가능성 프레임워크

Counterfactual Explainability Framework With CycleGAN And Counterfactual-Classifier Alignnment Score for Retinal Disease Classification

안저 영상으로부터 시력을 저해하는 망막 기반 안과 질환의 자동 탐지는 조기 스크리닝, 적시 의뢰, 전문의 중심 평가에 대한 의존도 감소에 중요하며, 이를 위해 신경망 기반 심층 학습(DL) 모델이 널리 활용되어 왔다. 그러나 DL 프레임워크의 설명 가능성은 임상 채택의 주요 병목으로 남아 있으며, 특히 모델의 판단이 임상적으로 의미 있는 망막 영역과 연결되지 않을 때 그렇다. 이 문제를 해결하기 위해 본 연구는 CounterFundus라는 새로운 CycleGAN 기반 반사실 설명 가능성 프레임워크를 제안하며, EfficientNet-B5 기반 망막 질환 탐지와 시각적으로 해석 가능한 질병-정상 안저 영상 변환을 통합한다. 각 병리학적 영상에 대해 CycleGAN 생성기가 산출한 반사실은 추정된 건강한 대응 영상을 나타내며, 그로부터 얻은 차이 맵은 질환 관련 망막 변화의 국소화에 활용된다. 기존의 사후(post-hoc) saliency 방법과 달리, CounterFundus는 시각적으로 그럴듯한 질병-정상 망막 변환을 통해 반사실 설명을 제공한다. 이어서 반사실 차이 맵과 분류기 saliency 간의 공간적 일치를 정량화하기 위해 반사실-분류기 정렬 점수(Counterfactual-Classifier Alignment Score, CCAS)를 도입하며, Spearman 상관, 이진 IoU, 포인팅 정확도(pointing accuracy)를 단일 평가 프로토콜에 임베딩한다. 이를 위해 EigenCAM 정렬 평가를 수행한 결과, 생성된 반사실 설명이 모든 CCAS 차원에서 분류기 관련 망막 근거와 공간적으로 일관됨을 보여준다. 또한 ablation 연구는 CCAS로 필터링한 반사실 증강이 안저 영상의 하위 분류 성능을 향상시킴을 추가로 확인하여, CounterFundus를 망막 질환 탐지를 위한 임상적으로 그라운딩된 설명 가능 인공지능(XAI) 프레임워크로 확립한다.

arXiv:2607.12909v2q-bio.NC공통 태그 counterfactual

저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지

Real-time fall detection based on vision for low-power edge platforms

낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.

arXiv:2606.24548v4cs.CV공통 태그 counterfactual

텍스트-이미지 모델은 귀납주의적 칠면조인가? 인과 추론을 위한 반사실적 벤치마크

Are Text-to-Image Models Inductivist Turkeys? A Counterfactual Benchmark for Causal Reasoning

텍스트-이미지(T2I) 생성 모델은 자연어 프롬프트로부터 시각적으로 사실적인 이미지를 생성하는 데 괄목할 만한 진전을 이루었다. 그러나 이러한 성공이 진정한 인과적 이해를 반영하는지, 아니면 시각-텍스트 상관관계에 대한 정교한 패턴 매칭인지는 여전히 불분명하다. 러셀의 귀납주의 칠면조에서 착안하여, 본 논문은 텍스트-이미지 모델이 현실 세계의 사전 지식과 체계적으로 모순되는 규칙 아래에서 이미지를 생성할 수 있는지 조사하기 위해 설계된 반사실 벤치마크인 Counterfactual-World(CF-World)를 소개한다. CF-World는 각 시나리오를 세 가지 점진적 수준으로 구성한다. 일반적인 세계 지식에 따른 사실 생성, 직접적인 시각 지시를 포함한 명시적 반사실 생성, 그리고 변경된 규칙으로부터의 인과적 연역이 필요한 암묵적 반사실 생성이다. 시각-언어 모델 기반 점수 산정 파이프라인인 CF-Eval을 사용하여 오픈소스 및 클로즈드소스 텍스트-이미지 모델을 평가한다. 각 프롬프트 수준의 점수를 주요 결과로 보고하고, 사전 저항률(Prior Resistance Rate, PRR)과 추론 유지율(Reasoning Retention Rate, RRR)을 보조적 기술 지표로 사용한다. 평가한 모든 모델은 반사실 프롬프트에서 사실 프롬프트보다 낮은 점수를 받았다. 진단 실험은 변경된 규칙을 따르는 것과 드물게 함께 나타나는 시각적 속성을 재조합하는 것에 어려움이 있음을 보여준다. 객체와 속성 이름을 바꿔 표현했을 때의 향상은 반사실 생성에서 학습된 시각적 사전 지식이 역할을 한다는 해석과 부합한다. 본 벤치마크와 평가 코드는 https://jylei16.github.io/CF-World.github.io/ 에서 공개되어 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.