arXiv:2104.14506

Explainable AI For COVID-19 CT Classifiers: An Initial Comparison Study

Qinghao Ye, Jun Xia, Guang Yang

제출 2021-04-25

원문 초록

Artificial Intelligence (AI) has made leapfrogs in development across all the industrial sectors especially when deep learning has been introduced. Deep learning helps to learn the behaviour of an entity through methods of recognising and interpreting patterns. Despite its limitless potential, the mystery is how deep learning algorithms make a decision in the first place. Explainable AI (XAI) is the key to unlocking AI and the black-box for deep learning. XAI is an AI model that is programmed to explain its goals, logic, and decision making so that the end users can understand. The end users can be domain experts, regulatory agencies, managers and executive board members, data scientists, users that use AI, with or without awareness, or someone who is affected by the decisions of an AI model. Chest CT has emerged as a valuable tool for the clinical diagnostic and treatment management of the lung diseases associated with COVID-19. AI can support rapid evaluation of CT scans to differentiate COVID-19 findings from other lung diseases. However, how these AI tools or deep learning algorithms reach such a decision and which are the most influential features derived from these neural networks with typically deep layers are not clear. The aim of this study is to propose and develop XAI strategies for COVID-19 classification models with an investigation of comparison. The results demonstrate promising quantification and qualitative visualisations that can further enhance the clinician's understanding and decision making with more granular information from the results given by the learned XAI models.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02378v1cs.AI공통 태그 Decision Making, Management

THPL: 순환여과양식시스템(RAS) 내 무지개송어 급이 관리를 위한 비전-언어 의사결정 지원 프레임워크

THPL: A Vision-to-Language Decision Support Framework for Rainbow Trout Feeding Management in RAS

순환여과양식시스템(RAS)에서 정밀(precision) 급이는 사료 비용을 최소화하고 어류 복지를 향상시키는 데 매우 중요합니다. 그러나 기존 방식은 어류 행동과 관리 지식 간의 인지적 정렬(alignment)이 부족하여, 이를 실행 가능하고 해석 가능한 급이 결정으로 전환하는 데 한계가 있었습니다. 이를 해결하기 위해 본 논문에서는 RAS 환경의 무지개송어(Oncorhynchus mykiss)를 위해 설계된 생성형 급이 의사결정 프레임워크인 THPL을 제안합니다. 첫째, Fishsort가 궤적을 추출하여 급이 강도를 정량화하는 활동 계수(AC)를 산출합니다. 둘째, 계층적 행동 인코더(HBE)가 Temporal Transformer 및 Set Transformer를 활용해 개별 시간적 변화와 집단적 역학을 모델링함으로써, 궤적 텐서를 명시적 물리 토큰과 암시적 소프트 토큰의 이중 근거 표현으로 변환합니다. 마지막으로, 이러한 토큰들을 환경 파라미터, 메타데이터, 전문가 규칙과 통합하여 LoRA 기반으로 대규모 언어 모델(LLM)을 파인튜닝(fine-tuning)하고, 반사실적 멀티모달 직접 선호 최적화(mDPO)를 적용해 인과 추론 능력을 강화합니다. 실험 결과, AC는 전문가가 레이블링한 급이 강도와 통계적으로 유의미한 단조 양의 상관관계를 나타냈습니다(Spearman $ρ= 0.925$, $p < 0.001$). 절제 연구(ablation study)에서는 의사결정 정확도가 텍스트 전용 베이스라인(baseline)의 33.33%에서 이중 근거 토큰 적용 시 93.33%로 향상되어, 연속적인 시공간 토큰이 LLM에 필수적인 물리적 그라운딩(grounding)을 제공함을 확인했습니다. 또한 표준 LoRA 대비 반사실적 mDPO는 의사결정 정확도를 93.33%에서 96.67%로 향상시켰고, METEOR를 58.10%에서 85.30%로 끌어올렸으며, Self-BLEU-2를 58.79%에서 52.88%로 감소시키고 Distinct-3을 6.68%에서 7.81%로 증가시켜 템플릿화 및 작동 편향을 억제하는 동시에 인과적 일관성과 운영 안전성(safety)을 강화했습니다. 전반적으로, 본 연구는 연속적인 기구학(kinematics)과 LLM 추론을 결합함으로써 정밀 양식을 위한 새로운 의사결정 지원 패러다임을 제시합니다.

arXiv:2610.00126v1cs.CR공통 태그 Decision Making, Diagnostic

검증자가 정답을 유출할 수 있다: 폐루프 에이전트 디버깅에서 최적화에 앞선 진단 가능성

A Verifier Can Leak the Answer: Diagnosability Before Optimization in Closed-Loop Agent Debugging

에이전트(agent) 개발자들은 시뮬레이터 기반 검증자(verifier)를 통해 프롬프트, 도구, 정책 및 진단 알고리즘을 비교하는 방식을 점점 더 많이 활용하고 있습니다. 그러나 검증자는 솔버(solver) 비교를 무의미하게 만들 수도 있습니다. 즉, 검증자의 프로브(probe)나 술어(predicate)가 타깃의 식별 정보를 인코딩하고 있다면, 정확한 옵티마이저(optimizer)는 어떠한 실질적인 모호성도 해결하지 못한 채 효과적인 것처럼 보일 수 있습니다. 본 연구에서는 폐루프(closed-loop) 의사결정 에이전트를 위한 집계 트레이스 디버거에서 발생하는 이러한 실패 사례를 보고합니다. 정확한 최소 적중 집합(Minimum Hitting Set, MHS)과 전파 인식 탐욕 알고리즘(propagation-aware greedy method)은 12개 개발 사례 모두에서 동일한 지지 집합(support)을 반환했으며, 9/12 사례에서 동일한 주입 결함(planted fault) 복구를 달성했습니다. 후속 감사 결과, 정확한 앵커(exact-anchor) 술어가 9/9 사례에서 주입된 쌍을 생성한 것으로 확인되었습니다. 해당 앵커들을 제거한 후 전체 주입 쌍 복구율은 8/9였습니다. 그럼에도 불구하고 하드 프로브 싱글톤(hard-probe singleton) 쌍은 9/9 사례에서 주입된 쌍과 일치했으며, 전파 후 비어 있지 않은 잔여 충돌군(residual conflict family)이 유지된 사례는 전무했습니다(0/9). 옵티마이저는 올바르게 작동했으나, 검증자가 이미 정답을 노출하고 있었던 것입니다. 이에 본 논문에서는 솔버 우선 평가 방식을 지지 집합 기반 게이팅(support-gated) 검증 규약으로 대체합니다. 먼저 클린 참조 맵(clean reference map)을 통해 반복적인 컴포넌트 노출을 입증해야 하며, 그다음 일치된 참조/현재 게이트를 통해 비교 가능한 런타임 증거를 확립해야 하고, 그 이후에만 독립적으로 보정된 신호 규칙이 탐지 결과를 반환할 수 있습니다. 1,440개의 사례와 21,600개의 파티션 행으로 구성된 사전 등록된 홀드아웃(heldout) 평가에서, 55/72 체제-컴포넌트(regime-component) 단위가 참조 게이트를 통과했고, 54/55가 런타임 게이트를 통과했으며, 표현된 컴포넌트의 안정적 위허용(stable false admission)은 단측 정확 95% 상한선 0.1391과 함께 0/20을 기록했습니다. 승인된 단위 내에서는 영향을 받은 정상 트래픽이 공칭 결함 셀 비율(nominal fault-cell fraction)보다 탐지를 더 잘 예측했습니다. 본 연구의 핵심적인 구조적 교훈은 컴포넌트 선택기를 최적화하기 전에 증거의 적격성과 비공개성(non-revelation)을 먼저 검증해야 한다는 점입니다. 그렇지 않으면 더 강력한 솔버가 단지 더 강력한 검증자 아티팩트(artifact)를 인증하는 것에 불과할 수 있습니다.

arXiv:2610.01231v1cs.CY공통 태그 Decision Making, Management

Jev 시대의 판단: 평가 희소성에서 평가 풍요로

Judgement in the Age of Jev: From Evaluation Scarcity to Evaluation Abundance

생성형 인공지능이 그럴듯한 기호적 인공물(symbolic artefact)의 생성 비용을 낮춤에 따라, 최근 조직학 연구에서는 생산 풍요의 조건 하에서 평가와 식별을 제약 요인으로 주목해 왔다. 본 연구는 여기서 한 걸음 더 나아가, 기계 평가 자체가 일상적이면서도 대규모로 배포될 수 있을 만큼 저렴해지는 또 다른 가능성을 검토한다. 이 조사는 타입화된 확률적 의사결정을 위한 TypeSafe AI의 특화 모델(model)인 Jev에서 촉발되었다. TypeSafe는 윌리엄 스탠리 제번스(William Stanley Jevons)를 명시적으로 인용하며, 더 저렴해진 기계 지능이 이전에는 비경제적이었던 활용처를 열어젖힐 수 있다고 주장한다. 본 논문은 이를 확립된 실증적 결과라기보다는 기술적 도발로 다루며, 기계 평가에 대한 조건부 제번스 역설 가설을 수립한다. 즉, 잠재 수요가 상당하고 보완적 비용이 지배적이지 않은 경우, 활용 가능한 기계 평가의 총 한계 비용이 충분히 크게 감소하면 조직 내 소비가 증가할 수 있다는 것이다. 본 논문은 이러한 잠재적 희소성 전환을 조사하기 위해 반등 효과 경제학과 저비용 예측, 생산 풍요, 기계 평가, 의사결정 배분, 권한, 의존성 및 경영 판단(Executive Judgement)에 관한 연구를 통합한다. 또한 예측, 기계 평가, 조직적 판단, 권한 부여를 비용이 반드시 함께 하락하지는 않는 기능적 활동으로 구분한다. 평가는 증거, 기준, 오류를 공유할 수 있고, 잘못 명시된 루브릭을 확장할 수 있으며, 중대한 단서 조항이 사라진 표현을 기반으로 작동할 수 있고, 임계값과 예외 라우팅을 통해 실질적인 의사결정 권한을 변화시킬 수 있다. 이에 따른 연구 과제는 저렴한 기계 평가가 언제 인간의 평가 업무를 대체하는지, 언제 판단에 대한 수요를 재분배하거나 새로 창출하는지, 그리고 중대한 조직적 의사결정 시점에 활용 가능한 근거에 어떤 영향을 미치는지 규명하는 것이다.

arXiv:2610.01278v1cs.AI공통 태그 Decision Making, Diagnostic

SCOPE-AD: 진단 에이전트를 위한 에너지 기반 모델 기반 순차적 비용 인지 순서-신념 계획

SCOPE-AD: Sequential cost-aware ordinal-belief planning with energy-based models for diagnostic agents

알츠하이머병(AD) 진단은 서로 다른 검사 비용과 환자 부담 속에서 순차적인 증거 수집을 필요로 합니다. 고정된 양식(fixed-modality)을 사용하는 예측 모델은 어떤 검사를 수집해야 할지, 혹은 언제 확보된 증거가 진단에 충분한지를 함께 결정하지 못합니다. 본 논문에서는 인지 정상(CN), 경도 인지 장애(MCI), 알츠하이머병 사례의 비용 인지 분류를 위한 SCOPE-AD(Sequential Cost-Aware Ordinal-Belief Planning with Energy-Based Models for Diagnostic Agents)를 제안합니다. 마스크 인지 순서 모델은 순서화된 CN-MCI-AD 연속선 상의 불확실성을 표현합니다. 후향적 학습 기록은 에너지 기반 티처를 위한 표본화된 벨만 목표를 제공하며, 이 티처의 행동 분포는 Qwen 정책으로 증류됩니다. 실제 배포 환경에서 에이전트는 미수집된 값에 접근하지 않고 가용성 및 예산 제약 조건 하에서 수집 또는 진단 행동을 선택합니다. 각 수집 단계 후에는 다음 결정을 내리기 전에 증거와 순서-신념이 업데이트됩니다. ADNI 데이터셋에서 SCOPE-AD는 평균 수집 비용 $50.46로 77.70%의 Macro-F1을 달성하여, 평가된 가장 강력한 기준선보다 9.34%포인트 높은 성능을 기록했습니다. 모든 양식을 활용한 평가는 수집 비용을 116.7배 증가시키면서도 Macro-F1은 단 1.89%포인트 올리는 데 그쳤습니다. 이러한 결과는 비용 효율적인 진단을 위한 선택적 수집 전략을 뒷받침합니다.

arXiv:2609.27696v1cs.CV공통 태그 Decision Making, Diagnostic

SynSeq: 관상동맥 조영술 비디오 기반의 엔드투엔드 SYNTAX 점수 예측

SynSeq: End-to-End SYNTAX Score Prediction from Coronary Angiography Videos

SYNTAX 점수는 관상동맥 질환을 평가하고 혈관재개통술 치료 결정을 안내하는 데 널리 사용되는 도구입니다. 그러나 임상 전문가가 관상동맥 조영술 비디오를 통해 이를 수동으로 추정하는 방식은 시간이 많이 소요되며 판독자 간 변동성(inter-reader variability)의 영향을 받습니다. 머신러닝이 이 과정을 자동화하는 데 유망한 가능성을 보여주었지만, 기존 연구는 주로 병변 검출, 특성화 또는 이진 질환 분류에 집중되어 있어 직접적인 SYNTAX 점수 예측은 상대적으로 거의 연구되지 않았습니다. 본 논문에서는 직접적인 SYNTAX 점수 예측을 위한 비디오 기반 방법인 SynSeq을 제안합니다. SynSeq은 맞춤형 전처리와 함께 영과잉(zero-inflation)을 고려한 손실 및 선형 타깃 스케일링을 활용하는 맞춤형 학습 전략을 결합합니다. 공개 CardioSyntax 데이터셋에서 평가한 결과, SynSeq은 이전 최신(state-of-the-art) 방법들을 크게 능가하여 $R^2$를 0.55 향상시키고 예측 바이어스를 93.1% 줄였으며, 세 명의 독립적인 전문가 평가자의 주석 전반에서 더욱 일관된 성능을 달성했습니다. 또한, SynSeq은 혈관재개통술 치료 권고에서 가중 $F_1$-점수 0.80을 달성하여 전문가 간 일치도보다 약간 낮은 수준을 보였습니다. 이러한 결과는 SynSeq이 일관되고 자동화된 SYNTAX 점수 평가를 제공하며 관상동맥 혈관재개통술 계획을 위한 신뢰할 수 있는 의사결정 지원을 제공할 수 있는 잠재력을 입증합니다.

arXiv:2609.28372v1econ.GN공통 태그 Decision Making, Diagnostic

알고리즘 쇼핑: 에이전트 AI가 인간 휴리스틱을 대리 소비자로 활용하는 방식

Shopping by algorithm: How agentic AI deploys human heuristics as a surrogate consumer

소비자들은 점점 더 구매 결정을 대리 소비자 역할을 하는 대규모 언어 모델(LLM)에 위임하고 있다. 제품 속성을 비용이 드는 도구 호출 뒤에 두는 정보 보드(information-board) 과정 추적(process tracing)의 변형인 "Tool-Lab"을 사용하여, 마케팅 가격 단서(즉, just-below pricing과 프로모션 프레이밍)가 AI 쇼핑 에이전트에 어떻게 영향을 미치는지 살펴본다. 세 제공업체의 상용 배포 LLM 8개에 걸쳐 선택 전 정보 획득을 추적했다. 비용이 없을 때는 가격 단서가 거의 오도하지 않는다. 모호한 목표 프롬프트 하에서 정보 획득 비용을 부과하면 LLM은 단위 가격 계산에 필요한 진단적 속성을 생략하고 인간 휴리스틱을 닮은 차선 선택을 하게 된다. 진단적 탐색과 선택 최적성을 대체로 유지하는 구체적 목표 프롬프트에 비해, 제약 조건 하의 모호한 목표 프롬프트는 탐색을 매개로 한 취약점을 만든다. 본 연구는 위임형 AI 쇼핑에서 마케팅 휴리스틱이 반드시 불변적인 LLM 결함 때문이 아니라 상점프론트 정보 아키텍처에 의해 좌우됨을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.