Addressing Artificial Intelligence Bias in Retinal Disease Diagnostics
원문 초록
This study evaluated generative methods to potentially mitigate AI bias when diagnosing diabetic retinopathy (DR) resulting from training data imbalance, or domain generalization which occurs when deep learning systems (DLS) face concepts at test/inference time they were not initially trained on. The public domain Kaggle-EyePACS dataset (88,692 fundi and 44,346 individuals, originally diverse for ethnicity) was modified by adding clinician-annotated labels and constructing an artificial scenario of data imbalance and domain generalization by disallowing training (but not testing) exemplars for images of retinas with DR warranting referral (DR-referable) and from darker-skin individuals, who presumably have greater concentration of melanin within uveal melanocytes, on average, contributing to retinal image pigmentation. A traditional/baseline diagnostic DLS was compared against new DLSs that would use training data augmented via generative models for debiasing. Accuracy (95% confidence intervals [CI]) of the baseline diagnostics DLS for fundus images of lighter-skin individuals was 73.0% (66.9%, 79.2%) vs. darker-skin of 60.5% (53.5%, 67.3%), demonstrating bias/disparity (delta=12.5%) (Welch t-test t=2.670, P=.008) in AI performance across protected subpopulations. Using novel generative methods for addressing missing subpopulation training data (DR-referable darker-skin) achieved instead accuracy, for lighter-skin, of 72.0% (65.8%, 78.2%), and for darker-skin, of 71.5% (65.2%,77.8%), demonstrating closer parity (delta=0.5%) in accuracy across subpopulations (Welch t-test t=0.111, P=.912). Findings illustrate how data imbalance and domain generalization can lead to disparity of accuracy across subpopulations, and show that novel generative methods of synthetic fundus images may play a role for debiasing AI.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
DualStabSleepNet: 견고한 수면 단계 분류를 위한 이중 영역 확산 안정화 네트워크
DualStabSleepNet: A Dual-Domain Diffusion Stabilization Network for Robust Sleep Staging
자동 수면 단계 분류를 위한 기존 심층 학습 방법은 이질적인 기록 조건에서 견고성이 제한되는데, 비정상성 노이즈, 피험자 간 차이, 데이터셋 간 분포 이동이 불안정한 특징과 낮은 일반화를 유발한다. 본 연구는 견고한 수면 단계 분류를 위한 이중 영역 확산 안정화 네트워크인 DualStabSleepNet(DSSNet)을 제안하며, 데이터 영역과 특징 영역 모두에서 견고성을 향상시킨다. 다채널 다원수면기록(PSG) 전처리 후, 연속 스케일 확산 기반 안정화 모듈이 생리학적 신호 구조를 보존하면서 노이즈를 억제한다. 안정화된 신호는 시간-주파수 표현으로 변환되어 Vision Transformer 백본에 입력된다. 교사-학생 유도 확산 특징 안정화 모듈이 특징 drift를 추가로 완화하고 다수준 특징 일관성을 강제한다. 공개 PSG 데이터셋 SleepEDF-20, SleepEDF-78, SHHS, ISRUC-S3 네 곳에서 평가한 결과, DSSNet은 각각 89.2%, 88.0%, 89.7%, 86.7%의 최첨단 정확도를 달성했으며 macro-F1과 Cohen's kappa도 개선되었다. 어려운 전이 단계(예: SHHS에서 N1에 대해 12.5%p 향상)에서 눈에 띄는 개선을 보였고 N2/REM 인식도 향상시켰다. 데이터셋 간 설정에서는 DSSNet이 분포 이동에 견고하며, 대상 데이터셋에서 학습한 baseline과 동등하거나 더 우수한 성능을 보여, 이질적인 코호트 전반의 실제 수면 단계 분류에 대한 실용적 잠재력을 입증한다.
Visual Tripwires: 심층 비전 시스템에서의 실패 예측
Visual Tripwires: Anticipating Failure in Deep Vision Systems
강력한 벤치마크 성능에도 불구하고 심층 비전 시스템은 손상(corruption), 가림(occlusion), 분포 이동(distribution shift)에 여전히 취약하다. 기존 신뢰성 방법은 일반적으로 개별 시간 단계에서 불확실성을 평가하며, 시스템이 실패로 진행하는 과정을 명시적으로 모델링하지 않는다. 우리는 Visual Tripwires를 제안한다. 이는 모델 동작의 시간적 불안정성을 이용해 임박한 실패를 예측하는 예측적 신뢰성 프레임워크이다. 우리의 핵심 가설은 예측적 성능 저하가 잠재 표현(latent representation), 예측 궤적, 어텐션 구조의 측정 가능한 변화를 통해 점진적으로 나타난다는 것이다. Visual Tripwires는 표현 드리프트(representation drift), 예측 진동(prediction oscillation), 궤적 곡률(trajectory curvature), 어텐션 엔트로피(attention entropy)로 이러한 변화를 포착한다. 경량 tripwire 예측기는 시간 윈도우에 걸쳐 이 신호들을 집계하여 미래 예측 지평(prediction horizon) 내 실패 확률을 추정한다. 여러 데이터셋, 아키텍처, 점진적 교란(progressive perturbation) 설정에 걸친 실험은 제안된 불안정성 신호가 예측적 성능 저하 이전에 나타나며, 기존 불확실성 추정 방법보다 더 이르고 더 정확한 실패 경고를 제공함을 보여준다. 이러한 결과는 시간적 불안정성이 향후 모델 신뢰성에 관한 유용한 정보를 담고 있으며, 심층 비vision 시스템에서 조기 경보를 위한 실용적 기반을 제공함을 보여준다.
리더보드를 넘어서: 도메인 시프트 하의 엔드투엔드 및 VLA 주행 정책에 대한 반사실적 진단
Beyond the Leaderboard: Counterfactual Diagnosis of End-to-End and VLA Driving Policies Under Domain Shift
엔드투엔드 및 비전-언어-행동(VLA) 주행 정책은 리더보드 순위로 비교되지만, 순위는 결과만 보여줄 뿐 그 뒤에 있는 행동을 보여주지 않기 때문에 새로운 장소에서 정책이 어떻게 행동할지를 잘 예측하지 못한다. 공개된 여섯 개의 정책에서, nuScenes 오픈루프 오차나 NAVSIM 리더보드 상의 순위는 새로운 장소에서 자아 차량(ego) 주행 통로 근처에 보행자가 있는 장면으로는 이어지지 않는다. 우리는 반사실적 점검(counterfactual check-up)을 제안한다: 수백 개의 실제 프레임을 각각 두 가지 방식(보행자 제거, 또는 야간 스타일 섭동에 의한 재조명)으로 편집하고, 모든 편집을 독립적인 검출기로 검증하며, 계획된 궤적의 변화를 점수가 아닌 진단으로 해석한다. 이러한 편집으로부터 두 개의 인과 축(causal axes)을 읽어내고, 이를 기반으로 한 다섯 가지 검사는 하나의 점수가 뒤섞어 놓은 것들을 분리한다: 정책이 얼마나 멀리까지 주행할 계획인지, 보행자를 인지하는 것이 안전성을 확보해주는지, 그 반응이 위험도에 비례해 커지는지, 아무런 요구가 없을 때도 계획이 변하는지, 그리고 무관한 조명 변화가 계획을 얼마나 움직이는지. 246개의 NAVSIM 보행자 인접 장면에서, 보행자가 계획된 경로 위에 있는 셀 중 단 1.9%만이 진정한 회피 반응이었으며, 우리의 오픈루프 프로토콜 하에서 모든 정책에 대해 여유 거리(clearance)의 중앙값 변화는 최대 0.03 m, 계획된 거리의 중앙값 변화는 최대 0.08 m에 불과했다. 좌측통행에서 우측통행으로의 사전등록된(pre-registered) 테스트에서, 노출(exposure) 및 특이성(specificity) 순위, 조명 판정(lighting verdict), 충돌 결과는 전이되었지만, 점수 값과 위험 민감도(hazard-sensitivity) 판정은 전이되지 않았다. 선별 보고서(selection report)로 읽으면, 이 프로파일들은 어떤 정책이 짧게 계획하기 때문에 안전한지, 어떤 정책이 양보 없이도 인간과 비슷한 거리를 확보하는지, 어떤 정책이 아무런 반응이 필요 없는 변화에도 불안정한지를 말해주며, 각 판정에 드는 비용도 알려준다: 대부분은 수십 개의 프레임 내에서 안정되지만, 위험 민감도는 수백 개가 필요하다. 코드와 편집된 프레임은 공개될 예정이다.
아프리카 뇌 MRI에서 신경영상 파운데이션 모델의 일반화 성능 평가
Evaluating the Generalization of Neuroimaging Foundation Models on African Brain MRI
주로 서구권 코호트로 구성된 대규모 데이터로 사전학습(pre-training)된 신경영상 파운데이션 모델(foundation model)이 뇌 MRI 분석을 위한 범용 백본(backbone)으로 점점 더 많이 제안되고 있다. 그러나 이러한 모델이 대표성이 낮은 임상 집단에 대해 일반화될 수 있는지는 아직 대부분 검증(validation)되지 않았다. 본 연구에서는 최근 발표된 4개의 파운데이션 모델(BrainIAC, Neuro-JEPA, NeuroVFM, Primus)을 나이지리아 임상 뇌 MRI 데이터셋(dataset)에서 얻은 88명 피험자 코호트를 대상으로, 네 가지 모달리티 구성(T1w, T2w, T1w+T2w, FLAIR)에 걸쳐 대조군(Control), 치매(Dementia), 파킨슨병(Parkinson's disease)을 구분하는 3가지 분류(classification) 진단 과제에서 평가하고, 엔드투엔드(end-to-end)로 학습된 ViT3D 기준선(baseline)과 비교한다. 동결(frozen)된 백본들은 다수 클래스 예측으로 붕괴하는 반면, FLAIR에서의 Neuro-JEPA는 다소 완화되었으나 여전히 제한적인 판별력을 보인다. 반면 엔드투엔드로 학습된 ViT3D는 모든 과제에서 더 높은 정확도와 MCC를 달성하며(최대 정확도 53.4%, MCC=0.27), 유의미한 재현율(recall)을 보이는 유일한 모델이다. 이러한 결과는 동결된 신경영상 파운데이션 모델들이 규모가 작은 비서구권 임상 코호트에서의 세밀한 진단 분류에는 충분하지 않음을 시사하며, 글로벌 헬스(global health) 환경에서의 공평한 배포를 위해 매개변수(parameter) 효율적인 적응(adaptation)과 더 폭넓은 다기관 외부 검증의 필요성을 제기한다.
LIBERO-VPro: Benchmarking Closed-Loop Visual Robustness of Robotic Foundation Models
로봇 파운데이션 모델은 표준 조작(manipulation) 벤치마크에서 인상적인 성능을 보이지만, 이러한 평가는 일반적으로 실행 전 과정에 걸쳐 깨끗하고 시의적절하며 일관된 시각 관측을 가정한다. 본 논문은 실행 중 이용 가능한 시각적 증거를 교란함으로써 로봇 파운데이션 모델의 폐루프(closed-loop) 시각적 견고성을 체계적으로 평가하기 위한 벤치마크 LIBERO-VPro를 제안한다. LIBERO-VPro는 시각적 증거 열화(Visual Evidence Degradation), 카메라 관측 지연(Camera Staleness), 시각 소스 일관성(Visual Source Consistency), 작업 관련 장면 변화(Task-Relevant Scene Variation)를 포함한 네 가지 상보적 차원을 다루며, 12개의 도전 카테고리, 96개의 실험 설정, 3,296개의 과제-조건 사례를 아우른다. 약 196,000개의 시뮬레이션 에피소드에 걸쳐 세 가지 비전-언어-행동(vision-language-action, VLA) 모델과 세 가지 월드-행동(world-action, WAM) 모델을 평가했으며, Franka Research 3에서 200회의 실제 롤아웃으로 이를 보완했다. 결과는 강한 명목상(nominal) 성능이 시각적 그라운딩(grounding)과 적응(adaptation)에서 상당한 약점을 가릴 수 있음을 보여준다. 모델은 종종 심각한 객체 수준 가림(occlusion)에도 불구하고 성공을 유지하지만, 국소 상호작용 단서가 방해되거나 친숙한 공간적 사전(prior)이 위반되면 급격히 성능이 저하된다. 또한 지연되거나 누락된 관측에 매우 민감하며, 변경된 과제 전제조건이 행동 적응을 요구할 때 어려움을 겪는다. 마지막으로 VLA와 WAM은 서로 다른 견고성 프로파일을 보이며, 시각적 견고성이 다차원적이며 아키텍처에 의존적임을 보여준다. LIBERO-VPro는 어려운 시각 조건 하에서 보다 신뢰성 있게 행동을 그라운딩하고 적응할 수 있는 로봇 파운데이션 모델 개발을 위한 체계적인 진단 프레임워크를 제공한다.
협력적 메타 지식 강화를 통한 치매 원인 진단
Dementia Etiology Diagnosis via Collaborative Meta Knowledge Enhancement
인공지능(AI)은 여러 의료 과제에서 유망한 성능을 보여왔지만, 질환 간 복잡하게 겹치는 증상으로 인해 AI를 이용한 정확한 치매 원인 진단은 여전히 어려운 과제로 남아 있다. 센터 간 샘플을 결합하여 데이터셋 크기를 확대하면 성능 향상을 기대할 수 있지만, 센터나 인구 집단 간 고유한 데이터 이질성은 이를 저해하는 갈등을 유발한다. 기존 다중 과제 학습(multi-task learning) 패러다임은 유망한 틀을 제공하지만, 이질성에 대응하기 위한 핵심 메타 정보(예: 사이트별 촬영 방식, 모달리티 가용성)를 고려하지 못한다. 이 문제를 해결하기 위해, 우리는 치매 원인 진단을 위한 협력적 메타 지식 강화(Collaborative Meta Knowledge Enhancement, COME) 프레임워크를 제안한다. 이 프레임워크는 다중 센터 촬영 의미, 출처 식별자, 모달리티 지표를 이질성 인식 임베딩(heterogeneity-aware embedding)으로 통합 트랜스포머 아키텍처에 주입하여 확장 학습(scale-up training)을 수행하고, 이질성의 명시적 모델링을 가능하게 한다. 또한 참조 모델을 통해 학습 중 모델이 허위 상관(spurious correlation)에 빠지지 않도록 정규화하기 위해 신뢰 영역 제약 최적화(trust-region constrained optimization) 방식을 설계하였다. 7개의 독립 코호트 전반에서 우리 방법은 도메인 내(in-domain) 최첨단 성능을 달성하며, 평균 매크로 평균 AUC 85.62%와 최강 기준선 대비 4.29%p 향상을 기록하면서, 센터 간 및 시퀀스 간 평가 모두에서 우수한 도메인 외(out-of-domain) 일반화를 유지한다. 광범위한 검증 또한 모델 예측과 확립된 바이오마커(아밀로이드, 타우) 및 임상 중증도 간의 정렬(alignment)을 확인하여, COME이 실제 환경에서 견고하고 해석 가능한 치매 진단을 가능하게 할 잠재력을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.