arXiv:2307.06507

Improving Nonalcoholic Fatty Liver Disease Classification Performance With Latent Diffusion Models

Romain Hardy, Joe Klepich, Ryan Mitchell, Steve Hall, Jericho Villareal, Cornelia Ilin

제출 2023-07-13

원문 초록

Integrating deep learning with clinical expertise holds great potential for addressing healthcare challenges and empowering medical professionals with improved diagnostic tools. However, the need for annotated medical images is often an obstacle to leveraging the full power of machine learning models. Our research demonstrates that by combining synthetic images, generated using diffusion models, with real images, we can enhance nonalcoholic fatty liver disease (NAFLD) classification performance even in low-data regime settings. We evaluate the quality of the synthetic images by comparing two metrics: Inception Score (IS) and Fr\'{e}chet Inception Distance (FID), computed on diffusion- and generative adversarial network (GAN)-generated images. Our results show superior performance for the diffusion-generated images, with a maximum IS score of $1.90$ compared to $1.67$ for GANs, and a minimum FID score of $69.45$ compared to $100.05$ for GANs. Utilizing a partially frozen CNN backbone (EfficientNet v1), our synthetic augmentation method achieves a maximum image-level ROC AUC of $0.904$ on a NAFLD prediction task.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22740v1cs.CV공통 태그 Generative Adversarial Network, Diagnostic

약지도 유방촬영에서 재구성 충실도를 평가하기 위한 진단 격차 프레임워크

A Diagnostic Gap Framework for Evaluating Reconstruction Fidelity in Weakly Supervised Mammography

의료 영상을 위한 약지도(weakly supervised) 파이프라인은 수년에 걸쳐 점점 더 널리 사용되고 있다. 이러한 시스템은 재구성(reconstruction), 생성(generation), 국소화(localization) 등 여러 단계와 구성 요소를 포함하는 경우가 많지만, 표준 평가 지표는 각 단계에서 임상적으로 관련 있는 정보가 보존되는지에 대한 통찰을 제한적으로만 제공한다. 우리는 진단 격차(diagnostic gap) 프레임워크를 제안한다. 이는 측정된 재구성 충실도의 함수로서 의사결정 보존(decision preservation)과 설명 보존(explanation preservation)을 측정하는 실용적인 평가 도구이다. 재구성의 효과를 국소화로부터 분리하기 위해, 우리는 세 가지 클래스 조건부 재구성기—VQ-VAE-GAN, VAE-GAN, 확산(diffusion, SDEdit)—로 구성된 충실도 사다리(fidelity ladder)를 사용하여 큐레이션된 병변 ROI 크롭에서 평가한다. 이는 지각 거리(perceptual distance, LPIPS 0.029–0.584)에서 20배 범위에 걸친다. 오토인코더 수준의 충실도에서는 의사결정과 설명이 모두 보존된다: AUC 변화는 $\pm$0.005 이내에 머물고, 속성 유사도(attribution similarity, HiResCAM, Grad-CAM++)는 높게 유지된다. 확산 모델 수준의 충실도에서는 둘 다 붕괴한다: 풀링(pooled) AUC는 0.253 하락하고, mass-pathology AUC는 우연(chance) 수준 이하로 떨어진다. 따라서 진단 격차는 재구성의 고유한 비용(intrinsic cost)이라기보다 재구성 충실도의 측정 가능한 함수이며, 이 프레임워크는 다단계 파이프라인이 진단 신호를 잃는 시점과 위치를 식별하는 아키텍처 무관(architecture-agnostic) 도구를 제공한다.

arXiv:2607.24727v1cs.CV공통 태그 Generative Adversarial Network, Diagnostic

소아 골격 트리아지를 위한 인공지능 기반 적외선 영상: 서술적 리뷰와 향후 전망

Infrared Imaging Empowered by Artificial Intelligence for Pediatric Skeletal Triage: A Narrative Review and Future Perspectives

배경. 소아 근골격계 외상은 소아 응급실(ED) 방문의 최대 18%를 차지하지만, 진단은 여전히 전리 방사선 촬영에 의존한다. 생애 초기의 누적 저선량 방사선은 평생 백혈병 및 뇌 악성종양 위험을 높여, 무전리 트리아지 대안의 필요성을 촉발한다. 목적. 비전리 데이터로부터 임상적으로 해석 가능한 합성 방사선 사진 재구성을 생성하기 위해 광대역 적외선(IR) 영상과 딥러닝 교차 모달 변환을 결합한 하이브리드 프레임워크에 대한 근거를 종합한다. 접근. 650 nm부터 1 mm까지 5개의 IR 스펙트럼 대역(NIR-I, NIR-II, SWIR, MIR/LWIR, THz)과 이중 기하학(transmission/reflection) 촬영이 파장별 조직 깊이 및 생화학적 민감도를 어떻게 활용하는지를 검토한다. IR 데이터를 방사선 사진 등가 재구성으로 정렬·융합하는 데 사용되는 이미지-투-이미지 변환 네트워크(Pix2Pix, CycleGAN, Swin-Unet) 및 특징 매칭 알고리즘(SuperPoint, SuperGlue, ALIKED, LightGlue)을 요약한다. 함의. 소아 해부학적 특성(더 작은 단면, 더 얇은 피질골)은 IR 투과에 유리하여, 소형·휴대용·무전리 트리아지 하드웨어를 가능하게 한다. 타당성은 fNIRS 및 경두개 광생물조절(transcranial photobiomodulation) 근거에 기반한다: 근적외선이 피부, 두개골, 피질을 통과하여 혈역학적 모니터링에 충분한 신호를 제공한다—소아 전완부 또는 원위부 다리를 통과하는 경로보다 더 길고 감쇠가 큰 경로이다. 주요 장벽: IR/X-ray 페어 데이터셋 구축, 의료기기로서의 AI 규제 경로, 체형 및 피부 색소침착에 걸친 일반화, 촬영 프로토콜 표준화. 결론. 통합 다중 스펙트럼 IR+AI 영상은 소아 골격 방사선 촬영에 대한 유망한 무전리 보완 수단이다. 진전을 위해서는 다기관 페어 데이터셋, 외부 검증된 모델, IEC 60825-1에 따른 IR 광원 안전성 인증이 필요하다.

arXiv:2607.21068v1cs.LG공통 태그 Generative Adversarial Network, Diagnostic

CycleGAN 및 반사실-분류기 정렬 점수를 활용한 망막 질환 분류를 위한 반사실 설명 가능성 프레임워크

Counterfactual Explainability Framework With CycleGAN And Counterfactual-Classifier Alignnment Score for Retinal Disease Classification

안저 영상으로부터 시력을 저해하는 망막 기반 안과 질환의 자동 탐지는 조기 스크리닝, 적시 의뢰, 전문의 중심 평가에 대한 의존도 감소에 중요하며, 이를 위해 신경망 기반 심층 학습(DL) 모델이 널리 활용되어 왔다. 그러나 DL 프레임워크의 설명 가능성은 임상 채택의 주요 병목으로 남아 있으며, 특히 모델의 판단이 임상적으로 의미 있는 망막 영역과 연결되지 않을 때 그렇다. 이 문제를 해결하기 위해 본 연구는 CounterFundus라는 새로운 CycleGAN 기반 반사실 설명 가능성 프레임워크를 제안하며, EfficientNet-B5 기반 망막 질환 탐지와 시각적으로 해석 가능한 질병-정상 안저 영상 변환을 통합한다. 각 병리학적 영상에 대해 CycleGAN 생성기가 산출한 반사실은 추정된 건강한 대응 영상을 나타내며, 그로부터 얻은 차이 맵은 질환 관련 망막 변화의 국소화에 활용된다. 기존의 사후(post-hoc) saliency 방법과 달리, CounterFundus는 시각적으로 그럴듯한 질병-정상 망막 변환을 통해 반사실 설명을 제공한다. 이어서 반사실 차이 맵과 분류기 saliency 간의 공간적 일치를 정량화하기 위해 반사실-분류기 정렬 점수(Counterfactual-Classifier Alignment Score, CCAS)를 도입하며, Spearman 상관, 이진 IoU, 포인팅 정확도(pointing accuracy)를 단일 평가 프로토콜에 임베딩한다. 이를 위해 EigenCAM 정렬 평가를 수행한 결과, 생성된 반사실 설명이 모든 CCAS 차원에서 분류기 관련 망막 근거와 공간적으로 일관됨을 보여준다. 또한 ablation 연구는 CCAS로 필터링한 반사실 증강이 안저 영상의 하위 분류 성능을 향상시킴을 추가로 확인하여, CounterFundus를 망막 질환 탐지를 위한 임상적으로 그라운딩된 설명 가능 인공지능(XAI) 프레임워크로 확립한다.

arXiv:2607.22862v2cs.NE공통 태그 Diagnostic

매개변수화된 CEC 2017 벤치마크를 이용한 변환의 민감도 분석

Sensitivity Analysis of the Transformation Using a Parameterized CEC 2017 Benchmark

CEC 2017은 편향(bias), 이동(shift), 회전(rotation)을 동시에 적용하므로 각각이 알고리즘 동작에 미치는 개별 효과가 가려진다. 우리는 원래의 함수와 변환 데이터를 보존하면서 이들을 독립적으로 제어하는 매개변수화된 구현을 소개한다. 이를 이용하여, 예측 후보 메커니즘이 수치적 목적함수 값과 좌표별 재구성에 의존하는 하이브리드 해양 포식자 알고리즘(hMPA)을 진단한다. 심층 통계 비교(DSC)와 확장 DSC(eDSC)를 알고리즘 수준의 비교에서 구성 수준의 진단으로 적응시켰다. 우리가 아는 한, 이는 매개변수화된 CEC 2017 벤치마크의 편향-이동-회전 8개 구성 전체에 대한 최초의 철저한 DSC 및 eDSC 분석이다. 29개 함수, 차원 10, 30, 50, 100, 30회의 독립 실행, 차원당 10,000회의 목적함수 평가라는 고정 예산을 사용하여, 가능한 56개의 3개 구성 부분집합 전부와 변환하지 않은 대조군과의 비교를 검토한다. DSC와 eDSC는 모든 차원에서 구성 간 통계적으로 유의한 차이를 보이지만, 순위는 함수에 따라 달라 일관된 순서를 정할 수 없다. 대부분의 개별 효과 크기 신뢰구간은 0을 포함한다. 0을 포함하지 않는 경우 중에서는, 차원 10에서는 MPA가, 차원 50과 100에서는 hMPA가 유리한 비교가 더 많다. 이동은 대체로 목적함수 값 결과를 악화시킨다. 단독 회전은 체계적인 성능 저하를 일으키지 않으며, 단독 편향은 최종 해 분포를 거의 바꾸지 않는다. 이동과 회전의 결합은 대조군과 가장 일관되게 다르다. 수렴 곡선은 함수 및 차원에 따라 달라지는 분리, 정체 구간, 후반부 개선을 보여 준다. 수치적 결과는 hMPA에 한정되지만, 이 프레임워크는 다른 연속 최적화 알고리즘으로 확장될 수 있고 CEC 2024 및 CEC 2025를 포함한 관련 CEC 벤치마크에도 적용할 수 있다.

arXiv:2607.22864v2cs.CV공통 태그 Diagnostic

Spatial-IQ: 계층적 능력 테스트를 통한 공간 지능 분해

Spatial-IQ: Deconstructing Spatial Intelligence via Hierarchical Capability Tests

다중모달 대규모 언어 모델(MLLM)은 시각 해석에는 뛰어나지만, 인간이 안정적으로 풀 수 있는 공간 추론 과제에서는 실패한다. 기존 벤치마크는 이러한 모델을 블랙박스로 평가하여 낮은 성능의 근본 원인을 식별하는 능력을 제한한다. 모델이 공간 추론 과제에서 실패할 때, 그 장애가 객체 경계 인식과 같은 지각(perceptual) 문제인지, 가려짐에 대해 추론하여 숨겨진 기하를 추론하는 것과 같은 인지(cognitive) 문제인지 판별하기 어렵다. 우리는 Spatial-IQ를 제안한다. 이는 쌓인 3D 구조에서의 객체 개수 세기를 인간 공간 인지의 발달 단계에 따라 구성된 9개의 지각·인지 하위 과제로 분해하는 계층적 진단 프레임워크이며, 정신 회전(mental rotation)을 추가 목표 프로브로 포함한다. NVIDIA Isaac Sim을 사용하여 과제별 ground truth를 갖춘 약 80,000개의 다양한 쌓인 3D 구조 데이터셋을 절차적으로 생성했다. 자유 응답 텍스트, 객관식 이미지, 이미지 편집의 세 가지 출력 형식과 인간 기준선을 함께 사용하여 모델을 평가한다. Spatial-IQ 프레임워크는 최고 성능 모델이 종종 목표 과제(객체 개수 세기)를 뒷받침하도록 의도된 하위 수준 하위 과제에는 성공하지 못한 채 목표 과제에서 성공하는 경우가 많으며, 모델마다 이러한 계층적 연쇄를 얼마나 유지하는지가 다르다는 것을 보여준다. 이는 목표 과제 정확도만으로는 드러나지 않을 지름길(shortcut) 행동을 종종 드러낸다. 마지막으로, 계층적 하위 과제에 대한 사고의 연쇄(Chain-of-Thought, CoT) 감독과 검증 가능 보상을 이용한 강화학습을 결합하여 모델을 학습하면, 하위 과제 간 공간적 일관성과 목표 과제 정확도가 모두 크게 향상됨을 보여준다. 이는 제안한 분해가 진단 도구이자 학습 신호 모두로서 가치 있음을 뒷받침한다.

arXiv:2607.24743v4cs.CV공통 태그 Diagnostic

ClinFusion: 포괄적 의료 이해를 위한 비전 중심 다중모달 LLM 시스템

ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding

다중모달 대규모 언어 모델(MLLM)은 임상 실무를 혁신할 막대한 잠재력을 지니고 있으나, 의료 분야에 이를 배포하는 것은 근본적으로 비전 중심의 과제이다. 모델은 이질적인 2D 및 3D 의료 영상으로부터 지식을 흡수해야 하며, 평가 프로토콜은 방사선 전문의의 임상 실무와 부합해야 하고 정확하고 세밀하며 사실성 중심의 평가를 제공해야 한다. 본 논문에서는 이러한 한계를 체계적으로 해결하기 위해 포괄적 의료 이해를 위해 설계된 비전 중심 MLLM인 ClinFusion을 소개한다. 우리는 Cascade Spatial-Aware Locality Fusion 연산자를 특징으로 하는 구성적·계단식 비전 인코더 아키텍처를 제안하며, 이는 융합 인코더 내에서 다양한 2D 및 네이티브 3D 의료 영상 이해를 통합한다. 또한 지시 따르기(instruction following) 평가를 위한 MedIF-Bench와, 임상적으로 정렬되고 사실성 중심의 보고서 생성 평가를 위한 관심 영역(RoI) 기반 방법을 포함하는 비전 그라운딩(vision-grounded) 평가 프레임워크를 추가로 도입한다. ClinFusion이 시각적 질의응답, 보고서 생성, 지시 따르기에 이르는 2D 및 3D 다중모달 의료 벤치마크와 텍스트 의료 과제를 아우르는 포괄적 벤치마크 모음 전반에서 새로운 최첨단(state-of-the-art) 성능을 달성함을 보인다. 24개 벤치마크 중 20개에서 Hulu-Med, Lingshu 등 선도적인 오픈소스 의료 MLLM을 능가했으며, 16개 벤치마크 중 13개에서 GPT-5.2, Gemini-3-Flash와 같은 강력한 독점 모델보다 우수한 다중모달 능력을 보였고, 검색-증강 생성(RAG) 및 도구 지원 임상 워크플로를 위한 에이전트(agent) 도구 사용으로 더욱 확장할 수 있다. 방사선 전문의 자격을 갖춘 전문의들의 단맹 평가는 ClinFusion이 최상위 순위의 보고서를 생성함을 확인했으며, 우리의 RoI 기반 지표가 검토된 모든 자동 평가 지표 중 전문가 판단과 가장 강한 상관관계를 달성함을 검증했다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.