arXiv:2312.06979

On the notion of Hallucinations from the lens of Bias and Validity in Synthetic CXR Images

Gauri Bhardwaj, Yuvaraj Govindarajulu, Sundaraparipurnan Narayanan, Pavan Kulkarni, Manojkumar Parmar

제출 2023-12-12

원문 초록

Medical imaging has revolutionized disease diagnosis, yet the potential is hampered by limited access to diverse and privacy-conscious datasets. Open-source medical datasets, while valuable, suffer from data quality and clinical information disparities. Generative models, such as diffusion models, aim to mitigate these challenges. At Stanford, researchers explored the utility of a fine-tuned Stable Diffusion model (RoentGen) for medical imaging data augmentation. Our work examines specific considerations to expand the Stanford research question, Could Stable Diffusion Solve a Gap in Medical Imaging Data? from the lens of bias and validity of the generated outcomes. We leveraged RoentGen to produce synthetic Chest-XRay (CXR) images and conducted assessments on bias, validity, and hallucinations. Diagnostic accuracy was evaluated by a disease classifier, while a COVID classifier uncovered latent hallucinations. The bias analysis unveiled disparities in classification performance among various subgroups, with a pronounced impact on the Female Hispanic subgroup. Furthermore, incorporating race and gender into input prompts exacerbated fairness issues in the generated images. The quality of synthetic images exhibited variability, particularly in certain disease classes, where there was more significant uncertainty compared to the original images. Additionally, we observed latent hallucinations, with approximately 42% of the images incorrectly indicating COVID, hinting at the presence of hallucinatory elements. These identifications provide new research directions towards interpretability of synthetic CXR images, for further understanding of associated risks and patient safety in medical applications.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.25186v1cs.CY공통 태그 Fairness, Diagnostic

패턴 인식기에서 개인화된 동반자로: 정신 건강 분야 대규모 언어 모델 서베이

From Pattern Recognizers to Personalized Companions: A Survey of Large Language Models in Mental Health

전 세계적으로 증가하는 정신 건강 질환 유병률은 제한된 자원, 높은 비용, 사회적 낙인, 개인정보 보호 우려와 같은 전통적 의료 체계의 오랜 장벽과 맞물려, 접근 가능하고 확장이 용이한 지원책에 대한 시급한 필요성을 낳았습니다. 대규모 언어 모델(LLM)은 고도화된 자연어 이해 및 생성을 통해 정신 건강 지원의 민주화를 이끌 강력한 잠재력을 지닌 혁신적 기술로 부상했습니다. 그러나 이 분야에서 급격히 확장되며 파편화된 연구들은 일관된 발전적 서사를 갖추지 못해, 현재의 진척 상황을 맥락화하고 향후 연구 방향을 파악하는 데 어려움을 초래하고 있습니다. 본 서베이 논문은 정신 건강 분야에서 LLM의 역할이 뚜렷하고 점진적으로 정교해지는 세 가지 단계를 거쳐 진화하고 있다는 중심 논제를 바탕으로 문헌을 체계화하고 분석하여 이러한 공백을 해소합니다. 저자들은 LLM이 평가를 위한 수동적인 정보 도구이자 패턴 인식기(Pattern Recognizer)로 주로 기능했던 1단계에서 시작하여, 일회성의 무상태(stateless) 상호작용을 수행하는 공감형 대화자(Empathetic Conversationalist) 역할을 하는 2단계를 거쳐, 상태를 유지하는(stateful) 인지 에이전트로 구현되어 장기적이고 개인화된 동반자(Longitudinal, Personalized Companion)를 지향하는 현재의 최전선인 3단계에 이르기까지 그 궤적을 추적합니다. 이러한 프레임워크를 뒷받침하기 위해 핵심 기술, 에이전트 아키텍처(프로필, 메모리, 추론, 계획), 그리고 데이터셋과 벤치마크라는 핵심 인프라를 체계적으로 검토하고, 이들의 진화가 이러한 발전 경로를 어떻게 뒷받침하는지 조명합니다. 본 연구는 이러한 발전적 관점을 통해 기존 연구를 종합적으로 정리하고, 궤적에 대한 통찰력 있는 서사를 제시하며, 정신 건강 관리를 위한 책임감 있고 효과적이며 인간 중심적인 AI의 미래 혁신을 위한 명확한 로드맵을 제공합니다. 본 서베이에서 검토된 큐레이션된 자료 모음은 프로젝트 저장소(https://github.com/Emo-gml/Awesome-Mental-Health-LLMs)에서 확인할 수 있습니다.

arXiv:2609.13995v2cs.AI공통 태그 Data Augmentation, Diagnostic

마케팅 연구에서의 합성 데이터: 평가 방법과 신뢰할 수 있는 시점

Synthetic Data in Marketing Research: How to Evaluate and When to Trust

마케팅 연구에서 합성 데이터(synthetic data)에 대한 논쟁은 대규모 언어 모델(LLM)이 인간 응답자를 불필요하게 만든다는 주장과 이를 전면 배제해야 한다는 요구 사이에서 양극화되어 왔습니다. 우리는 두 입장 모두 합성 응답자가 효과가 있는지 여부가 아니라 '언제' 효과가 있는가라는 더 유용한 질문을 흐린다고 주장합니다. Brand, Israeli, and Ngwe (2026)를 기반으로 하여, 본 연구는 세 가지 기여를 제시합니다. 첫째, 세 가지 유형의 합성 데이터(비그라운딩 LLM 응답, 세그먼트 수준 페르소나, 개인 수준 디지털 트윈)를 구분하고 각각이 지원할 수 있는 의사결정과 매핑합니다. 둘째, 정확도 측정 항목을 네 가지 계열의 분류 체계로 정립하고, 거의 완벽한 수준에서 무작위 확률 수준에 이르기까지 보고된 트윈 정확도의 넓은 범위가 방법론의 질적 차이라기보다는 주로 무엇을 측정하고 있는가의 차이를 반영한다는 점을 시사합니다. 집계 측정 지표는 LLM에 제공된 정보가 거의 없을 때도 좋은 성능을 보이는 경우가 많으며, 응답자 수준의 변별력이 전혀 존재하지 않는 현상을 가릴 수 있습니다. 셋째, 현장 연구에서 질문이 누락되는 '누락된 질문 문제(forgotten question problem)'를 기존 데이터를 트윈 기반으로 증강하는 설정으로 도입합니다. 우리는 그라운드 트루스(ground truth)가 필요 없는 사전 답변 가능성 진단법으로, 트윈을 구축하는 데 사용된 데이터로부터 트윈의 출력을 예측하는 랜덤 포레스트의 R^2을 제안합니다. 전국 대표 표본 설문조사(N = 3,063)의 108개 태도 질문 전반에서 R^2 > 0.7 기준으로 스크리닝하면 트윈-인간 간 개인 수준 평균 상관관계가 15% 상승하고 잘못 답변된 질문의 비율이 25.9%에서 4.3%로 감소합니다. 임베딩 유사도와 숙련된 연구자의 판단 또한 상관관계가 있는 스크리닝 기준을 제공하지만 상대적으로 효과가 더 약합니다.

arXiv:2609.23983v1cs.CV공통 태그 Fairness, Diagnostic

아프리카 뇌 MRI에서 신경영상 파운데이션 모델의 일반화 성능 평가

Evaluating the Generalization of Neuroimaging Foundation Models on African Brain MRI

주로 서구권 코호트로 구성된 대규모 데이터로 사전학습(pre-training)된 신경영상 파운데이션 모델(foundation model)이 뇌 MRI 분석을 위한 범용 백본(backbone)으로 점점 더 많이 제안되고 있다. 그러나 이러한 모델이 대표성이 낮은 임상 집단에 대해 일반화될 수 있는지는 아직 대부분 검증(validation)되지 않았다. 본 연구에서는 최근 발표된 4개의 파운데이션 모델(BrainIAC, Neuro-JEPA, NeuroVFM, Primus)을 나이지리아 임상 뇌 MRI 데이터셋(dataset)에서 얻은 88명 피험자 코호트를 대상으로, 네 가지 모달리티 구성(T1w, T2w, T1w+T2w, FLAIR)에 걸쳐 대조군(Control), 치매(Dementia), 파킨슨병(Parkinson's disease)을 구분하는 3가지 분류(classification) 진단 과제에서 평가하고, 엔드투엔드(end-to-end)로 학습된 ViT3D 기준선(baseline)과 비교한다. 동결(frozen)된 백본들은 다수 클래스 예측으로 붕괴하는 반면, FLAIR에서의 Neuro-JEPA는 다소 완화되었으나 여전히 제한적인 판별력을 보인다. 반면 엔드투엔드로 학습된 ViT3D는 모든 과제에서 더 높은 정확도와 MCC를 달성하며(최대 정확도 53.4%, MCC=0.27), 유의미한 재현율(recall)을 보이는 유일한 모델이다. 이러한 결과는 동결된 신경영상 파운데이션 모델들이 규모가 작은 비서구권 임상 코호트에서의 세밀한 진단 분류에는 충분하지 않음을 시사하며, 글로벌 헬스(global health) 환경에서의 공평한 배포를 위해 매개변수(parameter) 효율적인 적응(adaptation)과 더 폭넓은 다기관 외부 검증의 필요성을 제기한다.

arXiv:2607.24187v1cs.AI공통 태그 Fairness, Diagnostic

근시 예방 및 관리 3.0: 인공지능 기반 위험 계층화, 선제적 모니터링 및 개인 맞춤형 개입

Myopia Prevention and Control 3.0: Artificial Intelligence--Driven Risk Stratification, Proactive Monitoring, and Personalized Intervention

인공지능(AI), 디지털 센싱, 유비쿼터스 컴퓨팅의 수렴은 근시 예방을 반응적이고 인구 기반 모델에서 선제적이고 정밀 지향적 모델로 전환할 전례 없는 기회를 만들었다. 2050년까지 전 세계 인구의 절반이 근시가 될 것이라는 증거에도 불구하고, 기존 접근법—학교 기반 시력 검사(1.0 단계)와 근거 기반 위험 요인 관리(2.0 단계)—는 불충분한 것으로 입증되었다. 우리는 세 가지 상호 연결된 영역에 걸친 AI 통합으로 정의되며 폐쇄 루프 파이프라인을 형성하는 근시 예방 및 관리 3.0의 등장을 검토한다: (1) 다중모달 데이터에 대한 머신러닝을 통해 개인 수준의 위험을 예측하는 AI 기반 위험 계층화; (2) 웨어러블, 스마트폰, 학교 검사 네트워크를 통한 AI 기반 선제적 모니터링; (3) 폐쇄 루프 피드백을 갖춘 AI 기반 개인 맞춤형 개입. 우리는 각 단계에 걸친 증거를 비판적으로 평가하고, 데이터 품질, 모델 검증, 윤리, 형평성의 과제를 논의하며, 다중모달 파운데이션 모델, 디지털 트윈, 인과 머신러닝을 포함한 향후 방향을 개괄한다.

arXiv:2607.22304v1cs.LG공통 태그 Data Augmentation, Diagnostic

합성 음성, 실제 신호: 음성 복제를 통한 초언어적 보존 및 교차언어 증강

Synthetic Speech, Real Signal: Paralinguistic Preservation and Cross-Lingual Augmentation via Voice Cloning

음성 분야에서 합성 데이터 증강은 ASR과 같은 언어학적 과제에 흔히 사용되지만, 초언어적 과제, 특히 라벨링된 데이터가 비용이 많이 들고 일부 환자 집단이 과소 대표되는 임상 과제에서는 연구가 훨씬 적다. 음성 복제(voice cloning)는 이러한 증강 접근법 중 하나이지만, 일반적으로 하위 과제 성능이 아닌 음성 명료도(WER)나 화자 유사도(SS)로 평가되며, 이러한 지표가 해당 과제가 의존하는 초언어적 신호를 보존하는지는 여전히 불분명하다. 우리는 공개 및 임상 데이터셋에서 다섯 가지 초언어적 과제에 대해 여덟 개의 음성 복제 모델을 벤치마크했으며, 대부분이 적당한 저하 수준으로 신호를 보존함을 보였다. 그런 다음 영어 임상 음성을 일본어로 복제하고, 복제 데이터로 학습하는 것이 실제 일본어 음성에 대한 우울증 및 불안 탐지에서 순수 교차언어 전이보다 우수함을 발견했으며, 이는 음성 복제가 저자원 언어에서 임상 음성 데이터를 증강하는 유망한 방향임을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.