SymptomAI: Towards a Conversational AI Agent for Everyday Symptom Assessment
한국어 초록
언어 모델은 엄선된 의료 사례 연구와 임상 비네트(vignettes)에서 진단 평가를 탁월하게 수행하며, 임상의와 동등하거나 더 나은 성능을 보인다. 그러나 기존 연구는 풍부한 맥락을 가진 복잡한 시나리오에 초점을 맞추고 있어, 일상생활에서 증상을 보고하는 환자에게 이러한 시스템이 어떻게 작동하는지에 대한 결론을 도출하기 어렵다. 우리는 Fitbit 앱을 통해 환자와의 종단 간 인터뷰 및 감별진단(DDx)을 위한 대화형 AI 에이전트 집합인 SymptomAI를 배포했으며, 참가자(N=13,917)를 다섯 개 AI 에이전트와 상호작용하도록 무작위 배정하는 연구를 수행했다. 이 코퍼스는 다양한 의사소통과 실제 세계 인구에서의 질병 분포를 현실적으로 포착한다. 참가자 1,228명의 하위집단은 임상의가 제공한 진단을 보고했으며, 이 중 517명은 250시간이 넘는 주석 작업 동안 임상의 패널에 의해 추가 평가되었다. SymptomAI의 감별진단(DDx)은 동일한 대화 내용을 바탕으로 독립적인 임상의가 수행한 결과보다 맹검 무작위 비교에서 유의하게 더 정확했다(OR = 2.47, p < 0.001). 또한 진단을 내리기 전에 추가 증상 정보를 이끌어내기 위해 전용 증상 인터뷰를 수행하는 에이전트적 전략은, 사용자 유도형 대화라는 기준선보다 현저히 더 우수한 성능을 보였다(p < 0.001). 일반 미국 인구 패널의 1,509개 대화에 대한 보조 분석은 이러한 결과가 웨어러블 기기 사용자에 국한되지 않음을 검증했다. 우리는 모든 13,917명의 참가자에 대해 SymptomAI 진단을 레이블로 사용하여 약 400개의 고유한 질환에 걸친 50만 일 이상의 웨어러블 지표를 분석했다. 그 결과, 급성 감염과 생리적 변화 사이의 강한 연관성을 확인했다(예: 인플루엔자의 경우 OR > 7). 자가 보고한 정답 레이블에 한계가 있기는 하지만, 이러한 결과는 대부분의 소비자용 LLM이 기본값으로 채택하는 사용자 유도형 증상 대화와 비교할 때, 전용의 완전한 증상 인터뷰가 갖는 이점을 보여준다.
요약
언어 모델은 정제된 의료 사례 연구와 비네트에서 진단 평가를 잘 수행하며, 임상 전문가와 비슷하거나 더 나은 성능을 보입니다. 그러나 기존 연구는 복잡하고 맥락이 풍부한 상황에 집중해, 일상에서 증상을 보고하는 환자에게 이러한 시스템이 어떻게 작동하는지 판단하기 어렵습니다. 이를 위해 연구진은 Fitbit 앱을 통해 대화형 AI 에이전트 세트인 SymptomAI를 배포하고, 13,917명의 참가자를 대상으로 전반적인 환자 인터뷰와 감별진단(DDx)을 수행하는 실험을 진행했습니다. 이 데이터셋은 실제 환경에서 수집된 다양한 의사소통 양상과 질병 분포를 포함하며, 그중 1,228명은 의료진이 제공한 진단을 보고했고 517명은 250시간이 넘는 주석 작업을 통해 임상의 패널이 추가 평가했습니다. 그 결과 SymptomAI의 감별진단은 동일한 대화 정보를 바탕으로 블라인드 비교한 임상의보다 유의하게 더 정확했으며, 오즈비(OR) 2.47, p < 0.001을 기록했습니다. 또한 추가 증상을 먼저 유도하는 전용 증상 인터뷰 전략은, 사용자가 이끄는 기본 대화 방식보다 훨씬 더 좋은 성능을 보였습니다(p < 0.001). 미국 일반 인구 패널의 1,509개 대화에 대한 보조 분석에서도 이러한 결과가 재현되어, 웨어러블 기기 사용자에 한정되지 않는다는 점이 확인되었습니다. 아울러 13,917명 전체에 SymptomAI의 진단을 라벨로 활용해 50만 일 이상의 웨어러블 지표를 분석한 결과, 인플루엔자 같은 급성 감염과 생리적 변화 사이의 강한 연관성이 관찰되었습니다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.