Beyond Direct Diagnosis: LLM-based Multi-Specialist Agent Consultation for Automatic Diagnosis
원문 초록
Automatic diagnosis is a significant application of AI in healthcare, where diagnoses are generated based on the symptom description of patients. Previous works have approached this task directly by modeling the relationship between the normalized symptoms and all possible diseases. However, in the clinical diagnostic process, patients are initially consulted by a general practitioner and, if necessary, referred to specialists in specific domains for a more comprehensive evaluation. The final diagnosis often emerges from a collaborative consultation among medical specialist groups. Recently, large language models have shown impressive capabilities in natural language understanding. In this study, we adopt tuning-free LLM-based agents as medical practitioners and propose the Agent-derived Multi-Specialist Consultation (AMSC) framework to model the diagnosis process in the real world by adaptively fusing probability distributions of agents over potential diseases. Experimental results demonstrate the superiority of our approach compared with baselines. Notably, our approach requires significantly less parameter updating and training time, enhancing efficiency and practical utility. Furthermore, we delve into a novel perspective on the role of implicit symptoms within the context of automatic diagnosis.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MWE-ECL: 복원 가능한 장거리 문맥이 국소적 어휘 사전확률을 항상 무시하지는 않는다
MWE-ECL: Recoverable Long-Range Context Does Not Always Override Local Lexical Priors
장문맥(long-context) 평가는 흔히 모델이 원거리 증거를 복원할 수 있는지를 테스트하지만, 복원 가능성이 행동적 영향을 보장하지는 않습니다. 본 연구에서는 원거리 담화 앵커가 명시적으로 복원 가능하더라도 익숙한 다의어 표현(multiword expression)의 국소적으로 선호되는 해석을 변경하는 데 실패할 수 있다는 예측을 검증합니다. 이러한 실패는 모델의 앵커 없는 기본값(no-anchor default)이 앵커와 충돌할 때 집중적으로 나타나는 반면, 사전확률에 부합하는 올바른(prior-correct) 결정은 대체로 유지되어야 합니다. 우리는 짝지어진 앵커 검색, 앵커 없는 사전확률, 해석 프롬프트가 각각 명시적 복원 가능성, 모델 관측 기본값, 앵커 조건부 결정을 측정하는 이중언어 진단 도구인 MWE-ECL(Multiword Expression Effective Context Length)을 제안합니다. 공유된 0-128K 그리드 상의 8개 영어 배포 패널 전반에서, 사전확률 충돌 항목에 대한 검색 통제 정확도는 0.989-1.000, 사전확률 충돌 재정의(override)는 0.806-1.000(올바른 검색을 조건부로 한 경우 0.809-1.000), 사전확률 부합 결정의 보존율은 0.977-1.000으로 유지됩니다. 단일 프롬프트에서 검색과 해석을 질의하는 단일 호출(same-call) 대조군은 DeepSeek V4 Pro에 대해 격차(1.000 검색 대비 0.900-0.920 해석)를 재현하여, 개별 호출이 이러한 격차의 유일한 설명이 아님을 보여주며, 다른 두 모델에서 나타난 더 작거나 없는 격차는 그 일반성의 범위를 한정합니다. DeepSeek V4 Flash의 경우, 개별 프롬프트 적합도 테스트에서 512K 및 1M에서 완벽한 검색 능력을 유지하면서도 낮은 해석 능력을 보인 반면, 오답 유도 단서(foil-consistent cues)는 검색보다 앵커 없는 사전확률을 훨씬 더 크게 변화시켰으며, 모델 간 단서 효과는 이질적이었습니다. 별도로 보고된 10개 계열의 중국어 하위 집합도 유사한 기술적 격차를 보이지만, 일부 모델의 불완전한 검색 능력으로 인해 이를 오로지 통합(integration) 문제만으로 귀인하는 것은 어렵습니다. 따라서 MWE-ECL은 명시적으로 복원 가능한 원거리 문맥이 경쟁적인 국소 의미 결정을 변화시키는지 여부를 평가합니다.
패턴 인식기에서 개인화된 동반자로: 정신 건강 분야 대규모 언어 모델 서베이
From Pattern Recognizers to Personalized Companions: A Survey of Large Language Models in Mental Health
전 세계적으로 증가하는 정신 건강 질환 유병률은 제한된 자원, 높은 비용, 사회적 낙인, 개인정보 보호 우려와 같은 전통적 의료 체계의 오랜 장벽과 맞물려, 접근 가능하고 확장이 용이한 지원책에 대한 시급한 필요성을 낳았습니다. 대규모 언어 모델(LLM)은 고도화된 자연어 이해 및 생성을 통해 정신 건강 지원의 민주화를 이끌 강력한 잠재력을 지닌 혁신적 기술로 부상했습니다. 그러나 이 분야에서 급격히 확장되며 파편화된 연구들은 일관된 발전적 서사를 갖추지 못해, 현재의 진척 상황을 맥락화하고 향후 연구 방향을 파악하는 데 어려움을 초래하고 있습니다. 본 서베이 논문은 정신 건강 분야에서 LLM의 역할이 뚜렷하고 점진적으로 정교해지는 세 가지 단계를 거쳐 진화하고 있다는 중심 논제를 바탕으로 문헌을 체계화하고 분석하여 이러한 공백을 해소합니다. 저자들은 LLM이 평가를 위한 수동적인 정보 도구이자 패턴 인식기(Pattern Recognizer)로 주로 기능했던 1단계에서 시작하여, 일회성의 무상태(stateless) 상호작용을 수행하는 공감형 대화자(Empathetic Conversationalist) 역할을 하는 2단계를 거쳐, 상태를 유지하는(stateful) 인지 에이전트로 구현되어 장기적이고 개인화된 동반자(Longitudinal, Personalized Companion)를 지향하는 현재의 최전선인 3단계에 이르기까지 그 궤적을 추적합니다. 이러한 프레임워크를 뒷받침하기 위해 핵심 기술, 에이전트 아키텍처(프로필, 메모리, 추론, 계획), 그리고 데이터셋과 벤치마크라는 핵심 인프라를 체계적으로 검토하고, 이들의 진화가 이러한 발전 경로를 어떻게 뒷받침하는지 조명합니다. 본 연구는 이러한 발전적 관점을 통해 기존 연구를 종합적으로 정리하고, 궤적에 대한 통찰력 있는 서사를 제시하며, 정신 건강 관리를 위한 책임감 있고 효과적이며 인간 중심적인 AI의 미래 혁신을 위한 명확한 로드맵을 제공합니다. 본 서베이에서 검토된 큐레이션된 자료 모음은 프로젝트 저장소(https://github.com/Emo-gml/Awesome-Mental-Health-LLMs)에서 확인할 수 있습니다.
TimeLitmus: 이벤트 조건부 시계열 예측에서의 교차 모달 이해와 설명 충실성을 위한 진단 벤치마크
TimeLitmus: A Diagnostic Benchmark for Cross-Modal Understanding and Explanation Faithfulness in Event-Conditioned Time-Series Prediction
대규모 언어 모델(LLM)은 수치 시계열 이력과 텍스트 이벤트로부터 예측을 수행하는 데 점점 더 많이 사용되고 있다. 그러나 정확도만으로는 정답이 두 입력의 효과적인 통합을 반영하는지, 아니면 이벤트 극성(polarity), 단일 모달리티 사전 편향(unimodal prior), 또는 피상적 단서에서 비롯된 것인지 밝힐 수 없다. 마찬가지로, 그럴듯한 설명은 모델 행동을 실제로 이끄는 근거를 충실하게 반영하지 않으면서도 예측을 합리화할 수 있다. 우리는 이벤트 조건부 시계열 예측에서의 교차 모달 이해와 설명 충실성을 진단하는 벤치마크인 TimeLitmus를 소개한다. TimeLitmus는 금융(Finance)과 교통(Traffic) 두 영역에 걸쳐 4,856개의 평가 레코드를 포함하며, 자연 예측(natural prediction)과 통제된 반사실적(counterfactual) 및 대조적(contrastive) 개입, 설명 대상 충실성 테스트, 그리고 체계적인 지름길(shortcut) 통제를 결합한다. 열 가지의 대표적인 LLM을 대상으로 한 실험에서, 표준 예측 정확도는 신뢰할 수 있는 교차 모달 이해를 상당히 과대평가하는 것으로 나타났다: Hard Paired Contrast(HPC) 쌍 정확도는 금융에서 최고 19.2%, 교통에서 최고 11.7%에 그쳤으며, 열 개 모델 모두 금융 시계열 측 통제에서 기대보다 낮은 일관성을 보였다. 모델들은 시나리오 간 관계를 명시적으로는 인식하면서도 독립적인 예측 시에는 이를 적용하지 못하는 경우가 많았다. 설명 충실성에서도 유사한 격차가 나타났다: 교통 영역에서 대부분의 모델은 90% 이상의 경우 조작된 시간적 요인을 근거로 언급했지만, 행동적 뒷받침(behavioral support)은 22% 미만에 그쳤다. 인간 주석자는 동일한 조건의 통제 및 하드 페어(hard-pair) 진단 과제에서 LLM보다 우수한 성능을 보여, 이러한 구분이 입력으로부터 복원 가능함을 확인시켜 주었다. 자연 예측 데이터만을 이용한 적응(natural-only adaptation)은 증거 선택과 입력 민감도에서는 선택적인 향상을 가져왔지만, 통제 조건이나 하드 페어 행동에서는 일관된 향상을 가져오지 못했다. 벤치마크, 평가 스위트, 지도 적응 데이터는 공개될 예정이다.
VeriSimpl: 단순화 기반 검증을 활용한 자연어 기반 견고한 최적화 모델링
VeriSimpl: Robust Optimization Modeling from Natural Language using Simplification-based Verification
자연어 인터페이스는 최적화 모델링의 접근성과 사용성을 크게 향상시킬 수 있으며, 대규모 언어 모델(LLM)의 최근 발전은 텍스트 문제 설명을 실행 가능한 솔버 공식화로 자동 변환하는 데 가능성을 보여준다. 그러나 기존 접근법의 핵심 과제는 추론된 공식화가 오류 없이 실행될 수 있더라도 의도된 작업을 올바르게 구현하는지 확인하는 것이다. 우리는 견고한 자연어-최적화 형식화를 위한 솔버 LLM 프레임워크인 VeriSimpl을 제안한다. 우리 접근법은 단순화 기반 검증(simplification-based verification)이라는 아이디어에 기반하며, 여기서 최적화 솔버를 활용해 후보 공식화에 대한 단순화된 진단 쿼리를 생성하고, 이를 통해 LLM이 작업 설명에 대한 공식화의 정확성을 다루기 쉽게 추론할 수 있게 한다. 문제 제약과 의사결정 변수와 관련된 다양한 차원에서 이러한 단순화 전략을 제시하며, 이는 LLM이 고정된 전역 문맥 하에서 국소적으로 추론할 수 있게 한다. 다양한 최적화 벤치마크에 대한 평가는 우리 접근법이 기존 방법 대비 정확도에서 일관된 개선을 제공함을 보여주며, 동시에 새로운 고정밀도 자가 검증 신호를 제공함을 보여준다.
Sensitivity Analysis of the Transformation Using a Parameterized CEC 2017 Benchmark
Spatial-IQ: 계층적 능력 테스트를 통한 공간 지능 분해
Spatial-IQ: Deconstructing Spatial Intelligence via Hierarchical Capability Tests
다중모달 대규모 언어 모델(MLLM)은 시각 해석에는 뛰어나지만, 인간이 안정적으로 풀 수 있는 공간 추론 과제에서는 실패한다. 기존 벤치마크는 이러한 모델을 블랙박스로 평가하여 낮은 성능의 근본 원인을 식별하는 능력을 제한한다. 모델이 공간 추론 과제에서 실패할 때, 그 장애가 객체 경계 인식과 같은 지각(perceptual) 문제인지, 가려짐에 대해 추론하여 숨겨진 기하를 추론하는 것과 같은 인지(cognitive) 문제인지 판별하기 어렵다. 우리는 Spatial-IQ를 제안한다. 이는 쌓인 3D 구조에서의 객체 개수 세기를 인간 공간 인지의 발달 단계에 따라 구성된 9개의 지각·인지 하위 과제로 분해하는 계층적 진단 프레임워크이며, 정신 회전(mental rotation)을 추가 목표 프로브로 포함한다. NVIDIA Isaac Sim을 사용하여 과제별 ground truth를 갖춘 약 80,000개의 다양한 쌓인 3D 구조 데이터셋을 절차적으로 생성했다. 자유 응답 텍스트, 객관식 이미지, 이미지 편집의 세 가지 출력 형식과 인간 기준선을 함께 사용하여 모델을 평가한다. Spatial-IQ 프레임워크는 최고 성능 모델이 종종 목표 과제(객체 개수 세기)를 뒷받침하도록 의도된 하위 수준 하위 과제에는 성공하지 못한 채 목표 과제에서 성공하는 경우가 많으며, 모델마다 이러한 계층적 연쇄를 얼마나 유지하는지가 다르다는 것을 보여준다. 이는 목표 과제 정확도만으로는 드러나지 않을 지름길(shortcut) 행동을 종종 드러낸다. 마지막으로, 계층적 하위 과제에 대한 사고의 연쇄(Chain-of-Thought, CoT) 감독과 검증 가능 보상을 이용한 강화학습을 결합하여 모델을 학습하면, 하위 과제 간 공간적 일관성과 목표 과제 정확도가 모두 크게 향상됨을 보여준다. 이는 제안한 분해가 진단 도구이자 학습 신호 모두로서 가치 있음을 뒷받침한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.