Contextual Evaluation of Large Language Models for Classifying Tropical and Infectious Diseases
원문 초록
While large language models (LLMs) have shown promise for medical question answering, there is limited work focused on tropical and infectious disease-specific exploration. We build on an opensource tropical and infectious diseases (TRINDs) dataset, expanding it to include demographic and semantic clinical and consumer augmentations yielding 11000+ prompts. We evaluate LLM performance on these, comparing generalist and medical LLMs, as well as LLM outcomes to human experts. We demonstrate through systematic experimentation, the benefit of contextual information such as demographics, location, gender, risk factors for optimal LLM response. Finally we develop a prototype of TRINDs-LM, a research tool that provides a playground to navigate how context impacts LLM outputs for health.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
전자의무기록(EHR) 정보 검색을 위한 지속 갱신형 벤치마크
A Living Benchmark for Information Retrieval from Electronic Health Records
대규모 언어 모델(LLM) 기반의 임상 어시스턴트가 전자의무기록(EHR) 시스템에 점차 통합되면서, 임상의가 환자 기록에서 정보를 검색하고 종합하는 방식을 변화시키고 있습니다. 이러한 시스템의 안전성과 유용성은 엄격한 평가에 달려 있지만, 기존 벤치마크는 수작업으로 큐레이션되어 업데이트 비용이 많이 들고 기술 발전에 따라 빠르게 구식화됩니다. 본 논문에서는 종단적 EHR 임상 기록으로부터 질의응답 쌍을 자동으로 생성하는 확장 가능한 프레임워크를 제시합니다. 19명의 임상의가 벤치마크 생성기를 검증하여 지속적으로 유지 관리할 수 있는 평가 데이터셋인 BRIE(Benchmark for Retrieving Information in EHRs)를 구축했습니다. 9개의 LLM과 5개의 추론(inference) 전략에 걸친 평가 결과, 최신 시스템들은 특히 여러 문서와 진료 기록 전반에 걸친 종합이 필요한 질문에서 임상적으로 중요한 정보를 빈번하게 누락하는 것으로 나타났습니다. 생성기 자체가 검증되었기 때문에, BRIE는 정적 벤치마크가 지원할 수 없는 평가를 가능하게 합니다. 여기에는 강건한 성능 평가를 위해 임상의의 추론 변동성을 반영하는 다중 답변 생성과, 데이터 유출(leakage)을 방지하기 위한 벤치마크 콘텐츠의 지속적인 갱신이 포함됩니다. 본 연구 결과는 확장 가능한 벤치마크 생성을 통해 빠르게 진화하는 의료 환경에 배포되는 임상 LLM에 대한 엄격하고 최신화된 평가가 가능함을 입증합니다.
의학 분야에서의 Jev: 벤치마크 평가
Jev in Medicine: A Benchmark Evaluation
Jev는 미리 정의된 답변 선택지에 확률을 부여하며 해당 선택지 외에는 답변할 수 없는 비생성형(non-generative) '시스템 1(System One)' 모델입니다. 의학 질의응답 및 사례 기반 진단 추론 과제에서 이 모델의 정확도와 캘리브레이션(calibration)은 아직 알려지지 않았습니다. 본 연구에서는 MetaMedQA, PubMedQA, DiagnosisArena-MCQ, 그리고 NEJM Case Challenges 등 네 가지 의학 벤치마크에서 Jev 1.13을 평가했습니다. (중간 수준의) 추론 기능이 적용된 경우와 적용되지 않은 GPT-6 Sol을 기준 모델로 삼았습니다. 1차 평가 지표는 Top-1 정확도였으며, 주요 2차 평가 지표는 캘리브레이션, 선택적 예측(selective prediction), 답변 불가능한 질문의 인식이었습니다. 총 8,469건의 모든 요청에서 유효한 답변이 반환되었습니다. Jev의 정확도는 PubMedQA에서는 중간 수준 추론을 사용한 GPT-6 Sol과 유사했으나(78.4% 대 78.2%), MetaMedQA에서는 더 낮았고(74.8% 대 82.7%), DiagnosisArena-MCQ(59.8% 대 82.4%)와 NEJM 사례(61.8% 대 82.4%)에서는 훨씬 낮았습니다. MetaMedQA에서 Jev의 확률값은 가장 잘 캘리브레이션되었으며(기대 캘리브레이션 오차 0.063 대 0.146), 확률이 0.9 이상인 답변(전체 질문의 52.9%)의 정확도는 93.4%였으나, GPT-6 Sol 역시 비슷한 비율의 질문을 수용했을 때 동등한 수준의 정확도를 보였습니다. DiagnosisArena-MCQ에서 Jev의 확률값은 판별 능력이 떨어졌습니다(AUROC 0.645 대 0.768). 정답이 '모르거나 답변할 수 없음'인 162개 질문 중 Jev는 10.5%에서 해당 선택지를 선택했습니다(GPT-6 Sol은 8.6%). 중앙값 지연 시간은 0.27~0.31초였으며, 2,823개 전체 항목의 비용은 0.08달러였습니다. Jev는 빠르고 저렴하며, 연구 논문 초록에 대해서는 프론티어 대규모 언어 모델(LLM)과 유사한 정확도를 보였으나 시험 문제에서는 더 낮았고 복잡한 진단 사례에서는 훨씬 낮았습니다. 임상에 적용하기 전에는 과제별 검증이 필수적입니다.
경로가 중요하다: KGQA에서 답변 정확도를 넘어선 소규모 언어 모델 평가
The Path Matters: Evaluating Small Language Models Beyond Answer Accuracy in KGQA
소규모 언어 모델(SLM)은 지식 그래프(KG)와 함께 사용되는 경우가 점점 늘고 있지만, 종단간(end-to-end) KG 질의응답은 그래프 접근, 탐색, 내비게이션, 추론, 답변 생성을 한데 뒤섞는다. 이러한 결합 때문에 SLM이 질문에 내포된 추론 경로를 충실하게 실행할 수 있는지를 판단하기도, 실패의 원인을 파이프라인의 다른 단계가 아닌 내비게이션에 귀속시키기도 어렵다. 우리는 THESEUS 내비게이션 및 추적성 프레임워크를 사용하고, 고정된(frozen) 기성 SLM을 로컬 행동 정책(local action policy)으로 활용하여 이 능력을 분리해 평가한다. 각 홉(hop)마다 환경은 실행 가능한 나가는 그래프 행동을 제시하고, 모델은 실행 가능한 그래프 행동 하나를 선택하며 중단할지 여부를 결정한다. 이 과정에서 과제별 매개변수 업데이트, 모델이 제어하는 빔 서치, 자유 형식 답변 생성은 사용하지 않는다. 이러한 통제된 설정을 통해 최종 답변 정확도를 Hits@1로, 경로 충실도(path fidelity)를 Path Edit Distance(PED)를 주요 궤적 지표로 사용하여 함께 평가할 수 있다. Kinship과 MQuAKE-ST KGQA 전반에서, 크기가 비슷한 로컬 모델들도 답변 정확도와 경로 충실도에서 크게 다르며, 두 지표가 서로 다른 모델을 선호하는 경우도 있다. 이러한 모델 의존적 양상은 프롬프팅에서도 나타나, 시연된 궤적 하나가 모델에 따라 내비게이션을 개선하거나 오히려 저하시킬 수 있다. 이러한 결과는 SLM의 그래프 추론을 최종 답변 정확도만이 아니라 그 너머까지 평가해야 함을 시사한다.
OmniEcho: 체화된 에이전트를 위한 공간 오디오 이해
OmniEcho: Spatial Audio Understanding for Embodied Agents
인간은 음원의 방향을 손쉽게 위치 파악(localization)하고 이를 시각적 단서와 통합하여 추론할 수 있지만, 이는 체화된 에이전트(embodied agent)에게 여전히 어려운 과제입니다. 특히 체화된 환경에서 공간 오디오 이해를 효과적으로 평가하고 모델링하는 방법은 여전히 불분명합니다. 이러한 격차를 해소하기 위해, 본 논문에서는 공간 시청각 인지 및 오디오-비전-언어 내비게이션을 위한 통합 벤치마크인 \textbf{OmniEchoBench}를 소개합니다. OmniEchoBench는 30개의 실제 환경에서 수집된 1차 앰비소닉스(FOA) 오디오를 포함하여 197개의 실제 공간 시청각 장면, 2,972개의 질의응답 쌍, 900개의 내비게이션 샘플에 걸친 6개 작업으로 구성됩니다. 확장 가능한 학습(training) 감독을 가능하게 하기 위해 음원, 시각적 관측, 에이전트 궤적 간의 기하학적 일관성을 보존하는 공간 오디오용 제어 가능한 렌더링 파이프라인을 개발합니다. 이를 기반으로 공간을 인지하는 옴니 모달 모델(omni-modal model)인 \textbf{OmniEcho}를 제안합니다. 이는 사전학습(pre-training)된 시맨틱 오디오 경로와 함께 FOA 공간 인코더를 도입합니다. 광범위한 실험을 통해 OmniEcho가 공간 시청각 인지에서 최고 수준의 성능(SOTA)을 달성함을 보여줍니다. 소리 유도 내비게이션의 경우 OmniEcho는 기존 비전-언어 내비게이션에 근접한 성능 수준에 도달합니다. 이러한 결과는 공간 오디오가 체화된 장면 추론 및 내비게이션에 귀중한 신호 역할을 할 수 있음을 입증하는 동시에, 세밀한 공간적 위치 파악 및 거리 추정이 중요한 미해결 과제임을 강조합니다.
효과적이고 효율적인 체화 탐험을 위한 능동적 공간 검사
Active Spatial Inspection for Effective and Efficient Embodied Exploration
높은 작업 성공률과 효율성을 달성하는 것은 체화 탐험(Embodied Exploration)에서 핵심적인 목표로 남아 있다. 기존 프레임워크는 일반적으로 공간적으로 조악하고 간접적인 암시적 단서 및 방향 평가를 통해 에이전트(Agent) 행동을 유도하지만, 이러한 설계는 단서의 충분성과 추가 검사(inspection)의 필요성을 판단하는 데 어려움을 겪어 조기 종료나 과도한 지속으로 이어지고, 결과적으로 작업 성공률과 효율성을 저하시킬 수 있다. 본 연구는 공간적으로 명시적인 관점에서 체화 탐험을 재고하고, 근거 기반 지각(evidence-grounded perception)과 노출 정보 기반 이동(exposure-informed movement)을 결합하여 공간적으로 해상된 의사결정 패러다임을 확립하는 공간 검사 기반 능동 탐험(spatial-inspection-guided ACtive Exploration, ACE) 프레임워크를 제안한다. 근거 기반 지각은 세밀한 위치 추정(localization)과 집중적 검증(verification)을 통합하여 암시적 단서를 정확하고 결정적인 시각적 근거로 전환함으로써 추론적 타당성을 강화한다. 노출 정보 기반 이동은 전향적 우선순위화(prospective prioritization)와 후향적 억제(retrospective suppression)를 통해 방향 판단을 촉진하며, 효율적인 공간적 진행을 위해 유망한 방향을 선택한다. ACE는 조기 종료를 방지하는 것과 불필요한 지속을 피하는 것 사이의 긴장 관계를 완화한다. 광범위한 실험을 통해 ACE가 기존 최신(state-of-the-art) 베이스라인 대비 내비게이션(navigation) 작업 성공률을 18.0% 향상시키고, 질의응답(question answering)을 위한 탐험 효율성을 10.3% 향상시켜 효과적이고 효율적인 체화 탐험을 진전시킨다는 것을 입증한다.
SciExplore: 과학적 탐색에서 정보 통합까지 자율 에이전트 평가
SciExplore: Evaluating Autonomous Agents from Scientific Navigation to Information Integration
과학 연구는 이질적인 출처에 걸친 복잡한 정보 탐색 및 추론 워크플로를 포함한다. 그러나 기존 벤치마크는 주로 일반 도메인 검색(retrieval) 또는 정적인 과학 질의응답에 초점을 맞추고 있어, 현실적인 과학 연구 워크플로에 필요한 핵심 역량을 평가하지 못한다. 우리는 LLM과 에이전트의 과학적 정보 탐색 및 추론 역량을 평가하기 위해 설계된 벤치마크인 SciExplore를 제안한다. SciExplore는 10개 이상의 과학 분야에 걸친 전문가 큐레이션 103개 과제를 포함하는 네 가지 과제 유형으로 구성된다: 과학 데이터베이스 내비게이션, 모호한 문헌 검색, 누락 참고문헌 완성, 교차 출처 구조화 지식 합성으로, 이는 개체 수준 추론 및 문서 수준 식별에서부터 증거 수준 그라운딩(grounding) 및 도메인 수준 합성에 이르는 점진적으로 더 높은 수준의 능력을 탐구한다. 우리는 SciExplore에서 10개 이상의 최신 LLM과 자율 에이전트를 평가하여, 과제 복잡도가 증가함에 따라 성능이 급격히 저하되고 가장 어려운 구조화 합성 과제에서 극히 낮은 정확도를 보이는 등 상당한 성능 격차를 드러낸다. 이러한 결과는 현실적인 과학적 정보 탐색 시나리오에서 현재 모델과 에이전트의 중대한 한계를 부각한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.