ELIXR: Towards a general purpose X-ray artificial intelligence system through alignment of large language models and radiology vision encoders
원문 초록
In this work, we present an approach, which we call Embeddings for Language/Image-aligned X-Rays, or ELIXR, that leverages a language-aligned image encoder combined or grafted onto a fixed LLM, PaLM 2, to perform a broad range of chest X-ray tasks. We train this lightweight adapter architecture using images paired with corresponding free-text radiology reports from the MIMIC-CXR dataset. ELIXR achieved state-of-the-art performance on zero-shot chest X-ray (CXR) classification (mean AUC of 0.850 across 13 findings), data-efficient CXR classification (mean AUCs of 0.893 and 0.898 across five findings (atelectasis, cardiomegaly, consolidation, pleural effusion, and pulmonary edema) for 1% (~2,200 images) and 10% (~22,000 images) training data), and semantic search (0.76 normalized discounted cumulative gain (NDCG) across nineteen queries, including perfect retrieval on twelve of them). Compared to existing data-efficient methods including supervised contrastive learning (SupCon), ELIXR required two orders of magnitude less data to reach similar performance. ELIXR also showed promise on CXR vision-language tasks, demonstrating overall accuracies of 58.7% and 62.5% on visual question answering and report quality assurance tasks, respectively. These results suggest that ELIXR is a robust and versatile approach to CXR AI.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
EidosDoc: 비용 효율적인 반구조화 문서 QA를 위한 암시적 구조 인코딩
EidosDoc: Implicit Structure Encoding for Cost-Effective Semi-Structured Document QA
반구조화 문서는 과학 보고서, 재무제표, 기술 매뉴얼 등에서 흔히 등장한다. 이러한 문서에 대한 질의응답(QA)은 텍스트, 표, 차트, 복잡한 계층적 레이아웃을 동시에 이해해야 한다. 기존 방법은 구조 파싱과 검색을 위해 대규모 언어 모델(LLM)을 반복 호출하여 높은 비용과 큰 지연을 초래하거나, 문서를 평탄화하여 레이아웃과 계층 정보를 잃고 답변 정확도를 희생한다. 이를 해결하기 위해 최소한의 계산 비용으로 최고 수준의 정확도를 달성하는 새로운 시스템 EidosDoc을 제안한다. 우리 접근법은 세 가지 핵심 혁신을 도입한다. (1) 대조 학습(contrastive learning)과 구조 일관성 손실(structure consistency loss)으로 학습되는 암시적 구조 인코더(Implicit Structure Encoder). 이 모듈은 계층적 관계, 공간적 위치, 텍스트 내용을 밀집 벡터 공간에 공동 임베딩하여, 수동으로 정의하고 오류가 발생하기 쉬운 구조 없이 문서 구조를 전체적으로 포착한다. (2) BM25, 레이아웃 핑거프린트, 경량 cross-encoder를 활용해 LLM을 전혀 호출하지 않고 고정밀도 검색을 수행하는 하이브리드 검색 파이프라인으로, 비용과 지연을 크게 줄인다. (3) 공간적으로 인접하고 구조적으로 관련된 증거를 적응적으로 검색하여 고정 경로 검색 방법에서 흔한 증거 누락을 극복하는 동적 증거 확장(Dynamic Evidence Expansion) 메커니즘. 네 개의 벤치마크에서 EidosDoc을 평가했으며, 종합 평가 결과 EidosDoc은 네 벤치마크 모두에서 새로운 최고 수준의 정확도를 달성한다. 특히 이전 최고 수준 방법 대비 비용은 50배 감소하고 지연은 4배 낮다. 이 결과는 EidosDoc이 정확도, 비용, 속도 사이의 새로운 최적 절충을 확립하며, 정확한 반구조화 문서 분석을 위한 실용적이고 확장 가능한 경로를 제공함을 보여준다.
테스트 시점 메모리 구축
Test-Time Memory Construction
대규모 언어 모델(LLM)은 관련 증거가 멀리 떨어진 세션에 걸쳐 흩어져 있을 수 있는 긴 상호작용 기록을 바탕으로 질문에 답하는 데 어려움을 겪습니다. 기존 메모리 시스템은 일반적으로 사용자 질의가 관찰되기 전에 오프라인에서 정교한 메모리 표현을 구축하고 유지하므로 상당한 오버헤드가 발생하고 질의별 정보 요구에 맞춰 메모리 구축을 적응시키는 능력이 제한됩니다. 본 논문에서는 메모리 구축을 추론(inference) 시점으로 미루고 추론 과정에 따라 메모리를 점진적으로 구축하는 테스트 시점 메모리(Test-Time Memory) 구축 프레임워크인 T$^2$Mem을 제안합니다. 구체적으로 T$^2$Mem은 주요 이벤트와 시간적 연관성을 검색 단서로 포착하기 위해 가벼운 에피소드 수준의 메타데이터를 오프라인에서 추출하는 동시에, 에피소드 간의 의존성 재구성을 용이하게 하도록 원본 상호작용에 대한 링크를 유지합니다. 테스트 시점에 LLM은 메타데이터와 원시 상호작용을 적응적으로 검색 및 구성하여 추론이 진행됨에 따라 질의 맞춤형 메모리를 점진적으로 구축합니다. LoCoMo 및 LongMemEval에 대한 실험을 통해 T$^2$Mem은 다양한 백본 LLM 전반에서 강력한 베이스라인을 일관되게 능가하는 동시에 메모리 구축 오버헤드를 대폭 줄임으로써 그 효과를 입증합니다. 추가 분석을 통해 메모리 구축을 추론 시점으로 미룸으로써 메모리 구축 프로세스가 개별 질의의 정보 요구에 동적으로 적응할 수 있음을 보여줍니다. 모든 코드는 https://github.com/OpenBMB/T2Mem 에서 이용 가능합니다.
TabMF: 정형 데이터 파운데이션 모델을 활용한 데이터셋 표현 학습
TabMF: Learning Dataset Representations with Tabular Foundation Models
지도학습 데이터셋의 표현(representation)은 데이터셋 검색 및 분포 변화(distribution shift) 모니터링과 같은 상위 수준의 머신러닝 작업을 지원합니다. 그러나 기존 접근 방식은 일반적으로 수작업으로 설계된 메타 피처나 표현 학습만을 위해 특별히 학습된 데이터셋 인코더에 의존합니다. 본 논문에서는 사전학습된 정형 데이터 파운데이션 모델(TFM)을 지도학습 데이터셋의 인코더로 재활용하는 프레임워크인 TabMF를 소개합니다. TabMF는 예측형 TFM에 구조를 고려한 데이터셋 수준의 리드아웃(readout)을 장착하고, 합성 지도학습 데이터셋의 확률적 뷰(stochastic view)에 대한 대조 사후 학습(contrastive post-training)을 사용하여 모델을 엔드투엔드로 적응시킵니다. TabICLv2 및 TabPFN-2.5에 TabMF를 적용하고, 미확인 실제 데이터셋을 대상으로 6개 작업에 걸쳐 도출된 표현을 평가합니다. 가중치를 고정한(frozen) 단순 TFM 리드아웃만으로도 경쟁력 있는 표현이 생성되며, 이는 예측 사전학습이 이미 상당한 수준의 데이터셋 차원 구조를 유도함을 시사합니다. 두 가지 TabMF 인코더는 평가된 학습 기반 및 고전적 데이터셋 표현 중 가장 강력한 종합 성능을 달성했으며, 특히 데이터셋 검색, 압축 벤치마크 구축, 분포 변화 심각도 평가에서 뛰어난 성과를 보였습니다.
RATED: 실행 역학을 통한 신뢰성 인식 AI 에이전트 도구 검색
RATED: Reliability-Aware AI Agent Tool Retrieval via Execution Dynamics
AI 에이전트(agent)의 외부 도구 의존도가 높아짐에 따라, 신뢰할 수 있는 동작을 위해서는 정확한 도구 검색이 필수적입니다. 기존 방식들은 의미적 관련성을 최적화하지만 실행 중 도구의 가용성은 대체로 무시합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 강건한 의미적 매칭과 동적 신뢰성 적응을 결합한 검색 프레임워크인 RATED(Reliability-Aware Tool Retrieval via Execution Dynamics)를 제안합니다. RATED는 의미적 매칭을 위해 대조 미세조정(contrastive fine-tuning)이 적용된 고정된(frozen) 듀얼 인코더를 사용하며, 실시간 실행 피드백을 기반으로 후보군을 재순위화하는 경량 맥락적 밴딧(contextual bandit) 모듈을 사용합니다. 이러한 설계를 통해 모델의 값비싼 재학습 없이도 런타임 도구 실패에 신속하게 적응할 수 있습니다. 또한 오프라인 검색 및 동적 신뢰성 평가를 위해 5,172개의 실제 도구와 210,000개 이상의 쿼리-도구 쌍으로 구성된 벤치마크인 EcoAgent를 소개합니다. 실험 결과에 따르면, RATED는 실제 쿼리에서 ToolLLM API 검색기 대비 52.2%의 상대적 MRR 향상을 달성하고, 30%의 실패율을 보이는 심각한 API 장애 시나리오에서 오류 선택률을 86.2%에서 2.9%로 낮추는 동시에 인코딩 전용 추론(inference) 대비 1ms 미만의 미미한 지연 시간 오버헤드만을 발생시킵니다. 코드와 데이터셋은 https://github.com/Elliotes/EcoAgent 에서 확인할 수 있습니다.
검증 가능하고 피드백 기반 언어 모델을 활용하여 임상 시험 근거 표에 대한 임상의의 질문에 답하기
Answering clinicians' questions over trial evidence tables with verifiable, feedback-driven language models
체계적 문헌고찰은 임상 시험 결과를 근거 표(evidence table)로 요약하지만, 임상의는 데이터베이스 쿼리를 통해서만 이러한 표를 질의할 수 있으며, 많은 질문은 약물의 표적 분류나 통합된 평가변수(endpoint)처럼 표에 기록되지 않은 속성과 관련되어 있습니다. 본 논문에서는 두 종류의 질문에 모두 답하고, 모든 답변의 배경이 되는 쿼리, 선정된 임상 시험 및 도출 규칙을 공개하며, 전문가의 교정으로부터 학습하는 언어 모델(LM) 프레임워크인 FD-SCoPE를 소개합니다. 159건의 면역관문억제제(immune checkpoint inhibitor) 임상 시험 기록으로 구성된 종양학 근거 표에서, FD-SCoPE는 140개의 임상의 대상 과제를 모두 완료했습니다(대안 모델 90.7~97.9%). 파생 속성이 필요한 질문의 경우, 89.8%의 양성 예측도(positive predictive value)로 관련 임상 시험 기록의 99.3%를 검색했으며 4가지 대안 접근법보다 우수한 성능을 보였습니다(파생값 F1 77.7% 대비 64.8~73.4%). 기준 답변으로부터 시뮬레이션된 299개 질문에 대한 교정은 이전에 보지 못한 1,201개 질문에 대한 F1 점수를 77.9%에서 84.9%로 향상시켰습니다. 실행 가능한 쿼리, 검증된 프로그램, 전문가 피드백과 결합된 언어 모델은 임상의에게 임상 시험 근거에 대한 검증 가능한 접근성을 제공할 수 있습니다.
DyadMem: 에이전트와 사용자의 상호작용 방식을 평가하는 장기 기억 벤치마크
DyadMem: A Long-Term Memory Benchmark of How Agents Work with Users
장기 에이전트(agent)는 사용자에 대한 사실뿐만 아니라 공유된 히스토리가 발전함에 따라 특정 에이전트가 해당 사용자와 어떻게 상호작용해야 하는지도 기억해야 합니다. 기존 벤치마크는 주로 사용자의 사실 및 선호도나 여러 사용자 간에 재사용 가능한 경험만을 감독하여, 이러한 관계 특정적 에이전트 메모리를 암묵적인 상태로 남겨두었습니다. 또한, 대부분의 이전 연구는 긴 상호작용 기록에 대한 최종 답변 질의응답(QA)만으로 모델을 측정하므로 평가가 여전히 불완전하고 신뢰하기 어렵습니다. 이를 위해 본 논문에서는 새롭게 정의한 사용자 조건부 관계형 에이전트 메모리(URAM)와 함께 DyadMem을 소개합니다. DyadMem은 동일한 다중 세션 궤적을 따라 사용자 측 메모리와 URAM을 공동으로 주석 처리하여 6가지 메모리 범주를 구성합니다. 요약하자면, 본 벤치마크는 3,065개의 에피소드, 50,961개의 세션, 61,210개의 QA 인스턴스를 포함하며, 광범위한 세션 수준의 수집(Capture) 및 업데이트(Update) 골드 주석, 쿼리 수준의 리콜(Recall) 지원, 그리고 골드 메모리(Gold-Memory)와 전체 파이프라인(Full-Pipeline)이라는 두 가지 QA 설정을 제공합니다. 16개의 공개 가중치(weight) 모델과 4개의 독점 모델 전반에서 골드 메모리 QA는 일관되게 강력한 성능을 보였으나, 전체 파이프라인 QA는 급격히 하락했습니다. 이러한 격차는 본 연구의 세분화된 평가 설계를 명확히 뒷받침합니다. 또한, 여러 정량적 결과는 프론티어 대규모 언어 모델(LLM)에서도 낮은 수집 재현율(recall), 불완전한 검색(Recall), 안전하지 않은 삭제 문제가 발생함을 추가로 보여줍니다. 나아가 엄격한 실험을 수행하여 URAM의 효과를 검증했으며 20개 모델 모두에서 긍정적인 효과를 관찰했습니다. 요약하자면, DyadMem은 해당 분야의 발전을 위해 광범위한 주석 작업을 거친 이중 도메인, 전체 파이프라인 메모리 벤치마크입니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.