VISTA Architect: 다학제 종양위원회에서 시연된 그래프 데이터베이스 기반 의료 AI 시스템
VISTA Architect: A graph database-oriented health AI system demonstrated in multidisciplinary tumor boards
한국어 초록
본 논문에서는 대규모 언어 모델(LLM)을 종단적 전자 건강 기록(EHR)과 통합하기 위한 데이터베이스 기반 AI 아키텍처인 VISTA Architect를 소개한다. 데이터 수집 시, 복잡한 임상 문서를 영속적이고 출처가 연결된 지식 그래프로 변환하여 쿼리 시점마다 원시 기록을 반복 처리하는 과정을 제거한다. 이 아키텍처는 두 개의 계층으로 구성된다: 완전한 출처 정보와 함께 세분화된 EHR 구조를 보존하는 소스 충실 MEDS Graph와, 그래프 기반 LLM 추출을 활용하여 중복 제거되고 시간적으로 일관된 임상 이벤트의 간결한 타임라인을 합성하는 임상 추상화 계층인 Timeline Object Architecture(TOA)이다. 이는 시간적 관계를 놓치거나 원시 텍스트의 반복 처리로 인해 높은 비용과 지연을 초래하는 직접적인 긴 컨텍스트 프롬프팅 및 검색-증강 생성(RAG)의 핵심 한계를 해결한다. 임상 합성을 사전에 한 번 계산해 둠으로써, 하위 쿼리는 정리된 환자 상태에 접근하고 상세 검증이 필요한 경우에만 원본 문서를 탐색한다. 본 시스템은 환자 병력의 정확한 재구성이 중요한 Stanford Medicine의 다학제 흉부 종양학 종양위원회에서 시연된다. 1,180명의 환자를 대상으로 VISTA Architect는 15개 종양위원회 핵심 변수에 대해 96.4%의 정확도(평균 9.75/10)를 달성하였으며(17,700건 평가; 95% CI 96.1-96.7%), 이는 매칭된 BM25 RAG 기준선 및 LLM 기반 임상 추출에 관한 최근 벤치마크를 능가하는 성능이다. 에이전트(agent) 인터페이스를 통해 30명 환자로 구성된 보류 코호트의 준비 시간을 정확도 손실 없이 약 2.2분으로 단축하였다. 본 논문에서는 흉부 종양학에 맞게 구성되었으나, 모듈식 설계를 통해 커스터마이징 가능한 이벤트 정의, 에피소드 구조, 에이전트 도구를 활용하여 다른 전문 분야에도 적용할 수 있으며, 흉부 종양학을 넘어선 검증은 향후 과제로 남긴다.
원문 초록
We introduce VISTA Architect, a database-oriented AI architecture for integrating large language models (LLMs) with longitudinal electronic health records (EHRs). At ingestion, it transforms complex clinical documentation into a persistent, provenance-linked knowledge graph, eliminating repeated reprocessing of raw records at query time. The architecture has two layers: a source-faithful MEDS Graph preserving granular EHR structure with full provenance, and a clinically abstracted Timeline Object Architecture (TOA) that uses graph-guided LLM extraction to synthesize a concise timeline of deduplicated, temporally coherent clinical events. This addresses key limitations of direct long-context prompting and retrieval-augmented generation (RAG), which often miss temporal relationships and incur high cost and latency from repeated raw-text processing. By precomputing clinical synthesis once, downstream queries access an organized patient state and traverse to source documentation only when detailed verification is needed. We demonstrate the system in multidisciplinary thoracic oncology tumor boards at Stanford Medicine, where precise reconstruction of patient histories is critical. Across 1,180 patients, VISTA Architect achieved 96.4% accuracy (mean 9.75/10) on 15 tumor board-salient variables (17,700 evaluations; 95% CI 96.1-96.7%), surpassing a matched BM25 RAG baseline and recent benchmarks for LLM-based clinical extraction. An agentic interface reduced preparation for a 30-patient held-out cohort to about 2.2 minutes without sacrificing accuracy. While configured here for thoracic oncology, the modular design adapts to other specialties through customizable event definitions, episode structures, and agentic tools; validation beyond thoracic oncology remains future work.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.22692v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
언어 모델은 위키피디아 게임을 플레이할 수 있는가?
Can Language Models Play the Wikipedia Game?
언어 모델은 색인하기에 너무 방대한 문서 집합에서 정보 검색을 지원하거나 자동화하는 데 점점 더 많이 활용되고 있습니다. 이 작업은 전문적인 언어학적 또는 과학적 지식을 요구할 때 어려워집니다. 본 연구에서는 유사한 정보 검색 작업에서 언어 모델을 테스트하기 위해 위키피디아 게임(Wikipedia Game)을 활용했습니다. 이 게임에서 플레이어는 오직 문서 내 링크만을 사용하여 목표 문서에 도달해야 합니다. 5개 언어의 위키피디아와 5개의 학술 문헌 데이터셋에 걸쳐 문장 임베딩(embedding) 모델(model)과 대규모 언어 모델(LLM)들을 비교했습니다. OpenAlex를 사용하여 위키피디아 페이지 및 논문 인용으로 이루어진 초대형 로컬 그래프를 구축하고, 이를 생성하고 탐색할 수 있는 코드를 제공합니다. 이를 통해 서드파티 API에 의존하지 않고도 언어 모델의 탐색 능력을 연구할 수 있습니다. 또한 해당 모델들을 인간 및 TF-IDF 벤치마크와 비교했습니다. 위키피디아 게임 형식은 다양한 기법, 언어 및 도메인 전반에 걸쳐 강력한 비교를 가능하게 합니다. 가장 우수한 모델들(GPT-o3 mini, GPT-4o, QwQ:32B, DeepSeek-R1:70B)이 인간에 필적하는 성공률을 달성했으나, 인간을 유의미하게 능가한 모델은 없었습니다. 성능과 순위는 언어와 주제에 따라 다양하게 나타났으며, 이는 이러한 기법을 활용하는 실무자들에게 시사점을 제공합니다.
경영학 교육을 위한 온프레미스 다중 강좌 RAG 튜터링: 캠퍼스 AI 튜터의 하드웨어-소프트웨어 트레이드오프
On-Premises Multi-Course RAG Tutoring for Business Education: Hardware-Software Trade-offs in a Campus AI Tutor
검색-증강 생성(RAG) 기반 캠퍼스 AI 튜터는 교재와 학생 대화를 기관 인프라 내에 유지하면서 지정된 강의 자료를 바탕으로 답변을 그라운딩(grounding)해야 합니다. 본 논문에서는 캠퍼스 웹 게이트웨이 뒤에 배포되고 Moodle에 임베드되어 사용되도록 설계된 학부 경영학 교육용 온프레미스 다중 강좌 RAG 튜터인 CourseChat을 소개합니다. 고유한 강좌 참조 번호(CRN)로 구분되는 6개의 격리된 강좌가 FastAPI 서비스, 로컬 벡터 데이터베이스, Ollama로 서빙되는 로컬 대규모 언어 모델(LLM)을 실행하는 트윈 엣지 AI 호스트를 공유합니다. 본 연구는 두 차례의 생성 모델 평가 라운드, 별도의 고정 근거 기반 소스 충실도 비교, 대화 및 퀴즈 감사를 보고합니다. 몇몇 더 큰 모델들은 강의실 속도 기준을 통과하지 못했으나, 12B 모델과 7B 대안 모델은 통과했습니다. 별도의 전문가 혼합(MoE) 후보 모델은 일부 수정을 개선했으나 새로운 사실적 오류 및 연속성 오류를 야기했습니다. 따라서 8B 모델이 보편적으로 최적이라고 주장하기보다는 전반적인 개선이 입증될 때까지 기존 8B 프로덕션 모델을 유지합니다. 소프트웨어 변경을 통해 강좌 범위를 보존하면서 후속 주제 해결을 개선했으며, 65개 모듈에 걸친 435개의 사전 구축된 질문을 통해 실시간 생성과 연습 문제를 분리했습니다. 이 결과는 모델 선택, 근거 선택, 서빙 호환성, 제품 설계를 통합적인 엔지니어링 의사결정으로 다루어야 함을 뒷받침합니다. 다만 학습 효과가 입증된 것은 아니며, 교수진 평가, 피크 부하 용량, 완전한 퍼블릭 게이트웨이 수용성은 여전히 별도의 평가 과제로 남아 있습니다.
빠르고 정확하게: RAG와 미세조정 간 의미적 집중 기반 워크로드 분할을 통한 개인화 LLM 성능 개선
Fast and Accurate: Improving Personalized LLM Performance by Semantic Concentration Inspired Workload Split between RAG and Fine-Tuning
개인화된 대규모 언어 모델(LLM) 서비스가 지속적으로 증가함에 따라, 다음으로 답해야 할 질문은 서비스/사용자 경험의 품질을 어떻게 개선할 것인가이며, 이는 개인화된 LLM 생성 정확도/품질과 추론 지연시간으로 나타난다. 매개변수 효율적 미세조정(PEFT), 검색-증강 생성(RAG) 또는 Full PEFT+RAG와 같은 최신 설계들이 도움이 될 수 있지만, 이들은 사용자 이력 데이터의 이질적인 의미적 집중도(semantic concentration)를 대체로 무시하며 개인화된 LLM 성능 향상을 위한 개인 데이터의 잠재력을 완전히 끌어내지 못한다. 본 논문에서는 사용자의 개인 이력 데이터의 의미적 집중을 활용하여 PEFT와 RAG 간에 워크로드를 분할함으로써, 더 나은 생성 정확도/품질과 더 낮은 추론 지연시간 측면에서 개인화된 LLM 성능을 개선하는 것을 목표로 하는 새로운 "빠르고 정확한" 접근법인 PEFT Union RAG(PUR)를 제안한다. 간단히 말해, PUR는 사용자의 개인 이력 데이터를 분할하여 의미적으로 집중된 "핵심(core)" 정보는 오프라인 매개변수 미세조정을 위해 PEFT에 할당하고, 분산된 정보는 RAG를 위해 유지한다. 온라인 LLM 추론 중에는, PUR는 PEFT 영역이 커버하는 "핵심" 질의에 대해서는 직접 응답을 생성하고, 산발적인 "주변부(peripheral)" 질의에 대해서만 RAG를 호출한다. 실험 결과, PEFT와 RAG 간 워크로드를 적절히 분할함으로써 PUR는 여러 작업에 걸쳐 다양한 사용자에 대해 일관되게 최상의 생성 정확도/품질을 달성하는 동시에, 최고 성능 방법 대비 추론 지연시간을 14.4%–46.6% 감소시킨다.
Web$hell: 에이전틱 웹 접근을 위한 통합 인터페이스
Web$hell: A Unified Interface for Agentic Web Access
대규모 언어 모델(LLM) 에이전트가 오픈 웹의 직접적인 사용자가 되어가고 있습니다. 에이전트가 점점 더 복잡하고 정보 집약적인 작업을 수행함에 따라, 효과적인 웹 접근은 에이전틱(agentic) 문제 해결을 위한 핵심 역량이 되고 있습니다. 기존 접근법들은 검색-증강 에이전트, 브라우저 기반 에이전트, 그리고 최근의 파일시스템 기반 에이전트 등 다양한 접근 모델을 통해 에이전틱 웹 접근을 발전시켜 왔습니다. 그럼에도 불구하고, 사용자들이 에이전트에게 장기적인(long-horizon) 엔드투엔드 작업 완수를 기대함에 따라 단일 경로(trajectory) 내에서 광범위한 정보 수집을 수행하고, 브라우저 작업을 실행하며, 획득한 근거를 다시 검토해야 할 필요성이 점점 커지고 있습니다. 그러나 본 논문의 예비 분석 결과, 기존 접근 모델들은 이러한 요구를 충족하는 데 어려움을 겪는 것으로 나타났습니다. 기존 모델들은 주로 정보 수집이나 브라우저 상호작용 중 한 가지만 지원하며, 이 두 가지 역량을 결합할 경우 상당한 비용이나 성능 트레이드오프가 발생할 수 있습니다. 이를 위해 본 연구에서는 단일 접근 모델 하에서 웹 접근을 통합하는 인터페이스인 Web$hell을 제안합니다. WebContract가 정의한 공통 스키마를 사용하여, WebCompiler는 실시간 웹페이지를 주소 지정 가능한 정보 및 행동 객체로 컴파일합니다. 이러한 객체들은 WebCache에서 유지 관리되고 공유 연산 집합을 통해 처리되어 에이전트에 일관되고, 조작 가능하며, 영속적인 웹 접근을 제공합니다. 웹 검색, 웹 내비게이션, 딥 리서치 벤치마크에 걸친 광범위한 실험을 통해, Web$hell이 더 낮은 비용으로 뛰어난 작업 성능을 달성함을 입증합니다. 또한 본 연구 결과는 효과적인 웹 접근을 위한 인터페이스 설계의 중요성을 시사하며, Web$hell이 웹상에서 더 유능하고 효율적인 LLM 에이전트를 구축하기 위한 새로운 가능성을 열어줍니다.
LLM 질의 확장을 위한 부분열-연관성 필터링과 범위 인지 선택을 통한 환각 용어 추적 및 제어
Tracing and Taming Hallucinated Terms via Subsequence-Association Filtering and Breadth-Aware Selection for LLM Query Expansion
대규모 언어 모델(LLM)은 이제 질의 확장 용어의 표준적인 소스가 되었지만, 환각(hallucination)을 일으킨다. LLM은 존재하지 않는 개체와 주제에서 벗어난 용어를 삽입하여 순위화 노이즈를 추가하고 강력한 검색기(retriever)의 성능을 저해할 수 있다. 코퍼스 그라운딩(corpus grounding), 상호 검증(mutual verification), 선호도 정렬(preference alignment)과 같은 기존의 해결책들은 환각된 용어를 일치성 휴리스틱으로 걸러내야 할 미분화된 골칫거리로 취급하며, 특정 용어가 왜 나타나는지에 대한 메커니즘적 설명이나 몇 개의 용어를 유지해야 하는지에 대한 원칙적인 기준을 제시하지 않는다. 우리는 환각의 부분열-연관성(subsequence-association) 설명에 기반한, 학습이 필요 없고(training-free) 검색기에 구애받지 않는(retriever-agnostic) 방법인 부분열-연관성 필터링 기반 범위 인지 질의 확장(Subsequence-Association Filtered, breadth-aware query expansion, SAFE-QE)을 제안한다. 우리는 각 후보 확장 용어를 코퍼스 조건부 교차 문맥(cross-context) 재현성으로 점수화하며, 무작위화된 질의 맥락에서는 반복적으로 나타나지만 유사 관련 집합(pseudo-relevant set)에서는 근거가 부족한 용어는 지배적인 환각 연관성의 산물로 표시되어 가중치가 낮아진다. 언어 생성을 일관성(consistency, 환각 없음)과 범위(breadth, 커버리지) 사이의 트레이드오프로 특성화한 것에 기반하여, 우리는 용어 선택을 유사 관련 집합에 대한 제약된 커버리지 최대화 문제로 설정하며, 재샘플링에도 대략적으로 넓으면서도 일관되고 안정적인 집합을 유지한다. 또한 우리는 관련 문서가 뒷받침하지 않는 삽입된 확장 용어의 수를 세는 질의 측 충실도(faithfulness) 지표인 환각 확장 용어율(Hallucinated Expansion Term Rate)을 도입한다. 우리는 벤치마크된 TREC 및 BEIR 컬렉션에서 우리의 접근법을 평가한다. 우리의 SAFE-QE는 nDCG@10에서 생성적 확장 및 코퍼스 유도 확장과 통계적으로 구별되지 않으면서, 질의당 지지되지 않는 용어는 더 적게 삽입하며(SAFE-QE 4.3개 대 Query2doc 27.8개, HyDE 57.5개), 모든 확장 방법이 성능 저하를 보이는 강력한 학습된 희소 검색기(learned sparse retriever)에서도 마찬가지이다. 따라서 충실도는 순위화 품질에서 측정 가능한 비용 없이 얻을 수 있다.
빠른 모델, 느린 증거: LLM 에이전트 하네스를 위한 시스템 1 의사결정 모델의 쌍체 및 자체 감사 평가
Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses
에이전트 하네스는 작업당 여러 가지 작고 정형화된 결정을 내립니다. 어떤 모델을 호출할지, 어떤 도구를 사용할지, 검색된 텍스트가 관련성이 있는지, 입력에 인젝션 공격이 포함되어 있는지 등이 이에 해당합니다. 시스템 1(System-1) 의사결정 모델은 클래스 확률을 통해 단 한 번의 순전파(forward pass)만으로 이러한 질문에 답하므로 대규모 언어 모델(LLM) 호출 대비 비용과 지연 시간을 대폭 절감할 수 있을 것으로 기대됩니다. 본 연구에서는 18개 공개 소스로부터 구축된 11개 에이전트 결정 지점에 대해 오픈 가중치 모델(Laya)과 호스팅 모델(Jev) 시스템 1 모델의 쌍체 평가(paired evaluation)를 제시합니다. 이는 바이트 단위로 동일한 입력, 쌍체 검정, 하드웨어 간 및 일자 간 재현성 검증을 거친 7,283개의 기본 케이스와 6,640개의 견고성 변형 케이스를 포함합니다. Jev는 11개 결정 지점 중 9개에서 유의미하게 더 높은 정확도를 보였습니다(+10.8 ~ +46.0%p). 제로샷(zero-shot) 모델 라우팅에서는 두 모델 모두 무작위 확률을 넘어서지 못했으며, 검색-증강 생성(RAG) 관련성 게이팅에서는 동률을 기록했습니다. Laya는 선택지 순서가 뒤바뀌었을 때 답변의 30%를 바꾸었으며, 후보 수가 많거나 유사할 때 성능이 급격히 저하되었습니다(정답 도구가 유일한 항목에서 Jev가 98%를 기록한 반면, Laya는 50개 최근접 이웃 도구 조건에서 31% 기록). 또한 본 연구에서는 자체 파이프라인에 대한 감사도 수행했습니다. 세 가지 분석 오류와 한 가지 설계 혼란 변수가 주요 배포 관련 주장을 왜곡했습니다. 즉, 생략된 사전 스크리닝 비용(보고된 23.9% 절감, 실제로는 4.3%), 엔드투엔드 품질로 보고된 게이트 정확도(58% 대 98%), 표본 내 임계값(목표치 5%, 미학습 검증 데이터 누락률 최대 17%), 그리고 채널 고유 콘텐츠 환경에서는 사라지는 인젝션 오탐(false positive)에 대한 "채널 효과"가 확인되었습니다. 다른 두 가지 의심된 혼란 변수는 결론을 바꾸지 않았습니다. 모든 케이스, 원시 출력 및 분석 코드는 https://github.com/David-DL-Space/sys1-eval 에서 확인할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.