타당성 인식 생의학 AI를 위한 정량적 증거 마이닝: 서술적 리뷰 및 개념적 프레임워크
Quantitative Evidence Mining for Plausibility-Aware Biomedical AI: A Narrative Review and Conceptual Framework
한국어 초록
생의학 인공지능은 문헌 검색에서 지식 그래프, 임상 의사결정 지원, 계산 모델을 위한 증거 종합(evidence synthesis)으로 나아가고 있다. 그러나 대부분의 정보 추출(information extraction) 시스템은 여전히 발견을 단순 관계로만 표현하여, 해석과 재사용에 필요한 정량적·맥락적 세부를 버린다. 한 개체가 다른 개체에 영향을 준다는 주장만으로는 크기(magnitude), 단위, 대상 집단, 비교군(comparator), 실험 조건, 불확실성, 출처(provenance)가 빠져 있으면 부족하다. 우리는 생의학적 발견을 구조화되고 맥락이 풍부하며 감사 가능한(auditable) 증거 단위(evidence unit)로 변환하는 프레임워크로서 정량적 증거 마이닝(quantitative evidence mining)을 정의한다. 증거 단위의 핵심 요소로 주장, 측정 대상 개체와 속성, 값·단위·척도, 비교군, 대상 집단, 생물학적·임상적 조건, 시간적 맥락, 불확실성, 출처, 검증 결과, 전문가 검토 상태를 둔다. 코퍼스 선정, 개체 인식, 수량 추출, 맥락 연결, 정규화, 증거 단위 조립, 다차원 타당성(plausibility) 평가, 내보내기 및 거버넌스에 이르는 8단계 참조 아키텍처를 제안한다. 핵심 원칙은 타당성을 단일 진리 레이블로 축약하지 않아야 한다는 것이다. 통계적, 생물학적, 방법론적, 맥락적, 출처 기반 지지는 명시적으로 남겨 두어야 한다. 이 프레임워크는 정보 추출을 증거 종합 및 계산적 재사용과 연결하며, 임상시험 분석, 바이오마커 연구, 약물 감시(pharmacovigilance), 지식 그래프 구축, 기전 모델링(mechanistic modelling)에 적용할 수 있다. 이는 검증된 end-to-end 시스템이라기보다 연구 의제(research agenda)이다. 진전을 위해서는 주석이 달린 멀티모달 벤치마크, 엄격한 구성 요소·워크플로 수준 평가, 전향적 시험, 투명한 출처, 지속적인 전문가 감독이 필요할 것이다.
원문 초록
Biomedical artificial intelligence is moving from literature retrieval toward evidence synthesis for knowledge graphs, clinical decision support, and computational models. Yet most information-extraction systems still represent findings as simple relations, discarding the quantitative and contextual detail needed for interpretation and reuse. A claim that one entity affects another is insufficient when the magnitude, unit, population, comparator, experimental conditions, uncertainty, and provenance are missing. We define quantitative evidence mining as a framework for transforming biomedical findings into structured, context-rich, and auditable evidence units. We define the core elements of an evidence unit: the claim; measured entity and property; value, unit, or scale; comparator; population; biological or clinical conditions; temporal context; uncertainty; provenance; validation results; and expert-review status. We propose an eight-stage reference architecture spanning corpus selection, entity recognition, quantity extraction, context linking, normalization, evidence-unit assembly, multidimensional plausibility assessment, and export and governance. A central principle is that plausibility should not be collapsed into a single truth label; statistical, biological, methodological, contextual, and provenance-based support should remain explicit. The framework links information extraction to evidence synthesis and computational reuse, with applications in clinical-trial analysis, biomarker research, pharmacovigilance, knowledge-graph construction, and mechanistic modelling. It is a research agenda rather than a validated end-to-end system. Progress will require annotated multimodal benchmarks, rigorous component- and workflow-level evaluation, prospective testing, transparent provenance, and sustained expert oversight.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.30393v2제출 시각 미확인
- arXiv:2608.30393v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
HG-RAG: 구조화된 지식 그래프를 위한 계층 유도 검색-증강 생성
HG-RAG: Hierarchy-Guided Retrieval-Augmented Generation for Structured Knowledge Graphs
검색-증augumentation 생성(RAG)은 대규모 언어 모델(LLM)의 출력 품질을 더 넓은 컨텍스트로 향상시키는 데 널리 성공적인 방법으로 입증되었다. 그러나 RAG 시스템은 일반적으로 평면(flat) 문서 저장소에서 컨텍스트를 검색하며, 쿼리가 구조화된 지식을 가로질러 계층적 또는 관계적 추론을 요구할 때 어려움을 겪는다. 본 연구는 계층적 지식 그래프에 대한 그래프 순회(graph-traversal)를 수행하여 언어 모델에 구조화된 컨텍스트를 제공하는 프레임워크인 HG-RAG(Hierarchy-Guided RAG)를 제안한다. 검색 파이프라인은 쿼리에서 명명된 개체(named entity) 앵커를 해석한 뒤, 필요에 따라 부모 노드를 따라 위로, 관계 이웃을 통해 옆으로, 자식 노드를 통해 아래로 컨텍스트를 확장한다. HG-RAG를 세 가지 세계 규모(18–800개 노드)와 네 가지 쿼리 유형(지역 사실, 계층적, 이웃, 다중 홉)에 걸쳐 밀집 검색 기준선과 비교 평가하였다. 결과에 따르면 HG-RAG는 계층적·관계적·다중 홉 추론 과제에서 평면 기준선을 지속적으로 능가하며, 환각을 줄이고 지역성 일관성(locality coherence)을 유지한다.
SmartRAG: 모바일 기기용 네이티브 그래프 기반 RAG
SmartRAG: Native Graph-Based RAG for Mobile Device
모바일 기기에서 대규모 언어 모델(LLM)을 개인 비서로 배포하려면 프라이버시, 낮은 지연 시간, 오프라인 사용 가능성이 요구되지만, 거대 모델의 계산 비용은 엄격한 엣지 하드웨어 예산과 충돌한다. 우리는 이러한 긴장을 모델 압축만으로는 해결할 수 없으며, 온디바이스 지능을 상호 보완적인 기능적 역할로 분해해야 한다고 주장한다. 우리는 Perception, Memory, Focus, Thinking이라는 네 개의 조율된 모듈을 중심으로 지능형 비서를 구성하는 완전 온디바이스 프레임워크인 SmartRAG를 제안한다. SmartRAG의 핵심은 EvoNER로, 교사 증류(teacher-distilled) 업데이트를 통해 레이블 인벤토리를 점진적으로 확장하는 지속적으로 학습 가능한 개체명 인식기(named-entity recognizer)이다. 이를 통해 시스템은 백본 LLM을 재학습하지 않고도 이전에 보지 못한 개체 유형을 흡수할 수 있다. 추출된 지식은 출처를 보존하는 3층 지식 그래프인 MRGraph에 저장되며, 쿼리 시 그래프 순회, 어휘 매칭, 밀집 의미 검색(dense semantic search)을 결합한 하이브리드 파이프라인을 통해 검색된다. 온디바이스 LLM은 라벨링, 계획, 답변 합성과 같은 고가치 의미 연산에만 호출되어 추론 비용을 제한된 범위 내에 유지한다. TriviaQA, Natural Questions, HotpotQA, MultiHopQA 네 가지 QA 벤치마크에서의 실험 결과, 양자화된 1.7B 매개변수 백본을 사용하는 SmartRAG가 최대 18배 더 큰 모델과 경쟁력 있는 다중 홉(multi-hop) 추론 성능을 달성하며, 상용 스마트폰에서 실용적인 메모리 및 지연 시간 범위 내에서 완전히 실행됨을 보여준다.
KGCQual: 텍스트로부터 구축된 지식 그래프 품질 평가를 위한 해석 가능한 프레임워크
KGCQual: An Interpretable Framework for Evaluating the Knowledge Graph Construction Quality from Text
지식 그래프(Knowledge Graph, KG)는 자동화된 추출 파이프라인을 통해 점점 더 많이 구축되고 있으나, 이러한 시스템은 종종 잘못된 또는 불완전한 트리플을 생성하여 다운스트림 성능을 저하시킨다. 기존의 평가 방식은 태스크별 메트릭이나 소규모 수동 검증에 크게 의존하여, 추출된 그래프의 구조적·의미적 충실도에 대한 통찰이 제한적이다. 우리는 자동 추출된 그래프가 소스 텍스트에 표현된 핵심 명사구, 술어 관계, 부정과 같은 기본적인 언어 현상을 포착하는 "이상적인" 그래프에 얼마나 근접하는지를 측정하는, 새로운 해석 가능한 내재적 KG 품질 평가 메트릭을 제안한다. 우리의 프레임워크는 두 가지 상호보완적인 구성 요소를 통합한다: (1) 완전성, 해소 품질, 연결성을 평가하는 엔티티 수준 평가, (2) 어휘 유사도, 의존 파싱 정렬, 경량 부정 처리를 활용하여 의미적 충실도를 보장하면서 술어 보존 및 다중성을 판단하는 관계 수준 평가. 우리는 WebNLG, TinyButMighty, BenchIE를 포함한 여러 최신 트리플 추출 시스템과 데이터셋에 걸쳐 메트릭을 평가하여, 기존 메트릭이 간과하는 누락, 중복, 구조적 편차를 신뢰성 있게 식별함을 입증한다. 본 연구는 자동화된 KG 구축 방법을 비교하기 위한 확장 가능하고 모델 비의존적이며 해석 가능한 프레임워크를 제공하며, 표준화된 평가의 토대를 마련한다. 또한 명사 및 동사 구성 요소를 분리하는 에블레이션 연구와, KGCQual 점수가 동일한 추출 KG에서의 링크 예측 성능과 유의미한 상관관계를 보임을 보여주는 다운스트림 평가를 통해 메트릭을 추가적으로 검증한다. 코드 저장소는 https://github.com/kracr/kg-quality-metric 에서 확인할 수 있다.
언어 모델은 위키피디아 게임을 플레이할 수 있는가?
Can Language Models Play the Wikipedia Game?
언어 모델은 색인하기에 너무 방대한 문서 집합에서 정보 검색을 지원하거나 자동화하는 데 점점 더 많이 활용되고 있습니다. 이 작업은 전문적인 언어학적 또는 과학적 지식을 요구할 때 어려워집니다. 본 연구에서는 유사한 정보 검색 작업에서 언어 모델을 테스트하기 위해 위키피디아 게임(Wikipedia Game)을 활용했습니다. 이 게임에서 플레이어는 오직 문서 내 링크만을 사용하여 목표 문서에 도달해야 합니다. 5개 언어의 위키피디아와 5개의 학술 문헌 데이터셋에 걸쳐 문장 임베딩(embedding) 모델(model)과 대규모 언어 모델(LLM)들을 비교했습니다. OpenAlex를 사용하여 위키피디아 페이지 및 논문 인용으로 이루어진 초대형 로컬 그래프를 구축하고, 이를 생성하고 탐색할 수 있는 코드를 제공합니다. 이를 통해 서드파티 API에 의존하지 않고도 언어 모델의 탐색 능력을 연구할 수 있습니다. 또한 해당 모델들을 인간 및 TF-IDF 벤치마크와 비교했습니다. 위키피디아 게임 형식은 다양한 기법, 언어 및 도메인 전반에 걸쳐 강력한 비교를 가능하게 합니다. 가장 우수한 모델들(GPT-o3 mini, GPT-4o, QwQ:32B, DeepSeek-R1:70B)이 인간에 필적하는 성공률을 달성했으나, 인간을 유의미하게 능가한 모델은 없었습니다. 성능과 순위는 언어와 주제에 따라 다양하게 나타났으며, 이는 이러한 기법을 활용하는 실무자들에게 시사점을 제공합니다.
UniDataAgent: 기업 질문-보고서 자동화를 위한 온톨로지 그라운딩 에이전트
UniDataAgent: An Ontology-Grounded Agent for Enterprise Question-to-Report Automation
기업 데이터 에이전트(agent)는 단순히 질문을 쿼리로 변환하는 것을 넘어 조직 고유의 의미 체계(semantics)를 보존해야 합니다. 본 논문에서는 의미 체계 획득과 온라인 실행을 분리하여 재사용 가능한 질문-보고서 분석을 수행하는 온톨로지 그라운딩(ontology-grounded) 시스템인 ChinaUnicom DataAgent(UniDataAgent)를 소개합니다. 온톨로지 획득 및 검증(OAV) 단계에서는 전문가가 작성한 비즈니스 스킬, 제약된 생성, 질문 검증, 선별된 전문가 검토를 통해 메타데이터, 비즈니스 지식, 지원 자료로부터 버전 관리되는 기업 온톨로지를 구축합니다. 질문-보고서 실행(QRE) 단계에서는 각 질문에 대한 의미적 계약(semantic contracts)을 검색하고, 스킬과 데이터 툴을 조율하며, 결과를 검증하고 근거가 연결된 보고서를 생성합니다. 27개 기업 테이블과 대략 수천 가지 지표 유형에 걸쳐, 온톨로지 구축에는 수작업으로 약 1주일이 걸리던 작업이 불과 몇 시간밖에 걸리지 않았습니다. 보고서 생성에는 며칠의 근무일 대신 단 몇 분밖에 걸리지 않았습니다. 온톨로지 그라운딩은 실제 비즈니스 질문에 대해 95.0%의 엄격한 정확도(strict accuracy)를 달성하여 문서 기반 검색-증강 생성(RAG)의 72.5%와 대조를 보였으며, 특히 정형 및 조합형(compositional) 태스크에서 두드러졌습니다. 이 시스템은 이미 배포되어 비용 절감 효과를 창출하고 있으며 다른 기업으로 복제될 수 있는 잠재력을 지니고 있습니다.
TAGGRAPH: 에이전트 지속 이력의 그래프 검색을 위한 태그 증강 그래프
TAGGRAPH: Tag-Augmented Graphs for Graph Retrieval of Agent Persistent Histories
장기 기억은 대규모 언어 모델(LLM) 에이전트(agent)가 과거의 상호작용을 기억하고 세션 전반에서 일관성을 유지할 수 있게 해 주지만, 메모리 시스템은 표현, 인덱싱, 검색, 평가 방식이 서로 달라 비교하기가 어렵습니다. 본 논문에서는 공유된 5W(육하원칙) 스타일의 대화형 메모리를 기반으로 하는 통제된 평가 프레임워크를 제시합니다. 국소적 그래프 구성은 공통의 기본 그래프를 순회하며, AdaptiveGraph는 시간순 엣지와 개인화된 페이지랭크(Personalized PageRank) 확산을 추가합니다. 또한 동일하게 추출된 노트에 대한 BM25와 원시 입력을 사용하는 외부 기준선인 OpenClaw를 평가합니다. 검색 순위는 메모리 설정에 따라 달라집니다. LongMemEval-S에서 AdaptiveGraph는 MRR 0.844로 가장 우수한 그래프 구성을 보였으나, BM25는 0.867, OpenClaw는 0.880에 달했습니다. ATANT Core에서는 국소적 그래프 순회가 확산 및 BM25보다 우수한 성능을 보인 반면, 스트레스 라운드에서는 BM25가 앞섰습니다. 테스트된 범위 내에서 LongMemEval-S의 크기를 줄여도 ATANT 확산 패널티가 재현되지 않았으나, 테스트된 가장 작은 저장소도 ATANT Core보다 여전히 컸기 때문에 저장소 크기 영향을 배제할 수 없습니다. 이 패널티는 관대한 콘텐츠 일치 기준 하에서도 지속되었습니다. 어휘 정규화(normalization)와 추출 품질은 그래프 검색에 실질적인 영향을 미치며, 상위 5위권 실패 사례에서는 추출 태그 누락이 흔하게 나타났습니다. 따라서 검색 전략은 메모리 설정과 함께, 그리고 강력한 어휘 기반 기준선과 대조하여 공동으로 평가되어야 합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.