더 많은 근거가 오히려 독이 될 때: 생물의학 인과 탐색을 위한 출판 편향 표류와 원칙적 탐색 중단
When More Evidence Hurts: Publication-Bias Drift and Principled Stopping for Biomedical Causal Search
한국어 초록
자동화된 생물의학 근거 합성은 출판된 연구들을 검색하는 것에 의존하지만, 생물의학 문헌은 체계적으로 긍정적인 결과 쪽으로 편향되어 있습니다. 따라서 검색을 더 깊이 수행할수록 실제 효과가 없을 때(null) 시스템이 이점이 있다고 잘못 추론할 가능성이 오히려 \emph{더} 높아질 수 있습니다. 본 연구에서는 이러한 현상을 \emph{근거 표류(evidence drift)}로 정의하고, 표준적인 출판 바이어스(publication-bias) 모델 하에서 영효과(null-effect) 질의에 대한 위양성 확률이 검색 깊이에 따라 엄격히 증가하는 대표본 포락선을 따르며 1에 가까워짐을 증명합니다. 실증적으로 140개의 코크란(Cochrane) 기반 질의로 구성된 홀드아웃 테스트 세트에서 검색 예산이 3단계에서 20단계로 증가함에 따라 표류는 7.9\%에서 15.7\%로 단조 증가하며 영효과 클래스에 집중됩니다. 본 논문에서는 PubMed 초록으로부터 인과 지식 그래프를 점진적으로 구축하고 상호 보완적인 역할을 수행하는 2계층 중단 정책을 적용하는 표류 인식 인과 그래프 에이전트(agent)인 DACG-agent를 제시합니다. 이 정책은 사후 수렴(convergence)을 감지하는 KL-발산 모니터(정확도 층)와 근거 품질이 정점에 도달하면 검색을 중단시키는 온라인 저하 감지 브래들리-테리(Bradley--Terry) 프로세스 보상 모델(PRM, 효율성 층)로 구성됩니다. 전체 예산을 사용하는 검색 대비, DACG-agent는 검색 단계를 67\% 적게 사용하면서도 근거 표류를 15.7\%에서 6.4\%로 줄이고 영효과 정확도를 21%포인트(40.0\%$\to$61.4\%) 향상시키며, 전반적인 정확도는 61.4\%에서 69.3\%(95\% CI 61--77)로 증가합니다. 시뮬레이션을 통해 표류 결과가 분석에 사용된 투표 집계(vote-counting) 애그리게이터에서 실제 배포된 noisy-OR 애그리게이터로도 전이됨을 확인했습니다.
원문 초록
Automated biomedical evidence synthesis depends on retrieving published studies, but the biomedical literature is systematically skewed toward positive findings. Deeper retrieval can therefore make a system \emph{more} likely to falsely infer benefit when the true effect is null. We formalise this phenomenon as \emph{evidence drift} and prove that, under a standard publication-bias model, the false-positive probability on null-effect queries follows a strictly increasing large-sample envelope in retrieval depth, approaching one. Empirically, on a held-out test set of 140 Cochrane-derived queries, drift rises monotonically from 7.9\% to 15.7\% as the retrieval budget grows from 3 to 20 steps, and concentrates in the null-effect class. We present DACG-agent, a drift-aware causal-graph agent that incrementally builds a causal knowledge graph from PubMed abstracts and applies a two-layer stopping policy with complementary roles: a KL-divergence monitor that detects posterior convergence (the accuracy layer), and a Bradley--Terry process reward model (PRM) whose online decline detection halts retrieval once evidence quality peaks (the efficiency layer). Against full-budget retrieval, DACG-agent reduces evidence drift from 15.7\% to 6.4\% and improves null-effect accuracy by 21 percentage points (40.0\%$\to$61.4\%) while using 67\% fewer retrieval steps; overall accuracy rises from 61.4\% to 69.3\% (95\% CI 61--77). A simulation confirms the drift result transfers from the analysed vote-counting aggregator to the deployed noisy-OR one.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.24101v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
TAGGRAPH: 에이전트 지속 이력의 그래프 검색을 위한 태그 증강 그래프
TAGGRAPH: Tag-Augmented Graphs for Graph Retrieval of Agent Persistent Histories
장기 기억은 대규모 언어 모델(LLM) 에이전트(agent)가 과거의 상호작용을 기억하고 세션 전반에서 일관성을 유지할 수 있게 해 주지만, 메모리 시스템은 표현, 인덱싱, 검색, 평가 방식이 서로 달라 비교하기가 어렵습니다. 본 논문에서는 공유된 5W(육하원칙) 스타일의 대화형 메모리를 기반으로 하는 통제된 평가 프레임워크를 제시합니다. 국소적 그래프 구성은 공통의 기본 그래프를 순회하며, AdaptiveGraph는 시간순 엣지와 개인화된 페이지랭크(Personalized PageRank) 확산을 추가합니다. 또한 동일하게 추출된 노트에 대한 BM25와 원시 입력을 사용하는 외부 기준선인 OpenClaw를 평가합니다. 검색 순위는 메모리 설정에 따라 달라집니다. LongMemEval-S에서 AdaptiveGraph는 MRR 0.844로 가장 우수한 그래프 구성을 보였으나, BM25는 0.867, OpenClaw는 0.880에 달했습니다. ATANT Core에서는 국소적 그래프 순회가 확산 및 BM25보다 우수한 성능을 보인 반면, 스트레스 라운드에서는 BM25가 앞섰습니다. 테스트된 범위 내에서 LongMemEval-S의 크기를 줄여도 ATANT 확산 패널티가 재현되지 않았으나, 테스트된 가장 작은 저장소도 ATANT Core보다 여전히 컸기 때문에 저장소 크기 영향을 배제할 수 없습니다. 이 패널티는 관대한 콘텐츠 일치 기준 하에서도 지속되었습니다. 어휘 정규화(normalization)와 추출 품질은 그래프 검색에 실질적인 영향을 미치며, 상위 5위권 실패 사례에서는 추출 태그 누락이 흔하게 나타났습니다. 따라서 검색 전략은 메모리 설정과 함께, 그리고 강력한 어휘 기반 기준선과 대조하여 공동으로 평가되어야 합니다.
중요한 것을 실현하기: 대규모 추론을 위한 원칙 기반 컨텍스트 표현
Realize What Matters: Principled Context Representation for Large-Scale Reasoning
과학, 의학, 법률, 금융 등의 영역에서 복잡한 과제를 해결하려면 종종 모델의 컨텍스트 한계를 훨씬 넘어서는 광대하고 이질적인 출처에 흩어진 상호 의존적인 정보를 조합해야 한다. 기존 접근법은 그래프, 텍스트 메모리, 검색 컬렉션 등 모델이 추론할 수 있는 더 다루기 쉬운 표현으로 정보를 구성하여 이 과제에 대응한다. 이러한 표현은 어떤 후속 추론이 가능한지, 궁극적으로 성공 여부를 좌우하지만, 그 설계와 구축은 대체로 임의적(ad hoc)으로 이루어진다. 본 연구에서는 관련성 실현(relevance realization)의 인지 이론에 기초하여, 매우 큰 컨텍스트의 효과적인 표현을 구성하는 AI 시스템 설계를 위한 구체적 원칙을 제안한다. 기존 접근법을 분석하고 그 성공과 실패가 이러한 원칙과의 정렬(alignment)에 어떻게 대응되는지 보이며, 원칙을 보다 체계적으로 실행 가능하게 하도록 설계된 하네스 R3Con을 소개한다. R3Con을 대규모 문서 코퍼스에 대한 추론을 다룬 최근 벤치마크 두 개에서 아홉 개의 최신 기준선과 비교 평가한다. 이 벤치마크에서 R3Con은 가장 강한 기준선보다 각각 20 및 8.4 퍼센트포인트만큼 크게 우수한 성능을 보인다. 또한 더 작은 모델이 훨씬 큰 모델보다 나은 성능을 내도록 한다: 4B 및 9B 모델을 사용한 R3Con은 평가된 모든 35B 기준선을 능가하고, 35B-A3B 모델을 사용한 R3Con은 Claude-Sonnet-5를 사용한 Claude Code보다 3.7배 낮은 비용으로 더 나은 성능을 보인다. 결과는 우리의 원칙적 접근을 따르는 컨텍스트 표현이 모델 규모에 대한 의존을 줄일 수 있음을 보여주며, 더 작은 모델로 구동되는 프론티어 수준 성능의 AI 시스템의 미래를 가리킨다. 코드는 https://github.com/michaeltheologitis/r3con 에서 제공된다.
실패로부터의 학습: 소형 언어 모델 도구 사용 에이전트를 위한 이종 그래프 메모리
Learning from Failures: Heterogeneous Graph Memory for Small Language Model Tool-Using Agents
중소형 언어 모델(language model)은 도구 사용 에이전트(agent)를 위한 비용 효율적인 실행자 역할을 하여 로컬 및 대규모 배포에 매력적인 선택지입니다. 그러나 장기적(long-horizon)이고 상태를 유지하는(stateful) 환경에서 이러한 모델(model)들은 필수적인 관측 누락, 조기 쓰기 수행, 실패한 호출 반복, 행동 전제 조건 위반과 같은 구조적 오류를 자주 범합니다. 이러한 오류는 잘못된 상태 업데이트, 정책 위반, 그리고 많은 비용이 들거나 되돌릴 수 없는 결과로 이어질 수 있어, 신뢰할 수 있는 도구 실행이 핵심적인 배포 과제가 됩니다. 기존의 미세조정(fine-tuning) 접근 방식은 상당한 양의 데이터와 연산을 필요로 하며, 평면적 메모리(flat memory)는 인과적 맥락이나 안전성(safety) 조건을 보존하지 못한 채 실패한 행동을 검색할 수 있습니다. 본 논문에서는 과거의 성공과 실패를 도구 사용 에이전트를 위한 구조화된 외부 경험으로 변환하는, 경험 구조화 이종 그래프 기반 실패 인지 검색 프레임워크인 FRESH(Failure-aware Retrieval framework over Experience-Structured Heterogeneous graphs)를 제안합니다. FRESH는 태스크, 행동, 오류, 복구, 실행 조건 간의 의존성을 명시적으로 모델링함으로써, 동결된(frozen) 언어 모델이 신뢰할 수 있는 전략을 재사용하고, 반복되는 실패를 방지하며, 상태 기반 도구 상호작용에서 더 안전한 결정을 내릴 수 있도록 돕습니다. 여러 오픈소스 모델을 사용해 $\tau$-Bench 및 AppWorld에서 수행한 실험에 따르면, FRESH는 메모리가 없는 에이전트 및 대표적인 메모리 기반 베이스라인 대비 태스크 성공률과 도구 사용 신뢰성을 일관되게 향상시킵니다.
EnSIMem: 장기 에이전트 메모리를 위한 개체 구조화 색인
EnSIMem: Entity-Structured Indexing for Long-Term Agent Memory
오랜 기간 동안 사용자와 상호작용하는 에이전트는 지속적으로 증가하는 상호작용 기록에서 사실, 선호도, 사건 및 변화를 상기(recall)할 수 있어야 합니다. 기존 메모리 시스템은 상호작용을 일반적인 요약본으로 압축하거나 익명의 텍스트 청크를 검색하는 경우가 많아, 에이전트가 올바른 개체(entity), 속성(property) 및 뒷받침하는 근거를 식별하기 어렵게 만듭니다. 본 논문에서는 에이전트를 위한 개체 구조화 장기 메모리 아키텍처인 EnSIMem을 제안합니다. 오프라인 구축 단계에서 이 시스템은 상호작용을 주제 일관성을 갖는 에피소드로 구성하고, [개체][개체 유형][속성:값] 형태의 대화 기반 색인 항목을 생성합니다. 각 항목은 원래의 대화 턴(turn), 시간 정보 및 사용 가능한 멀티모달 필드를 보존합니다. 온라인 상호작용 단계에서는 에이전트의 요청이 메모리 색인과 속성이 정렬된 근거 요구사항으로 분해됩니다. 이후 개체-속성 조회 및 적응형 검색을 통해 포인트, 시간적, 구성적, 집계 추론에 필요한 근거를 수집합니다. 에이전트는 정보 손실이 있는 메모리 요약본 대신 보존된 원본 근거로부터 응답을 생성합니다. 장기 에이전트 메모리 벤치마크에서 EnSIMem은 간결한 컨텍스트와 우수한 온라인 효율성을 유지하면서도 높은 답변 정확도를 달성합니다. 이러한 결과는 개체 구조화 색인과 에피소드 수준의 출처 추적이 에이전트의 장기 메모리를 위한 신뢰할 수 있는 기반을 제공함을 보여줍니다. 모델의 코드는 https://github.com/RamonMeng/EnSIMem 에서 확인할 수 있습니다.
대규모 지식 모델: 논문에서 과학적 추론 지형으로
Large Knowledge Model: From Papers to a Scientific Reasoning Landscape
축적된 과학적 지식은 이전의 발견이 연구자들로 하여금 새로운 연구 질문을 선택하고, 조사를 설계하며, 결과를 해석하는 데 기여할 때 학문적 탐구를 발전시킵니다. 이러한 가치를 대규모로 실현하려면 연구 문제, 과학적 절차, 결론, 그리고 증거를 연결하는 추론에 접근할 수 있어야 합니다. 본 연구에서는 학술 문헌을 공유 가능하고 계산적으로 접근 가능한 추론 자원으로 변환하는 과학적 지식 인프라인 대규모 지식 모델(Large Knowledge Model, LKM)을 소개합니다. LKM은 논문을 출처에 기반한(source-grounded) 추론 그래프로 표현하고, 동일한 객체에 대한 구조적 순회(structural traversal)와 의미론적 검색(semantic retrieval)을 결합하며, 여러 논문에 걸쳐 관련된 질문, 주장 및 추론 연쇄(reasoning chains)를 정렬합니다. 이러한 표현은 세 가지 연결된 뷰로 구성된 과학적 추론 지형(Scientific Reasoning Landscape)을 형성합니다. 즉, 연구 문제와 미해결 연구 방향을 구성하는 질문 지형(Question Landscape), 재사용 가능한 과학적 절차를 제시하는 워크플로 지형(Workflow Landscape), 결론을 그에 대한 지지, 불일치 및 조건과 연결하는 증거 지형(Evidence Landscape)입니다. 이 통합된 기반은 추론을 인식하는 과학적 검색, 증거 기반 질의응답, 비교 증거 분석, 연구 계획 수립을 지원합니다. 연구자와 에이전트(agent)는 과학적 의도를 통해 관련 연구를 검색하고, 검토 가능한 뒷받침 논거를 바탕으로 답변을 종합하며, 기존 워크플로와 아직 해결되지 않은 증거를 참고하여 연구 계획을 개발할 수 있습니다. 본 연구에서는 코퍼스 규모의 시스템을 설명하고, 과학적 검색 및 지식 집약적 질의응답을 평가합니다. 답변 모델을 고정한 상태에서 LKM 검색은 ChemBench, PubMedQA, SciBench에서 각각 9.30%, 4.20%, 14.69%의 정확도 향상을 달성합니다. 지식 접근을 과학적 추론 및 행동과 연결함으로써, LKM은 관련 연구 탐색, 과학적 지식 재사용, 그리고 연구자, 에이전트, 연구 주기 전반에 걸친 누적적 탐구 조율을 위한 공통 기반을 제공합니다.
COLIEE 2026 Task 1의 ABAI: GraphRAG 강화 메타 학습 기반 다단계 검색과 교차 검증-테스트 격차에 대한 사후 분석
ABAI at COLIEE 2026 Task 1: Multi-Stage Retrieval with GraphRAG-Enhanced Meta-Learning, and a Post-Hoc Study of the Cross-Validation-to-Test Gap
본 논문은 COLIEE 2026 Task 1(판례법 검색)에 제출한 ABAI 시스템과, 해당 시스템의 성능이 기대에 못 미친 이유에 대한 통제된 분석을 제시한다. 이 과제에서는 인용된 구절 자체가 제거되어, 검색기가 의존할 수 있는 어휘적 중첩의 상당 부분이 사라진다. 이에 대응하여 우리의 파이프라인은 독립적으로 학습된 네 단계로 구성된다. 첫째, 인용 문맥 윈도우에 대한 다중 뷰 BM25와 역순위 융합(reciprocal rank fusion), 둘째, 신경망 리랭킹, 셋째, 엔티티 커뮤니티와 그래프 어텐션 네트워크(graph attention network)로부터 얻은 그래프 기반 특징, 넷째, 34개 특징에 대한 LightGBM 메타 학습기이다. 우리의 최고 성능 실행은 공식 테스트 세트에서 F1=0.177을 기록했으며, 이는 교차 검증에서의 0.311에 비해 낮다. 우리는 이 격차의 원인을 재현율(recall) 상한, 시간적 분포 변화, 임계값 보정 오류로 추정했고, 이후 세 가지를 모두 검증했다. 누수가 없는 프로토콜에서 임계값 전이에 따른 손실은 F1 0.007에 불과하고, 결정 품질은 시간순 사분위 전반에서 일정하며, 공식 테스트 질의는 두 개의 독립적인 임베딩 공간에서 학습 질의들 서로 간의 거리보다 학습 매니폴드에서 측정 가능할 만큼 더 멀지 않다. 대신 미스(miss)를 분해해 보면, 한 번도 검색되지 않은 후보와 검색되었으나 컷오프 아래로 순위가 매겨진 후보로 정확히 절반씩 나뉜다. 각 절반에 대한 해결책을 측정한 결과, BM25 길이 정규화 튜닝, 이벤트 트리플(event-triple) 뷰, 전체 콘텐츠 밀집 벡터(dense) 융합은 top-200 재현율을 3~7%p 높였고, 자기 인용 누수를 제거하면 인용 그래프 특징은 8개 시드에 걸쳐 F1을 0.014 향상시켰다. 반면 질의별 컷오프 규칙, 제로샷 리랭커 교체, 날짜 필터는 도움이 되지 않았다. 또한 프로토콜을 바로잡자 결과가 뒤집힌 네 가지 평가 아티팩트(artifact)도 함께 문서화한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.