에이전틱 하네스를 활용한 메타분석 종합용 실행 가능한 분석 지식 표현 구축
Constructing Executable Analytical Knowledge Representations for Meta-Analysis Synthesis Using an Agentic Harness
한국어 초록
메타분석 종합(meta-analysis synthesis)은 지식 기반 과학 분석에서 근본적인 과제를 부각합니다. 구조화된 증거 자체만으로는 실행 가능한 계산에 필요한 분석 지식을 나타내지 못한다는 점입니다. 증거 할당, 분석적 대비, 결과 및 시점 정렬, 효과 크기(effect-size) 공식화, 방법론적 허용 가능성에 대한 결정은 통계적 실행 전에 명시되어야 합니다. 기존의 자동화 접근 방식은 이러한 결정을 독립적으로 검증 가능한 지식으로 표현하기보다는 모델(model) 출력, 생성된 코드 또는 워크플로 추적 내에 내재시키는 경우가 많습니다. 본 논문에서는 구조화된 증거를 실행 가능한 메타분석으로 변환하는 데 필요한 지식을 기계가 실행 가능한 형태로 나타낸 EAKR(Executable Analytical Knowledge Representation, 실행 가능한 분석 지식 표현)을 제안합니다. EAKR은 증거, 관계, 수치 입력, 제약 조건, 출처(provenance) 및 해결되지 않은 문제를 표현합니다. 저자들은 대규모 언어 모델(LLM)이 구조화된 업데이트를 제안하고 결정론적 서비스가 스키마 및 계약 기반 검증(validation)과 실행을 제어하는 에이전틱 하네스인 MetaSynDec을 통해 EAKR을 구현합니다. 58개의 종합 단위에 걸쳐 MetaSynDec은 모든 EAKR을 구축했으며, 그중 57개가 통계적 실행 단계로 진행되었습니다. 참조 분석 객체를 정의하기에 충분한 정보를 가진 56개 단위 중 38개(67.9%)에서 완전한 객체 충실도를 달성했고, 42개(75.0%)에서 정확한 증거 세트 일치를 보였으며 평균 자카드 유사도(Jaccard similarity)는 0.909를 기록했습니다. 생성된 신뢰구간과 발표된 신뢰구간은 55개 단위 중 54개(98.2%)에서 겹쳤습니다. MetaSynDec은 참조 종합-구조 일치(58개 중 57개 대 58개 중 23개; p<0.001) 및 공동으로 완료된 23개 단위 중 정확한 참조-공식화 일치(23개 중 23개 대 23개 중 1개; p<0.001)에서 직접 LLM 생성 방식보다 우수한 성능을 보였습니다. 이러한 연구 결과는 EAKR이 직접 LLM 생성 방식에 비해 형식적 검증, 추적 가능성, 통계적 실행, 그리고 향상된 방법론적 일치를 지원한다는 타당성 증거를 제공합니다.
원문 초록
Meta-analysis synthesis highlights a fundamental challenge in knowledge-based scientific analysis: structured evidence does not by itself represent the analytical knowledge required for executable computation. Decisions about evidence assignment, analytical contrasts, outcome and time-point alignment, effect-size formulation, and methodological admissibility must be explicit before statistical execution. Existing automated approaches often embed these decisions in model outputs, generated code, or workflow traces rather than representing them as independently verifiable knowledge. We introduce the Executable Analytical Knowledge Representation (EAKR), a machine-actionable representation of the knowledge required to transform structured evidence into executable meta-analysis. An EAKR represents evidence, relations, numerical inputs, constraints, provenance, and unresolved issues. We operationalise EAKR in MetaSynDec, an agentic harness in which large language models propose structured updates and deterministic services govern schema- and contract-based validation and execution. Across 58 synthesis units, MetaSynDec constructed all EAKRs, with 57 proceeding to statistical execution. Of 56 units with sufficient information to define a reference analysis object, 38 (67.9%) achieved complete object fidelity and 42 (75.0%) exact evidence-set agreement, with a mean Jaccard similarity of 0.909. Generated and published confidence intervals overlapped in 54 of 55 units (98.2%). MetaSynDec outperformed direct LLM generation in reference synthesis-structure agreement (57/58 versus 23/58; p<0.001) and among 23 jointly completed units, exact reference-formulation agreement (23/23 versus 1/23; p<0.001). These findings provide feasibility evidence that EAKR supports formal validation, traceability, statistical execution, and improved methodological agreement relative to direct LLM generation.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.01711v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.