PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.03951v2cs.SE

Why3-py: 파이썬에서의 가설 검정 및 메타분석 정밀 검증을 위한 도구

Why3-py: A Tool for Formal Verification of Hypothesis Testing and Meta-Analysis in Python

과학 연구에서 재현성 위기(reproducibility crisis)가 널리 인식됨에 따라, 여러 연구의 통계 분석 결과를 통합하는 메타분석(meta-analysis)의 중요성이 더욱 커지고 있습니다. 그러나 통계적 방법론은 모호하고 암묵적인 기본 가정을 포함하는 경우가 많아, 잘못된 적용과 해석으로 이어질 수 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 통계용 파이썬(Python) 프로그램을 위한 정밀 검증(formal verification) 프레임워크를 제안합니다. 구체적으로는 Why3 검증 플랫폼을 위한 파이썬 프론트엔드인 Why3-py를 제시하며, 이는 파이썬 코드를 검증 지향적인 WhyML 표현으로 변환하여 파이썬의 동적 타이핑 및 런타임 다형성에서 비롯되는 기술적 난제들을 해결합니다. 나아가 메타분석 방법론의 검증을 지원하도록 StatWhy 도구를 확장합니다. 메타분석 연구자들은 이러한 도구를 통해 간과된 가정과 분석의 오용을 식별하고, 파이썬 코드 내에서 가설 검정 및 메타분석 방법론이 올바르게 사용되었는지 검증할 수 있습니다.

arXiv:2607.14713v1econ.GN

다중 에이전트 토론이 연구 논문에 대한 AI 피드백을 개선하는가?

Does Multi-Agent Debate Improve AI Feedback on Research Papers?

아마 그렇지 않을 것이다. 적어도 경제학 분야의 메타분석에서는 그렇다. 사전 등록되고 신원이 가려진 논문 내 실험에서, 44개 메타분석의 저자들은 자신의 논문을 개선하는 데 있어 유용성 기준으로 세 가지 AI 보고서의 순위를 매겼다: 프론티어 모델의 단일 패스, 그리고 우리가 구축하고 승리할 것으로 기대했던 두 가지 다중 에이전트 토론 도구. 모든 보고서는 동일한 길이와 템플릿을 따랐다. 저자들은 단일 패스를 선호했으며, mad-research보다 0.66 순위 점수(95% CI 0.32~1.00), paper-workshop보다 0.57(95% CI 0.16~0.95) 높게 평가했다. 다만 paper-workshop은 토큰을 대략 30배 더 사용했다. 저널 심사 보고서를 기억한 저자들은 대체로 이를 1위로 두었고 마지막으로 두지 않았다. 별도의 실험에서 세 AI 심사자는 거의 항상 실제 저널 심사 보고서를 마지막에 배치했다. 세 AI 보고서 중 Gemini(어떤 보고서도 작성하지 않은 모델 계열의 심사자)는 저자 대신 paper-workshop을 1위로 순위를 매겼을 것이며, 이는 단일 패스 선호를 뒤집는 결과다. 이러한 뒤집힘은 저자를 AI 심사자로 대체하는 것을 경계해야 함을 시사한다. 우리는 완성된 논문에 대한 지각된 유용성을 측정한다. AI가 논문을 심사해야 하는지는 별개의 질문이다.

arXiv:2607.15247v1cs.AI

AutoSynthesis: 자동화 메타분석을 위한 에이전트 시스템

AutoSynthesis: An agentic system for automated meta-analysis

증거 종합(evidence synthesis)은 과학, 의학, 교육, 정책을 위해 1차 연구를 신뢰할 수 있는 지식으로 전환하는 데 매우 중요하다. 그러나 정량적 증거 종합은 여전히 대부분 수동적이며 확장하기 어렵다. 여기서 우리는 자동화 메타분석을 위한 end-to-end 다중 에이전트 시스템인 AutoSynthesis를 제안한다. 자연어로 주어진 연구 질문에 대해 AutoSynthesis는 검색 전략을 수립하고, 과학 문헌을 검색하며, 후보 연구를 선별하고, 전문(full-text) 적격성을 평가하고, 정량 통계를 추출하고, 표준화된 효과 크기(effect size)를 계산하며, 마지막으로 무작위 효과(random-effects) 메타분석을 수행한다. AutoSynthesis는 또한 조절 변수(moderator)에 따라 효과 크기가 어떻게 달라지는지 검토하는 이질성(heterogeneity) 분석과 바이어스(risk-of-bias) 평가를 지원한다. 출력으로 AutoSynthesis는 PRISMA 가이드라인에 부합하는 투명한 보고서를 생성한다. 우리의 적용 사례에서 AutoSynthesis는 28편 이상의 연구를 선별하고 20개 이상의 정량적 주장을 추출했다. AutoSynthesis가 생성한 통합 효과 추정치는 전문가가 수행한 메타분석의 Hedges' $g$와 유사하여, 수동 증거 종합과 밀접한 일치를 나타낸다. 종합하면, 이러한 결과는 AutoSynthesis가 정량적 증거 종합을 더 확장 가능하게 만들어 학제 간 근거 기반 의사결정(evidence-based decision-making)을 지원할 수 있음을 보여준다.

arXiv:2606.17041v5cs.CL

Nature Portfolio 메타분석 논문에 대한 LLM 에이전트 벤치마킹

Benchmarking LLM Agents on Meta-Analysis Articles from Nature Portfolio

메타분석은 문헌 검색, PI/ECO 기반 연구 선별, 통계적 통합을 결합하는 요구가 높은 근거 통합 형태이다. 구조화되고 검증 가능한 워크플로우로 체계적 과학적 추론을 평가하기에 이상적인 기반이 되지만, 기존 벤치마크는 검색-선별-통합 파이프라인 전반에 걸친 정답(ground truth)이 부족하다. 본 연구에서는 Nature Portfolio 저널의 전문가 선별 메타분석 442건으로 구성된 데이터셋 MetaSyn을 소개한다. 각 항목은 연구 질문과 PI/ECO 기준, 14만 건의 PubMed 논문으로 이루어진 검색 코퍼스, 검증된 양성 연구, 주제적으로 유사하지만 PI/ECO 기준을 충족하지 못하는 hard negative, 완전한 검색 전략 및 날짜 범위를 포함한다. 12가지 파이프라인 구성(9가지 검색-증강 생성(RAG) 변형과 프로토콜 기반 에이전트)을 벤치마킹한 결과, 핵심적인 선별 병목이 드러난다: K=200에서 검색 상한이 재현율 90.9%임에도 어떤 시스템도 정답 포함 문헌의 52.7% 이상을 회수하지 못한다. 현재 LLM은 주제적 관련성이 비슷한 풀에서 적격 연구와 PI/ECO 기준을 통과하지 못하는 방해 요소를 안정적으로 구분하지 못한다. 단계별 지표는 시스템이 어디에서 성공하고 실패하는지 포착하며, 단일 종단 간 점수만으로는 이를 반영할 수 없다.

arXiv:2606.28362v1cs.IR

LUMEN: 자동화된 체계적 문헌 고찰 및 메타분석을 위한 비용 투명 다중 에이전트 파이프라인

LUMEN: Cost-Transparent Multi-Agent Pipeline for Automated Systematic Review and Meta-Analysis

체계적 문헌 고찰 및 메타분석(SR/MA)은 근거 종합의 금본위 기준으로 남아 있으나, 완료까지 통상 67주와 상당한 전문가 노력이 소요된다. 최근 대규모 언어 모델(LLM) 시스템들은 SR의 개별 단계에서 우수한 성능을 보여주었다—스크리닝(otto-SR: 민감도 96.7%), 추출(Gartlehner 등: 정확도 91.0%), 검색(TrialMind: 재현율 0.83)—그러나 엔드투엔드 파이프라인 실행에 실제로 드는 비용, 단계별 비용 분포, 또는 아키텍처 선택이 비용-품질 트레이드오프에 미치는 영향을 보고한 연구는 없었다. 우리는 의도적인 모델 라우팅을 적용한 11개의 특화 LLM 에이전트를 사용해 SR/MA의 6개 단계를 자동화하는 오픈소스 다중 에이전트 파이프라인인 LUMEN을 제시한다. LUMEN을 7개 데이터셋(자체 수행한 5개 도메인 고찰—정신의학, 심리학, 외과학, 백신학, 심장학—및 2개의 SYNERGY 스크리닝 벤치마크)에서 평가한다. 정답 비교 가능한 13개 결과 전반에 걸쳐 LUMEN은 발표된 메타분석과 100% 방향 일치를 달성하였으며, 동질적 연구 설계에서 효과 크기 오차는 1% 이내이다. 주요 기여는 이러한 파이프라인에 대한 최초의 실증적 비용 및 운영 특성 분석이다: 전체 고찰 비용은 19~29달러(중앙값 22.65달러)이며, 제목-초록 스크리닝과 데이터 추출이 지출의 대부분을 차지한다. 세 갈래 추출 절제(ablation) 실험은 단계 의존적 아키텍처 역전 현상을 드러낸다: 다중 에이전트 설계는 스크리닝에서는 성능을 저하시키지만 추출에서는 필수적으로, 단일 모델 대안 대비 풀링 가능한 분석을 5.7배 더 많이 생성하고 임상적으로 위험한 방향 오류를 제거한다. 두 데이터셋 스크리닝 벤치마크는 모델 순위가 도메인 의존적이며 고찰 주제 간에 이전될 수 없음을 보인다. 모든 코드와 비용 로그는 공개되어 있다.

arXiv:2606.28363v1cs.IR

meta-pipe: An LLM-agent pipeline for end-to-end automated systematic review and meta-analysis

Objective: To describe the architecture and design rationale of meta-pipe, an open-source large language model (LLM)-agent pipeline that integrates the complete systematic review and meta-analysis (SR/MA) workflow -- from literature search through statistical analysis, manuscript generation, and quality assurance -- with mandatory human oversight at critical decision points. Study Design and Setting: We developed a 10-stage modular pipeline integrating Claude (Anthropic; Opus 4 for reasoning, Haiku 3.5 for classification) for LLM-assisted screening and extraction, Python (~3,600 lines of code) for automation, R (meta, metafor, gemtc, netmeta) for statistical analysis, and Quarto for manuscript rendering. Five mandatory human decision points enforce oversight. We systematically compared meta-pipe's capabilities with five existing SR automation tools based on published documentation as of March 2026. Results: meta-pipe offers four capabilities not available in any single existing tool: automated manuscript generation from analysis outputs, semi-automated GRADE assessment, overclaim detection (12 predefined patterns), and dual-paradigm network meta-analysis (Bayesian and frequentist). Estimated API cost is $15-30 per typical 5-10 study review. No validation data are reported; this is a system description, not a validation study. Conclusion: End-to-end AI-assisted evidence synthesis is architecturally feasible as an open-source tool with mandatory human oversight. Formal validation reproducing published Cochrane reviews is underway and essential before routine use.

arXiv:2606.07068v1cs.LG

필터 특징 선택 평가의 바이어스: 데이터셋, 기준선, 실험 설계 선택에 대한 메타분석

Bias in Filter Feature Selection Evaluation: A Meta-Analysis of Datasets, Baselines, and Experimental Design Choices

배경: 1990년 이후 다양한 응용 분야에서 많은 특징 선택 방법이 제안되었다. 새로운 방법의 유용성을 검증하려면, 기존 문헌의 최소 하나의 기준선 방법과 특징 선택 작업에서 최소 하나의 데이터셋을 사용하여 비교해야 한다. 표 형식(tabular) 심층 학습(DL)과 머신러닝(ML)에서의 데이터 가치평가(data valuation)의 최근 발전은 새로운 방법, 알고리즘, 모델의 평가가 의식적이거나 무의식적으로 바이어스될 수 있음을 시사한다. 우리는 특징 선택(FS), 특히 필터 특징 선택(FFS)에서도 유사한 경향이 존재한다고 가설을 세운다. 따라서 본 연구의 목적은 FFS 연구를 검토하여 평가에 영향을 미치는 요인과 바이어스의 진입점이 될 수 있는 요인을 식별하고, FFS 평가를 위한 더 강력한 원칙을 제안하는 것이다. 방법: 1994년부터 2025년까지 발표된 28개의 고영향 FFS 연구 표본을 분석한다. 이 분석은 FFS 연구를 검토하는 방법에 대한 성찰을 제공하고, 과정에서 얻은 교훈을 강조하며, 향후 FFS 평가를 위한 다섯 가지 증거 기반 권고를 제시한다. 결과: 다변량 선형 회귀 분석에서 $R^2=0.33$의 점수를 얻었다. 이는 선택된 기준선에 대한 새로운 방법의 성능(승률) 분산의 33%가 데이터셋 수(#Datasets), 기준선 수(#Baselines), 새로운 방법 수(#NewMethods)에 의해 설명됨을 의미한다. 논의: $R^2=0.33$은 중간 수준의 설명력으로 간주되며, 이것이 최초의 그러한 연구라는 점을 고려하면 유망한 결과이다. 중간 수준의 설명력 결과는 승률이 특징 선택 도메인의 성숙도, 데이터셋과 기준선의 유형, 관계를 설명하는 데 사용된 회귀 모델의 단순성과 같은 추가 요인의 영향을 받기 때문이다.