arXiv:2611.23174v1 stat.ME

코딩 에이전트 사용 이후의 통계적 추론

Inference after coding agents

Florian Gunsilius, David Van Dijcke, Kaspar W\"uthrich

제출 2026-11-18

한국어 초록

AI 코딩 에이전트가 코드 작성부터 데이터 처리까지 실증 연구의 모든 단계에서 점점 더 능숙해지면서 연구 방식이 빠르게 바뀌고 있다. 코딩 에이전트가 과학 연구에 기여할 잠재력은 크다. 다만 에이전트로 가설을 검정하면 분석을 선택한 뒤 그 결과로 추론하는 선택적 추론이 크게 확대돼 고전적 추론의 타당성을 위협한다고 주장한다. 특히 코딩 에이전트로 실증 연구를 하면 새로운 형태의 선택 후 추론이 생긴다. 에이전트는 사람이 하듯 명시적으로 정하지 않은 추정량 공간을 개방적으로 탐색하면서도, 선택과 추정 과정을 프로그램으로 재실행할 수 있다. 실제 효과가 0인 모의 데이터에서 설득력 있는 발견을 제시하라고 요청하자, 최첨단 에이전트 네 종은 전체 시도의 54~98%에서 유의한 p값을 보고했다. 이러한 왜곡을 감지하고 보정하는 간단한 절차를 제안한다. 에이전트가 분석을 마치면 상태를 초기화하고 데이터의 부분 표본에서 재실행한다. 해당 분석이 통계적으로 유리해 보일 때 에이전트가 그 분석을 선택할 상대 확률을 이를 바탕으로 추정한다. 선택 행태가 안정적인 에이전트에서는 보정한 검정이 선택에 조건부로 점근적 타당성과 일관성을 갖는다. 보정은 에이전트의 탐색 방식을 모델링하는 대신 블랙박스 에이전트가 실제로 내린 선택에서 학습한다. 따라서 AI 기술이 계속 빠르게 발전해도 타당성을 유지한다. 시뮬레이션에서 보정은 높은 오기각률을 명목 수준인 5%에 가깝게 일관되게 낮췄다. 발표된 논문 두 편의 응용 사례를 통해 이 방법을 설명한다.

원문 초록

Empirical research is changing rapidly as AI coding agents are becoming increasingly proficient in every step of it, from writing code to manipulating data. We argue that while the potential of coding agents for science is vast, their use in hypothesis testing poses a substantial threat to classical inference, as these agents enable a supercharged form of selective inference. In particular, we argue that coding agents carrying out empirical research introduce a new type of post-selection inference that combines human-like, open-ended search over an implicit space of estimators with programmatic replayability of both the selection and the estimation process. Indeed, we find that on simulated data with zero effects, four frontier agents report significant p-values between 54% and 98% of the time when asked to produce a compelling finding. We propose a simple procedure for detecting and correcting these distortions. After an agent has completed its analysis, we reset and replay it on subsamples of the data to estimate the agent's relative probability of selecting that analysis when it looks statistically favorable. For agents with stable selection behavior, the resulting corrected test is asymptotically valid and consistent conditional on selection. Importantly, the correction is learned from the black-box agent's actual choices rather than a model of how it searches, so it remains valid even as AI technology continues to evolve rapidly. In simulations, the correction robustly lowers the high false rejection rates to near the nominal 5%. We illustrate the method on applications from two published papers.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23174v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.