arXiv:2611.23045v1 cs.AI

ForecastGym: 실시간으로 근거를 수집하고 통제된 환경에서 재현하는 예측 에이전트 벤치마크

ForecastGym: A Live, Controlled, and Replayable Benchmark for Forecasting Agents

Yicheng Tao, Yuante Li, Zipei Fan

제출 2026-11-18

한국어 초록

대규모 언어 모델(LLM) 기반 에이전트는 웹을 검색하고 찾은 자료를 바탕으로 추론해 현실의 사건을 예측하는 데 점점 더 많이 쓰인다. 예측의 정확도는 검색한 근거와 모델 양쪽에 달려 있으므로 평가하려면 근거를 통제해야 한다. 실시간 평가에서 시스템마다 별도로 검색하면 검색 성능과 추론 성능의 효과가 섞인다. 과거 시점의 검색을 나중에 재현할 때는 날짜 필터를 사용해도 정보가 새어 나오거나, 현재의 검색 순위에 이후의 정보가 반영될 수 있다. 모델, 검색 출처, 메모리 전략을 비교하려면 같은 근거를 제공하는 동시에 결과가 확정되기 전 근거가 어떻게 바뀌었는지 기록해야 한다. ForecastGym은 아직 결과가 확정되지 않은 예측시장 질문에 대해 상용 웹 검색 API 네 개가 반환하는 결과를 이틀마다 기록한다. 결과가 알려진 뒤에는 고정된 근거를 오프라인으로 재생해, 같은 근거 수집 정책 아래 모델, 메모리, 기록해 둔 검색 출처를 비교한다. 첫 릴리스는 질문 150개, 질문과 수집 시점 조합별 근거 상태 614개, 검색 결과 13만 1천 건을 포함한다. 결과 확정 후 같은 쿼리를 다시 실행하면 시험한 날짜 필터를 사용해도 최대 92%의 질문에서 결과가 사실상 드러나는 검색 결과가 반환됐다. 고정된 근거로 평가했을 때 시험한 모든 LLM의 예측 정확도는 시장보다 낮았다. 진단 분석에 따르면 시장과의 격차가 큰 경우, 공개 정보를 잘못 읽는 것보다 놓치는 것이 격차에 더 크게 기여했다. 검색 API를 바꾸면 모델의 브라이어 점수가 최대 0.043 달라졌다. 이는 모델 간 차이보다 컸다. 메모를 지속적으로 저장하는 방식은 모든 근거를 매번 다시 읽는 방식과 비슷한 점수를 내면서 입력 토큰을 절반만 사용했다. 예측 성능에는 근거를 읽는 모델만큼이나 어떤 근거를 보느냐가 중요할 수 있다.

원문 초록

Agents built on large language models (LLMs) increasingly forecast real-world events by searching the Web and reasoning over what they find. How well such an agent forecasts depends on both the retrieved evidence and the model, making control over that evidence essential for evaluation. Live evaluations can mix retrieval with reasoning when each system searches on its own, while retrospective search can leak later information through date filters or today's ranking of historical pages. Comparing models, search sources, and memory strategies requires both fixed evidence and a record of how it evolved before resolution. We introduce ForecastGym, which records what four commercial web search APIs return for open prediction-market questions every two days and replays this frozen evidence offline once outcomes are known, comparing models, memory, and captured search sources under a fixed evidence-acquisition policy. Its first release covers 150 questions, 614 evidence states, one per question and collection time, and 131k search results. Rerunning the same queries after settlement returns results that all but state the outcome for up to 92% of the questions, despite the tested date filters. On the frozen evidence, all tested LLMs trail the market in forecasting accuracy. Our diagnostic analysis suggests that missed public information contributes more to the gap in high-gap states than misreading does. Switching the search API changes a model's Brier score by up to 0.043, more than the spread across models, while persistent notes score similarly to rereading all evidence at half the input tokens. The evidence a forecaster sees can matter as much as the model that reads it.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23045v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.