대규모 언어 모델(LLM)이 실제 예측 작업에 점점 더 많이 적용되고 있지만, 사전학습(pre-training) 데이터 오염과 자동화된 검색 과정에서의 미래 정보 누출(look-ahead leakage)로 인해 모델의 진정한 예측 능력을 평가하는 데 여전히 한계가 있습니다. 기존 벤치마크는 정적 컨텍스트에 의존하거나, 좁은 환경으로 평가를 제한하거나, 보조 텍스트 사건에서 발생하는 미래 정보 누출을 감사(audit)하지 못합니다. 엄격한 평가 패러다임을 확립하기 위해, 본 논문에서는 트렌드, 사건, 시계열 예측을 포함하는 사건 증강 예측 작업을 위한 최초의 생동형 벤치마크(living benchmark)인 LEAF를 제안합니다. LEAF는 재귀적 검색 에이전트(agent) 시스템과 이중 에이전트 교차 검증을 결합하여 포괄적이고 관련성이 높으며 시간적으로 정렬된 보조 컨텍스트를 수집합니다. 47명의 도메인 전문가가 500개 작업에 걸쳐 수행한 종합적인 감사 결과, 제안하는 파이프라인이 미래 정보 누출을 8.6%에서 1.6%로 억제함을 보여줍니다. 16개의 프론티어 독점 모델 및 공개 가중치(open-weight) 모델을 대상으로 본 벤치마크에서 광범위한 평가를 수행한 결과, LLM이 검증된 사건으로부터 신호를 효과적으로 추출하여 트렌드 및 사건 예측 성능을 향상시킴을 입증합니다.
대규모 언어 모델(LLM)은 불확실한 미래 사건에 관한 의사결정을 점점 더 지원하고 있지만, 실세계 결과를 예측하는 능력을 평가하는 것은 여전히 어렵다. 특히 기존 벤치마크는 일반적으로 정적이고 후향적이어서, 불확실성 하에서 미래 사건을 예측하기 위해 LLM이 정보를 어떻게 종합하는지 검증할 수 없다. 우리는 LLM-SoccerArena(https://llm-soccerarena.com)를 소개한다. 이는 결과가 알려지기 전에 LLM이 실세계 스포츠 사건을 얼마나 잘 예측하는지 평가하는 전향적(prospective) 라이브 벤치마크이다. LLM-SoccerArena는 (1) 전향적 라이브 벤치마크 프로토콜, (2) 공개 오픈소스 플랫폼, (3) 토너먼트 관련 질문(예: 어느 팀이 우승할 것인가)과 함께 요인 설계(factorial design) 벤치마크를 제공한다. LLM-SoccerArena는 미해결 사건에 대한 타임스탬프가 기록되고 스키마가 검증된 예측을 프롬프트, 모델 버전, 도구 추적(tool traces), 비용과 함께 자동으로 기록한다. 요인 설계는 네 가지 차원에서 변화한다: (1) 모델 버전(예: GPT-5.5, Claude Opus 4.8), (2) 정보 접근, (3) 프롬프팅 전략, (4) 예측 지평(forecast horizon). 우리는 2026 FIFA 월드컵에 대한 대규모 평가를 통해 LLM-SoccerArena를 시연한다. 이 평가에서 7개의 LLM이 104경기 전부와 15개의 토너먼트 관련 질문에 대한 예측을 생성했다. 정보 접근, 프롬프팅 전략, 예측 지평에 걸친 모델 성능에 대한 상세 분석을 제공한다. 그 결과 LLM-SoccerArena는 최신 LLM의 예측 성능에 관한 새로운 증거를 제공한다. 예를 들어, 웹 접근이 가능한 LLM은 그렇지 않은 LLM보다 성능이 더 높지만, 마진은 작다(즉, Brier score에서 0.023 개선). 전반적으로 LLM-SoccerArena는 미해결 사건에 대한 전향적 벤치마킹을 위한 유연한 오픈소스 플랫폼을 제공한다. LLM-SoccerArena는 지속적으로 업데이트될 것이며, 향후 국내 및 국제 토너먼트와 리그 경기에 직접 적용할 수 있다.
대규모 언어 모델(LLM) 에이전트에게 미래 이벤트 예측은 선거와 통화 정책부터 금융 시장까지 다양한 영역을 아우르는 중요한 과제이다. 그러나 이 과제에서의 진전을 평가하는 것은 효율성과 환경 충실도 사이의 근본적인 상충 관계를 제기한다. 실시간 평가 벤치마크는 본질적으로 느린 피드백 루프에 시달리는 반면, 기존의 사후 재현(retrospective replay) 방식은 일반적으로 에이전트를 정적이고 사전 동결된 데이터베이스로 제한하여 실제 배포의 환경적 현실성을 희생시킨다. 이 문제에 대응하기 위해, 우리는 cutoff 이후 콘텐츠를 필터링하여 선택한 과거 시점의 웹 상태를 근사적으로 재구성하는 인프라인 Agentic Time Machine(TM)을 제안한다. 이 평가 인프라를 활용하여, 우리는 각 질문을 다양한 분석 관점으로 분해하고, 병렬로 증거를 수집하며, 결과를 단일 예측으로 통합하는 planner-solver-aggregator 다중 에이전트 프레임워크를 추가로 제안한다. 실험 결과 TM 하에서의 오프라인 점수는 실시간 FutureX 점수와 강한 상관관계를 보여, TM이 예측 에이전트 평가를 위한 빠르고 신뢰할 수 있는 샌드박스임을 입증한다. TM 하에서 평가된 FutureX-Past와 Polymarket에서, 우리의 프레임워크는 강력한 closed-book, tool-augmented, self-consistency 베이스라인 중 최고 점수를 달성한다. 공식 FutureX 실시간 리더보드에서, 우리 시스템은 5월 1주차 1위를 포함하여 연속 4주간 최고 평균 순위를 달성한다. 6월 17일 현재, FutureX 공식 8주 종합 리더보드에서도 1위를 기록하고 있다.