예측을 위해 파인튜닝된 대규모 언어 모델(LLM)은 정확하지만 캘리브레이션이 불량할 수 있으며, 사고의 연쇄(CoT) 추론이 예측 근거가 되는 증거를 충실하게 반영하지 못할 수 있다. 본 연구는 내부 표현이 이 두 가지 문제에 대해 보다 직접적인 창을 제공하는지 묻는다. OpenForesight에서 Eternis-Forecaster 8B를 사용하여 중간 활성화에 표현 풀링(pooling) 프로브를 학습시킨 결과, 실질적으로 더 나은 캘리브레이션을 달성함을 발견하였으며, 이 결과는 GLM-4.7-Flash와 GLM-4.5-Air에서도 동일하게 확인된다. 이후 증거 절제(evidence ablation)와 교란 주입(diversionary injection)을 통해 CoT 충실성을 평가한다. 프롬프트에서 영향력 있는 출처를 제거하면 모델의 예측이 바뀌는 경우가 많지만 추론 흔적은 변하지 않는 채로 남는다. 동일한 프로브가 거짓 탐지기로도 기능하는데, 프로브의 활성화는 추론 흔적보다 행동 변화를 훨씬 잘 추적하며, CoT가 교란의 영향을 숨기는 경우를 포함하여 84%의 경우에서 변화 방향도 예측한다. 마지막으로, 강제 응답(forced answering)을 통해 예측이 추론 시작 전에 대부분 고정됨이 드러난다. 단일 추론 전 패스로 확정된 답변과 신뢰도를 복원할 수 있으며, 이 사전 설정된 답변 분포의 분산에 따라 질문을 라우팅하면 정확도 손실 없이 생성 토큰을 30~47% 절약할 수 있다. 이러한 결과들은 종합적으로, 내부 표현 탐색이 언어 모델 예측기 및 더 넓은 범위의 추론 모델의 캘리브레이션, 감사, 분류에 실용적인 도구임을 입증한다.
예측 시장(prediction market)에서 기존 이론이 자동화 시장 조성자(AMM)에서만 예측 정확도와 수익성의 동치를 보장하는 한계를 지적하며, 임의의 순정칙 채점 규칙(strictly proper scoring rule)에 기반한 "순정칙 베팅(proper betting)" 전략이 중앙 지정가 주문서(CLOB) 방식의 시장에서도 정확도 우위를 수익으로 안정적으로 변환하는 사실상 유일한 전략임을 이론적으로 증명하였다. AI 모델의 수천 건 예측 실험 및 Kalshi 실전 배포에서 +80.33% 투자 수익률과 샤프 비율 3.35을 달성하며 이론의 실용성을 검증하였다.
미래 사건 예측은 범용 AI의 테스트베드로서 점점 주목받고 있다. 이 평가를 구체화하는 자연스러운 방법은 모델이 예측 시장에서 거래하도록 하는 것이다. 그러나 거래는 예측 이상의 능력을 요구한다. 더욱이, 최근 벤치마크에서는 보정된 확률 점수와 거래 결과 사이에 상당한 격차가 보고되고 있다. 우리는 Raven-Agent를 제안하며, 이는 저자들이 아는 한 예측 시장을 위한 최초의 자율 거래 에이전트이다. 보관된 의사결정 집합에 대한 통제된 재현 실험에서, 우리의 아키텍처는 테스트된 모든 정책 중 유일하게 양의 수익률과 양의 위험 조정 수익률을 달성하였다. 코드는 https://github.com/Alchemist-X/predict-raven 에 공개하였다.
LLM이 점수를 매기는 60개의 이론 기반 추론 패턴인 설명 품질 마커(EQM)를 도입해, 예측 토너먼트의 55,000개 이상 예측-근거 쌍에서 EQM 복합 점수가 기존 텍스트 분석 방법과 인간 평가보다 예측 정확도를 더 잘 예측함을 보였다. EQM은 우수한 예측자를 가려내는 것보다 저조한 예측자를 식별하는 데 더 신뢰성이 높으며, 독립 데이터셋에도 전이됨을 확인해 서면 설명에서 판단 품질을 대규모로 측정하는 확장 가능한 방법을 제공한다.
Top AI forecasting systems are approaching superforecaster-level accuracy on future world events, but still rely primarily on off-the-shelf LLMs combined with forecasting-specific context gathering and scaffolding. We study how to improve this recipe through ensembling: given a fixed number of samples, which off-the-shelf model forecasts should be combined to maximize accuracy? On binary questions from the Metaculus AI Benchmark, we find that individual accuracy is not enough: many frontier LLMs make highly correlated predictions, limiting the value of additional forecasts from the same or similar models. Instead, the strongest ensembles combine accurate but diverse forecasters, with models such as \model{Grok 4} contributing disproportionately because their predictions are less correlated with other frontier LLMs. These results suggest that the strength of the AI crowd comes not from sampling more forecasts indiscriminately, but from combining forecasts across models with complementary errors, motivating forecasting systems that explicitly optimize for both model quality and diversity.