arXiv:2611.22480v1 cs.AI

RehearsalBench: AI는 회사 운영 방식을 바꾸면 어떤 일이 일어날지 예측할 수 있는가?

RehearsalBench: Can AI Predict What Happens When You Change a Company?

Mika Siddiqui, Tharaka Perera

제출 2026-11-18

한국어 초록

조직은 어떤 업무를 자동화할지, 어느 팀의 규모를 바꿀지, 음성 에이전트가 대기 시간에 어떤 영향을 줄지처럼 운영 방식의 변화가 낳을 결과를 AI에 점점 더 많이 묻는다. AI 모델이 운영의 문제를 진단하고 개입을 선택해 결과를 예측할 수 있는지 평가하는 RehearsalBench를 소개한다. 실제 통화 단위 기록에 맞춰 만든 모의 은행 고객센터에서 모델은 관리자에게 보이는 정보만 본다. 모델이 제출한 계획과 예측은 난수 시드를 지정한 미래 시나리오 200개와 현실성 있는 조직 모형 세 가지에서 시험한다. 결정은 이해관계자가 명시한 가치에 따라 달러로 평가하며, 예측은 아무 조치도 하지 않았을 때와 비교한 각 변경의 효과로 평가한다. 모델 10개가 조직 14곳에 걸쳐 280회 시도했다. 성능이 가장 높은 GPT-6 Astra는 아무 조치도 하지 않을 때의 비용 대비 6.8%를 절감했고, 항상 효과가 없다고 예측하는 방식보다 예측 오차가 77% 적었다. 평균적으로 모든 모델은 지정한 효과의 방향을 모두 맞혔다. 다만 같은 효과의 크기를 같은 방향으로 잘못 예측했다. 음성 에이전트의 도입이 고객 재문의에 미치는 효과를 약 다섯 배로 과대평가했다. 아무 조치도 하지 않는 것이 옳을 때 보류를 권한 모델은 없었다. 외적 타당성을 시험하기 위해 모델 12개가 실제 결과가 알려진 조직 변화 33건을 예측했다. 미리 정한 판정 규칙을 적용하면 벤치마크의 예측 순위와 실제 사례의 순위가 일치하는 경향을 보였다(스피어먼 $\rho = 0.92$, 95% 하한 0.50). 첫 번째 시험에서 결론을 내리지 못한 사실, 결과를 본 뒤 내린 분석상의 선택, 순위 일치의 일부가 모델이 불확실성의 크기를 얼마나 잘 추정했는지에 기인한다는 근거도 함께 보고한다.

원문 초록

Organizations increasingly ask AI systems what will happen if they change how they operate: which work to automate, which team to resize, what a voice agent will do to waiting times. We introduce RehearsalBench, a benchmark that measures whether AI models can diagnose an operation, choose an intervention, and forecast its consequences. Each model is placed in a simulated bank contact center fitted to real call-level records, sees only what a manager would see, and submits a plan and forecasts that are then played out across 200 seeded futures and three plausible versions of the organization. Decisions are scored in dollars at the stakeholders' stated valuations; forecasts are scored on the effect of each change relative to doing nothing. Ten models made 280 attempts across 14 organizations. The best model, GPT-6 Astra, improved on doing nothing by 6.8% of the no-change cost and made 77% less forecast error than a forecaster who always predicts no effect. On average, every model forecast the direction of every specified effect correctly, but models erred on the size of the same effects in the same direction, overstating a voice agent's effect on repeat contacts about five-fold. No model ever recommended holding off when doing nothing was the right choice. To test external validity, twelve models forecast 33 real organizational changes with known outcomes. Under verdict rules fixed in advance, the benchmark's forecast ranking agreed with the real-world ranking (Spearman $\rho = 0.92$, 95% lower bound 0.50). We report the result alongside an inconclusive first test, the analysis choices made after outcomes were seen, and evidence that part of the agreement reflects how well models size their uncertainty.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22480v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.