언어 모델 에이전트는 소프트웨어 엔지니어링과 고객 서비스와 같은 고립된 단기 지평 과제에서 능숙한 실행자가 되어 가고 있다. 그러나 현실 세계의 과제는 에이전트에서 아직 대부분 검증되지 않은 정교한 기술들의 조합을 요구한다: (1) 불확실성 속에서 장기 지평을 탐색하는 능력; (2) 노이즈가 많은 환경에서 정보를 획득하는 능력; (3) 변화하는 세계에 적응하는 능력; (4) 여러 움직이는 요소들을 일관된 목표를 향해 조율하는 능력. 우리는 대표적인 현실 과제인 500일간의 스타트업 운영을 시뮬레이션함으로써 이러한 역량을 함께 평가하는 CEO-Bench를 제안한다. 에이전트는 프로그래밍 가능한 Python 인터페이스를 통해 가상 회사의 가격 책정, 마케팅, 예산 편성 및 기타 많은 측면을 관리하며, 인간 CEO와 동일한 환경에서 동일한 도전에 직면한다. 성공을 위해서는 노이즈가 많고 상호 연결된 비즈니스 데이터베이스를 분석하고, 신호를 건전한 전략으로 변환하며, 프로그래밍으로 많은 의사결정을 조율해야 한다. 가장 강력한 에이전트들은 이탈(churn) 체제, 청구 시점, 고객 손실, 다양한 시나리오 하의 미래 현금 흐름을 예측하는 정교한 코드를 작성한다. 그럼에도 불구하고, 대부분의 최신(state-of-the-art) 모델은 이 환경에서 어려움을 겪는다. Claude Fable 5, GPT-5.6 Sol, Claude Opus 4.8만이 $1M 시작 잔액을 넘어서 마무리하며, 평가된 모든 모델은 규칙 기반 기준선 아래에 머문다. CEO-Bench는 시간에 걸친 지속적이고 적응적인 진전을 이끌어내는 데 필요한 지능을 측정하는 첫 걸음을 내딛는다.
대규모 언어 모델(LLM)의 의사결정 능력을 평가하는 것은 점점 중요해지는 연구 우선순위이지만, 기존 벤치마크들은 형식화된 설정에서 추론, 지식 검색, 경제적 합리성과 같은 고립된 인지 과제에 초점을 맞추고 있습니다. 이러한 평가들은 정보 비대칭, 조직적 제약, 시간적 의존성 하에서 전문 이해관계자들의 상충하는 권고를 통합해야 한다는 실제 경영진 의사결정의 핵심 과제를 간과하고 있습니다. 우리는 다중 라운드 및 제약이 풍부한 조직 환경에서 사업 단위 간 자본을 재배치하는 과정인 CEO 수준의 전략적 자원 재할당에 대해 LLM을 평가하는 다중 에이전트 벤치마크인 \textsc{CEO-Bench}를 소개합니다. \textsc{CEO-Bench}에서 LLM 에이전트는 각각 비공개 신호와 독특한 우선순위를 가진 4명의 역할 조건부 C-level 고문(CFO, CTO, COO, CMO)으로부터 상충하는 조언을 받으며, 이를 역할 통합, 조건부 대담성, 과거 이력 민감적 판단, 계획 타당성이라는 4가지 차원에서 평가되는 구체적인 할당 계획으로 종합해야 합니다. 13가지 시나리오에서 5개의 최신 모델을 대상으로 한 실험 결과, 모든 모델이 높은 구조적 타당성을 달성하지만 가장 어려운 능력 층인 전략적 보정에서는 현저한 차이를 보이는 것으로 나타났습니다. 우리는 단일 고문 포획, 모호성 하에서의 보수적 기본값, 과거 망각과 같은 체계적인 실패 모드를 식별했으며, 구조적 통합-대담성 트레이드오프를 발견했습니다. 즉, 상충하는 관점을 더 깊이 고려하는 모델일수록 덜 결단력 있는 행동을 생성하는 경향이 있습니다. 이러한 발견은 조직적 의사결정자로서 LLM의 현재 능력 경계를 명확히 하며, 향후 AI 보조 경영 시스템의 설계에 정보를 제공합니다.