언어 모델의 경제적 평가
Economic Evaluations of Language Models
언어 모델은 경제적으로 가치 있는 업무를 수행하지만, 현재는 경제적으로 가치 있는 모든 과업에서 얼마나 잘 수행하는지 평가받지 못하고 있다. 우리는 미국 노동 경제의 과업, 업무 활동, 직업과 관련된 역량을 측정하기 위한 오픈소스 평가 스위트 EconEvals를 소개한다. 가능한 경우 평가 스위트를 언어 모델에 대한 실제 사용자 질의에 기반하고, 이를 합성 데이터로 보완한다. 우리의 평가는 미국 직업의 5%를 다루는 기존 최첨단 벤치마크인 OpenAI의 GDPval 벤치마크 대비 500배 낮은 비용으로 커버리지를 개선한다. 벤치마크와 함께, 우리는 또한 시뮬레이션 기반 노출(exposure) 지표를 도입하여, 각 추정치에 대한 상세한 산출 근거와 함께 현재 언어 모델 역량이 모든 미국 직업에 속한 모든 과업에서 절약할 수 있는 시간을 추정한다. 우리의 추정에 따르면, 현재 모델은 47%의 직업에서 근로자가 수행하는 과업의 절반 이상에서 상당한 시간을 절약할 수 있다. 그러나 상당한 시간 절감이 예측되는 과업의 79%에서 관찰된 Claude 사용량은 낮아, 현재 사용이 잠재력에 뒤처져 있음을 시사한다. 언어 모델 챗봇의 고유한 제약을 넘어서, 우리 데이터는 AI로부터의 추가적 시간 절감을 제한하는 주요 병목으로 프라이버시와 독점 시스템을 식별한다. 전반적으로, 우리는 언어 모델의 노동 시장 영향에 대한 추론을 현재 역량에 기반하도록 하는, 역량이 향상됨에 따라 지속적으로 업데이트할 수 있는 적응형 인프라를 소개한다.