Cost-of-Pass: An Economic Framework for Evaluating Language Models
원문 초록
The widespread adoption of AI systems in the economy hinges on their ability to generate economic value that outweighs their inference costs. Evaluating this tradeoff requires metrics that account for both performance and costs. We propose a framework grounded in production theory for evaluating language models by combining accuracy and inference cost. We introduce "cost-of-pass", the expected monetary cost of generating a correct solution. We then define the "frontier cost-of-pass" as the minimum cost-of-pass achievable across available models or the "human-expert, using the approximate cost of hiring an expert. Our analysis reveals distinct economic insights. First, lightweight models are most cost-effective for basic quantitative tasks, large models for knowledge-intensive ones, and reasoning models for complex quantitative problems, despite higher per-token costs. Second, tracking this frontier cost-of-pass over the past year reveals significant progress, particularly for complex quantitative tasks where the cost has roughly halved every few months. Third, to trace key innovations driving this progress, we examine counterfactual frontiers: estimates of cost-efficiency without specific model classes. We find that innovations in lightweight, large, and reasoning models have been essential for pushing the frontier in basic quantitative, knowledge-intensive, and complex quantitative tasks, respectively. Finally, we assess the cost-reductions afforded by common inference-time techniques like majority voting and self-refinement, finding that their marginal accuracy gains rarely justify their costs. Our findings underscore that complementary model-level innovations are the primary drivers of cost-efficiency, and our economic framework provides a principled tool for measuring this progress and guiding deployment.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Transformer-Based Spatial-Temporal Counterfactual Outcomes Estimation
Unveiling Causal Reasoning in Large Language Models: Reality or Mirage?
Argumentative Ensembling for Robust Recourse under Model Multiplicity
Diffusion-based Counterfactual Augmentation: Towards Robust and Interpretable Knee Osteoarthritis Grading
Causally Steered Diffusion for Automated Video Counterfactual Generation
스트리밍 개입: 비디오 대규모 언어 모델은 실수가 발생할 때 이를 수정할 수 있는가?
Streaming Interventions: Can Video Large Language Models Correct Mistakes as They Occur?
요리와 같은 일상적인 기술을 배우는 일은 온라인 비디오와 같은 교육용 미디어에 점점 더 의존하고 있습니다. 이는 비디오(및 멀티모달) 대규모 언어 모델(LLM)을 작업 가이드 어시스턴트로 활용할 수 있는 가능성을 열어줍니다. 잠재적인 작업 가이드 어시스턴트가 실제 환경에서 성공하기 위해 필수적인 능력은 사용자를 안내하기 위해 실수가 드러나는 즉시 선제적으로 개입하는 능력입니다. 이러한 핵심 능력을 평가하기 위해, 우리는 현실적인 요리 시나리오에서 반응형 단계별 작업 가이드를 평가하는 벤치마크인 Ego-MC-Bench(Mistake Corrections)를 소개합니다. 광범위한 실험을 통해 Ego-MC-Bench가 최첨단 비디오 LLM에게 매우 도전적인 과제임을 확인했습니다. 우리는 주된 원인이 이 작업에 대해 모델을 미세조정할 학습 데이터의 가용성이 제한되어 있기 때문이라고 주장합니다. 광범위한 요리 비디오 데이터셋이 존재하지만, 기존 데이터셋에는 적절한 시점에 이루어지는 개입과 함께 실수에 대한 예제가 부족합니다. 이러한 데이터 제한을 해결하기 위해, 우리는 또한 비대화형 요리 비디오를 선제적 개입을 보여주는 지도 학습 예제로 변환하여 생성된 반사실적 합성 데이터셋인 Ego-CoMist를 소개합니다. Ego-CoMist로 미세조정을 수행하면, 특히 엣지 디바이스에서 지원을 제공하는 데 적합한 더 작고 효율적인 비디오 LLM의 성능이 향상됨을 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.