AI 평가는 정확성만이 아니라 검증 비용을 측정해야 한다
AI Evaluation Should Measure Verification Cost, Not Correctness Alone
AI 생성 모델의 신뢰성은 일반적으로 출력의 정확성으로 측정되지만, 실제로는 그 출력을 검증하는 데 필요한 노력에 좌우된다. 본 논문은 현재의 평가 지표가 핵심적인 실패 유형인 검증 비용 오류(Verification-Cost Errors, VCE)를 간과하고 있다고 주장한다. VCE는 주어진 배포 환경에서 사용할 수 있는 검증 예산 내에 검증자 집단 중 명시된 비율이 식별하지 못하는 잘못된 입출력 쌍으로 정의된다. 표준적인 "환각(hallucination)" 개념과 달리, VCE는 출력 자체의 어떤 속성이 아니라 예산 내에서 올바르게 식별하지 못했다는 사실로 조작적으로 정의된다. 그럴듯함과 권위 있는 제시 방식은 이러한 실패의 기여 요인으로 가정되지만, 정의를 이루는 조건은 아니다. 이러한 비대칭성을 포착하기 위해, 본 논문은 현재의 평가가 일상적으로 다루지 않는 조작적 차원으로서 배포 예산에 상대적인 검증 비용이라는 개념을 도입한다. 이 양은 확정된 지표가 아니라 개념적 도구로 제시된다. 코드 생성과 멀티모달 문서 이해에서 얻은 증거는 높은 벤치마크 정확도가 실제로는 상당한 검증 노력을 가릴 수 있음을 보여준다. 따라서 본 논문은 정확성만으로는 신뢰성을 측정하기에 충분하지 않다는 입장을 취한다. AI 평가는 현실적인 자원 제약 아래에서 오류를 탐지할 수 있는지를 반영하여 검증 비용을 명시적으로 고려해야 한다.