gpt-score: 3.40
Papers with Code · CC BY-SA 4.0
Video-based Generative Performance Benchmarking (Correctness of Information)
The benchmark evaluates a generative Video Conversational Model with respect to Correctness of Information.
We curate a test set based on the ActivityNet-200 dataset, featuring videos with rich, dense descriptive captions and associated question-answer pairs from human annotations. We develop an evaluation pipeline using the GPT-3.5 model that assigns a relative score to the generated predictions on a scale of 1-5.
개요는 각 항목의 일부입니다. 위 탭에서 전체 기록을 페이지별로 탐색할 수 있습니다.
벤치마크
Papers with Code 아카이브의 데이터셋별 기록 예시입니다. 평가 조건과 지표 방향이 검증되지 않아 순위를 의미하지 않습니다.
Dataset기록된 모델 예시MetricPaperCode
데이터셋
1개논문
gpt-score: 2.89
gpt-score: 3.08
gpt-score: 2.76
gpt-score: 3.60
gpt-score: 3.85
gpt-score: 3.48
gpt-score: 3.23
gpt-score: 3.55
gpt-score: 3.27
gpt-score: 2.78
라이브러리
Papers with Code 리더보드 row에 연결된 구현 저장소입니다.