Papers with Code · CC BY-SA 4.0

Long-Context Understanding

39 평가 기록 5 datasets

개요는 각 항목의 일부입니다. 위 탭에서 전체 기록을 페이지별로 탐색할 수 있습니다.

벤치마크

Papers with Code 아카이브의 데이터셋별 기록 예시입니다. 평가 조건과 지표 방향이 검증되지 않아 순위를 의미하지 않습니다.

Dataset기록된 모델 예시MetricPaperCode
GPT-4o
1 Image, 2*2 Stitching, Exact Accuracy: 94.61 Image, 4*4 Stitching, Exact Accuracy: 831 Image, 8*8 Stitching, Exact Accuracy: 1910 Images, 1*1 Stitching, Exact Accuracy: 97
논문 코드
GPT-4-Turbo-1106
2k: 73.54k: 67.58k: 53.516k: 44.0
논문 코드
GPT-4-Turbo-1106
2k: 18.54k: 15.58k: 7.516k: 3.5
논문 코드
GALI(Llama3-8b-ins-4k-to-16k)
Average Score: 59.21
논문 코드
GALI(Llama3-8b-ins-4k-to-16k)
Average Score: 46.22
논문 코드

데이터셋

5개

논문

CogVLM: Visual Expert for Pretrained Language Models

2311.03079 2023-11-06 이 페이지의 평가 2건
1 Image, 2*2 Stitching, Exact Accuracy: 7.31 Image, 4*4 Stitching, Exact Accuracy: 0.91 Image, 8*8 Stitching, Exact Accuracy: 0.110 Images, 1*1 Stitching, Exact Accuracy: 0

GPT-4 Technical Report

2303.08774 2023-03-15 이 페이지의 평가 2건
1 Image, 2*2 Stitching, Exact Accuracy: 94.61 Image, 4*4 Stitching, Exact Accuracy: 831 Image, 8*8 Stitching, Exact Accuracy: 1910 Images, 1*1 Stitching, Exact Accuracy: 97

Gemini: A Family of Highly Capable Multimodal Models

2312.11805 2023-12-19 이 페이지의 평가 1건
1 Image, 2*2 Stitching, Exact Accuracy: 29.531 Image, 4*4 Stitching, Exact Accuracy: 24.781 Image, 8*8 Stitching, Exact Accuracy: 2.1110 Images, 1*1 Stitching, Exact Accuracy: 16.25

The Claude 3 Model Family: Opus, Sonnet, Haiku

2024-03-04 이 페이지의 평가 1건
1 Image, 2*2 Stitching, Exact Accuracy: 52.251 Image, 4*4 Stitching, Exact Accuracy: 12.31 Image, 8*8 Stitching, Exact Accuracy: 1.610 Images, 1*1 Stitching, Exact Accuracy: 66.93

What matters when building vision-language models?

2405.02246 2024-05-03 이 페이지의 평가 1건
1 Image, 2*2 Stitching, Exact Accuracy: 18.91 Image, 4*4 Stitching, Exact Accuracy: 7.81 Image, 8*8 Stitching, Exact Accuracy: 0.910 Images, 1*1 Stitching, Exact Accuracy: 0

라이브러리

Papers with Code 리더보드 row에 연결된 구현 저장소입니다.