Papers with Code · CC BY-SA 4.0

Crowdsourced Text Aggregation

6 평가 기록 2 datasets

One of the most important parts of processing responses from crowd workers is aggregation: given several conflicting opinions, a method should extract the truth. This problem is also known as truth-inference in crowdsourcing. Text aggregation problem is dedicated to extracting the correct information from crowd workers' responses for a crowdsourcing task where the output is a text: audio transcription, translation, character recognition, etc.

개요는 각 항목의 일부입니다. 위 탭에서 전체 기록을 페이지별로 탐색할 수 있습니다.

벤치마크

Papers with Code 아카이브의 데이터셋별 기록 예시입니다. 평가 조건과 지표 방향이 검증되지 않아 순위를 의미하지 않습니다.

Dataset기록된 모델 예시MetricPaperCode
ROVER
Word Error Rate (WER): 7.29
논문 코드
ROVER
Word Error Rate (WER): 13.41
논문 코드

데이터셋

2개

논문

라이브러리

Papers with Code 리더보드 row에 연결된 구현 저장소입니다.