Papers with Code · CC BY-SA 4.0

Bias Detection

19 평가 기록 5 datasets

Bias detection is the task of detecting and measuring racism, sexism and otherwise discriminatory behavior in a model (Source: https://stereoset.mit.edu/)

개요는 각 항목의 일부입니다. 위 탭에서 전체 기록을 페이지별로 탐색할 수 있습니다.

벤치마크

Papers with Code 아카이브의 데이터셋별 기록 예시입니다. 평가 조건과 지표 방향이 검증되지 않아 순위를 의미하지 않습니다.

Dataset기록된 모델 예시MetricPaperCode

StereoSet

GPT-2 (small)

ICAT Score: 72.97

논문 코드

rt-inod-bias

GPT-4

Best-of: 0.5

논문 코드

ICAT LLM bias

BAD

ICAT Score: 23.44

논문 코드

PlantVillage_8px

RandomForest_default_hyperparameters

Accuracy (%): 49.0

논문 코드

Wiki Neutrality Corpus

RoBERTa+ALBERT

F1: 70.4

논문 코드

데이터셋

5개

StereoSet rt-inod-bias ICAT LLM bias PlantVillage_8px Wiki Neutrality Corpus

논문

Benchmarking Llama2, Mistral, Gemma and GPT for Factuality, Toxicity, Bias and Propensity for Hallucinations

2404.09785 2024-04-15 이 페이지의 평가 5건

Best-of: 0.5

StereoSet: Measuring stereotypical bias in pretrained language models

2004.09456 2020-04-20 이 페이지의 평가 5건

ICAT Score: 72.97

BAD: BiAs Detection for Large Language Models in the context of candidate screening

2305.10407 2023-05-17 이 페이지의 평가 1건

ICAT Score: 23.44

Towards Detection of Subjective Bias using Contextualized Word Embeddings

2002.06644 2020-02-16 이 페이지의 평가 1건

F1: 70.4

라이브러리

Papers with Code 리더보드 row에 연결된 구현 저장소입니다.

github.com/innodatalabs/innodata-llm-safety 1 논문

github.com/kanekomasahiro/evaluate_bias_in_mlm 1 논문

github.com/moinnadeem/StereoSet 1 논문

github.com/zalkikar/mlm-bias 1 논문

github.com/namhkoh/bad-bias-detection-in-llms 1 논문

github.com/tanvidadu/Subjective-Bias-Detection 1 논문

하위 태스크

SB Selection bias 0 데이터셋 · 0 rows