PK PyTorchKR Papers
Papers with Code · CC BY-SA 4.0

Chatbot

25 평가 기록 15 datasets

Chatbot or conversational AI is a language model designed and implemented to have conversations with humans.

<span class="description-source">Source: Open Data Chatbot </span>

Image source

개요는 각 항목의 일부입니다. 위 탭에서 전체 기록을 페이지별로 탐색할 수 있습니다.

벤치마크

Papers with Code 아카이브의 데이터셋별 기록 예시입니다. 평가 조건과 지표 방향이 검증되지 않아 순위를 의미하지 않습니다.

Dataset기록된 모델 예시MetricPaperCode
LMEDR
Avg F1: 21.99
논문 코드
FV (w/o MI)
BLEU: 1.99Dis-1: 0.0056Dis-2: 0.0431Dis-3: 0.125
논문 코드
Classification-based model
Slot Accuracy: 0.973Joint SA: 0.600Inform: 75.1Inform_mct: 90.8
논문 코드
EVA
mauve: 0.968
논문 코드
Yi 34B Chat
Average win rate: 27.2
논문 코드
mm
1 in 10 R@2: 5
논문 코드
∞-former (Sticky memories)
F1: 9.01ROUGE-1: 15.37Rouge-L: 12.56Meteor: 7.55
논문 코드
∞-former (Sticky memories + initialized GPT-2 Small)
Perplexity: 32.48
논문 코드
SpaceFusion
relevance (human): 2.72interest (human): 2.53
논문 -
MrRNN Act.-Ent.
Precision: 4.82Recall: 5.22F1: 4.63
논문 코드
MrRNN Act.-Ent.
Accuracy: 34.48%
논문 코드
MrRNN Act.-Ent.
Precision: 16.84Recall: 9.72F1: 11.43
논문 코드

데이터셋

15개
Persona-ChatOpenViDial 2.0FusedChatHarry Potter Dialogue DatasetAlpacaEvalAmazon-5CMU-DoGPG-19Reddit (multi-ref)Twitter Dialogue (Noun)Twitter Dialogue (Tense)Ubuntu Dialogue (Activity)

논문

라이브러리

Papers with Code 리더보드 row에 연결된 구현 저장소입니다.

github.com/julianser/hed-dlg-truncated 1 논문
github.com/julianser/Ubuntu-Multiresolution-Tools 1 논문
github.com/wayalhruhi/julianser 1 논문
github.com/WolfNiu/AdversarialDialogue 1 논문
github.com/nuochenpku/harry-potter-dialogue-dataset 1 논문
github.com/tomyoung903/fusedchat 1 논문
github.com/01-ai/yi 1 논문
github.com/deep-spin/infinite-former 1 논문

하위 태스크

DG Dialogue Generation 14 데이터셋 · 24 rows