PK PyTorchKR Papers
Papers with Code · CC BY-SA 4.0

Dialogue

319 평가 기록 72 datasets

Dialogue is notoriously hard to evaluate. Past approaches have used human evaluation.

개요는 각 항목의 일부입니다. 위 탭에서 전체 기록을 페이지별로 탐색할 수 있습니다.

벤치마크

Papers with Code 아카이브의 데이터셋별 기록 예시입니다. 평가 조건과 지표 방향이 검증되지 않아 순위를 의미하지 않습니다.

Dataset기록된 모델 예시MetricPaperCode
Single
NDCG (x 100): 78.7MRR (x 100): 45.75R@1: 29.5R@5: 65.7
- -
Finstreder (Conformer + AMT, character-based)
Accuracy (%): 99.8
논문 코드
9xFGA (VGG)
MRR: 68.92Mean Rank: 3.39R@1: 55.16R@10: 92.95
논문 코드
HGRU + Beam Search + Guided attention
Accuracy: 85.0
논문 코드
T5-3b(UnifiedSKG)
Entity F1: 70.07
논문 코드
AG-DST
Joint: 91.37
논문 코드
RASAT+PICARD
question match accuracy: 55.7interaction match accuracy: 26.5
논문 코드
CNN-LDE
3 sec: 8.2510 sec: 2.6130 sec: 1.16Average: 4.00
논문 -
Pretrained Hierarchical Transformer
Accuracy: 92.4
논문 -
Seq2Seq-DU-w/oSchema
Joint: 85
논문 코드
Finstreder (Conformer, character-based)
Accuracy (%): 89.0
논문 코드
GALAXY
MultiWOZ (Success): 85.3MultiWOZ (Inform): 94.4BLEU: 20.5
논문 코드

데이터셋

72개
Visual Dialog v1.0 test-stdFluent Speech CommandsVisDial v0.9 valSwitchboard corpusKVRETWizard-of-OzCoSQLLRE07ICSI Meeting Recorder Dialog Act (MRDA) corpusSecond dialogue state tracking challengeSnips-SmartLightsMULTIWOZ 2.0

논문

라이브러리

Papers with Code 리더보드 row에 연결된 구현 저장소입니다.

github.com/julianser/hed-dlg-truncated 1 논문
github.com/julianser/Ubuntu-Multiresolution-Tools 1 논문
github.com/wayalhruhi/julianser 1 논문
github.com/WolfNiu/AdversarialDialogue 1 논문
github.com/nuochenpku/harry-potter-dialogue-dataset 1 논문
github.com/tomyoung903/fusedchat 1 논문
github.com/deep-spin/infinite-former 1 논문
github.com/RUCAIBox/TextBox 1 논문

하위 태스크

VD Visual Dialog 8 데이터셋 · 98 rows DU Dialogue Understanding 19 데이터셋 · 88 rows DS Dialogue State Tracking 7 데이터셋 · 39 rows DG Dialogue Generation 14 데이터셋 · 24 rows DA Dialogue Act Classification 5 데이터셋 · 22 rows TD Task-Oriented Dialogue Systems 6 데이터셋 · 16 rows CD Conversation Disentanglement 3 데이터셋 · 11 rows ED End-To-End Dialogue Modelling 2 데이터셋 · 10 rows PD Problem-Solving Deliberation 1 데이터셋 · 3 rows ER Empathetic Response Generation 1 데이터셋 · 2 rows GD Goal-Oriented Dialog 1 데이터셋 · 1 rows IE Interactive Evaluation of Dialog 1 데이터셋 · 1 rows