| ALICE |
- F1
- 90.7
|
SMART: Robust and Efficient Fine-Tuning for Pre-trained Natural Language Models through Principled Regularized Optimization
2019-11-08 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 |
| RoBERTa-large 355M + Entailment as Few-shot Learner |
- F1
- 89.2
|
Entailment as Few-Shot Learner
2021-04-29 |
코드 1 · 코드 2 · 코드 3 |
| Charformer-Tall |
- Accuracy
- 91.4
- F1
- 88.5
|
Charformer: Fast Character Transformers via Gradient-based Subword Tokenization
2021-06-23 |
코드 1 · 코드 2 |
| RealFormer |
- Accuracy
- 91.34
- F1
- 88.28
|
RealFormer: Transformer Likes Residual Attention
2020-12-21 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 |
| FNet-Large |
- F1
- 85
|
FNet: Mixing Tokens with Fourier Transforms
2021-05-09 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 |
| StructBERTRoBERTa ensemble |
- Accuracy
- 90.7
- F1
- 74.4
|
StructBERT: Incorporating Language Structures into Pre-training for Deep Language Understanding
2019-08-13 |
연결 없음 |
| XLNet-Large (ensemble) |
- Accuracy
- 90.3
- F1
- 74.2
|
XLNet: Generalized Autoregressive Pretraining for Language Understanding
2019-06-19 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 |
| ASA + RoBERTa |
- F1
- 73.7
|
Adversarial Self-Attention for Language Understanding
2022-06-25 |
코드 1 |
| Snorkel MeTaL(ensemble) |
- Accuracy
- 89.9
- F1
- 73.1
|
Training Complex Models with Multi-Task Weak Supervision
2018-10-05 |
코드 1 |
| MT-DNN |
- Accuracy
- 89.6
- F1
- 72.4
|
Multi-Task Deep Neural Networks for Natural Language Understanding
2019-01-31 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 |
| ASA + BERT-base |
- F1
- 72.3
|
Adversarial Self-Attention for Language Understanding
2022-06-25 |
코드 1 |
| BERT-LARGE |
- F1
- 72.1
|
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
2018-10-11 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 · 코드 58 · 코드 59 · 코드 60 · 코드 61 · 코드 62 · 코드 63 · 코드 64 · 코드 65 · 코드 66 · 코드 67 · 코드 68 · 코드 69 · 코드 70 · 코드 71 · 코드 72 · 코드 73 · 코드 74 · 코드 75 · 코드 76 · 코드 77 · 코드 78 · 코드 79 · 코드 80 · 코드 81 · 코드 82 · 코드 83 · 코드 84 · 코드 85 · 코드 86 · 코드 87 · 코드 88 · 코드 89 · 코드 90 · 코드 91 · 코드 92 · 코드 93 · 코드 94 · 코드 95 · 코드 96 · 코드 97 · 코드 98 · 코드 99 · 코드 100 · 코드 101 · 코드 102 · 코드 103 · 코드 104 · 코드 105 · 코드 106 · 코드 107 · 코드 108 · 코드 109 · 코드 110 · 코드 111 · 코드 112 · 코드 113 · 코드 114 · 코드 115 · 코드 116 · 코드 117 · 코드 118 · 코드 119 · 코드 120 · 코드 121 · 코드 122 · 코드 123 · 코드 124 · 코드 125 · 코드 126 · 코드 127 · 코드 128 · 코드 129 · 코드 130 · 코드 131 · 코드 132 · 코드 133 · 코드 134 · 코드 135 · 코드 136 · 코드 137 · 코드 138 · 코드 139 · 코드 140 · 코드 141 · 코드 142 · 코드 143 · 코드 144 · 코드 145 · 코드 146 · 코드 147 · 코드 148 · 코드 149 · 코드 150 · 코드 151 · 코드 152 · 코드 153 · 코드 154 · 코드 155 · 코드 156 · 코드 157 · 코드 158 · 코드 159 · 코드 160 · 코드 161 · 코드 162 · 코드 163 · 코드 164 · 코드 165 · 코드 166 · 코드 167 · 코드 168 · 코드 169 · 코드 170 · 코드 171 · 코드 172 · 코드 173 · 코드 174 · 코드 175 · 코드 176 · 코드 177 · 코드 178 · 코드 179 · 코드 180 · 코드 181 · 코드 182 · 코드 183 · 코드 184 · 코드 185 · 코드 186 · 코드 187 · 코드 188 · 코드 189 · 코드 190 · 코드 191 · 코드 192 · 코드 193 · 코드 194 · 코드 195 · 코드 196 · 코드 197 · 코드 198 · 코드 199 · 코드 200 · 코드 201 · 코드 202 · 코드 203 · 코드 204 · 코드 205 · 코드 206 · 코드 207 · 코드 208 · 코드 209 · 코드 210 · 코드 211 · 코드 212 · 코드 213 · 코드 214 · 코드 215 · 코드 216 · 코드 217 · 코드 218 · 코드 219 · 코드 220 · 코드 221 · 코드 222 · 코드 223 · 코드 224 · 코드 225 · 코드 226 · 코드 227 · 코드 228 · 코드 229 · 코드 230 · 코드 231 · 코드 232 · 코드 233 · 코드 234 · 코드 235 · 코드 236 · 코드 237 · 코드 238 · 코드 239 · 코드 240 · 코드 241 · 코드 242 · 코드 243 · 코드 244 · 코드 245 · 코드 246 · 코드 247 · 코드 248 · 코드 249 · 코드 250 · 코드 251 · 코드 252 · 코드 253 · 코드 254 · 코드 255 · 코드 256 · 코드 257 · 코드 258 · 코드 259 · 코드 260 · 코드 261 · 코드 262 · 코드 263 · 코드 264 · 코드 265 · 코드 266 · 코드 267 · 코드 268 · 코드 269 · 코드 270 · 코드 271 · 코드 272 · 코드 273 · 코드 274 · 코드 275 · 코드 276 · 코드 277 · 코드 278 · 코드 279 · 코드 280 · 코드 281 · 코드 282 · 코드 283 · 코드 284 · 코드 285 · 코드 286 · 코드 287 · 코드 288 · 코드 289 · 코드 290 · 코드 291 · 코드 292 · 코드 293 · 코드 294 · 코드 295 · 코드 296 · 코드 297 · 코드 298 · 코드 299 · 코드 300 · 코드 301 · 코드 302 · 코드 303 · 코드 304 · 코드 305 · 코드 306 · 코드 307 · 코드 308 · 코드 309 · 코드 310 · 코드 311 · 코드 312 · 코드 313 · 코드 314 · 코드 315 · 코드 316 · 코드 317 · 코드 318 · 코드 319 · 코드 320 · 코드 321 · 코드 322 · 코드 323 · 코드 324 · 코드 325 · 코드 326 · 코드 327 · 코드 328 · 코드 329 · 코드 330 · 코드 331 · 코드 332 · 코드 333 · 코드 334 · 코드 335 · 코드 336 · 코드 337 · 코드 338 · 코드 339 · 코드 340 · 코드 341 · 코드 342 · 코드 343 · 코드 344 · 코드 345 · 코드 346 · 코드 347 · 코드 348 · 코드 349 · 코드 350 · 코드 351 · 코드 352 · 코드 353 · 코드 354 · 코드 355 · 코드 356 · 코드 357 · 코드 358 · 코드 359 · 코드 360 · 코드 361 · 코드 362 · 코드 363 · 코드 364 · 코드 365 · 코드 366 · 코드 367 · 코드 368 · 코드 369 · 코드 370 · 코드 371 · 코드 372 · 코드 373 · 코드 374 · 코드 375 · 코드 376 · 코드 377 · 코드 378 · 코드 379 · 코드 380 · 코드 381 · 코드 382 · 코드 383 · 코드 384 · 코드 385 · 코드 386 · 코드 387 · 코드 388 · 코드 389 · 코드 390 · 코드 391 · 코드 392 · 코드 393 · 코드 394 · 코드 395 · 코드 396 · 코드 397 · 코드 398 · 코드 399 · 코드 400 · 코드 401 · 코드 402 · 코드 403 · 코드 404 · 코드 405 · 코드 406 · 코드 407 · 코드 408 · 코드 409 · 코드 410 · 코드 411 · 코드 412 · 코드 413 · 코드 414 · 코드 415 · 코드 416 · 코드 417 · 코드 418 · 코드 419 · 코드 420 · 코드 421 · 코드 422 · 코드 423 · 코드 424 · 코드 425 · 코드 426 · 코드 427 · 코드 428 · 코드 429 · 코드 430 · 코드 431 · 코드 432 · 코드 433 · 코드 434 · 코드 435 · 코드 436 · 코드 437 · 코드 438 · 코드 439 · 코드 440 · 코드 441 · 코드 442 · 코드 443 · 코드 444 · 코드 445 · 코드 446 · 코드 447 · 코드 448 · 코드 449 · 코드 450 · 코드 451 · 코드 452 · 코드 453 · 코드 454 · 코드 455 · 코드 456 · 코드 457 · 코드 458 · 코드 459 · 코드 460 · 코드 461 · 코드 462 · 코드 463 · 코드 464 · 코드 465 · 코드 466 · 코드 467 · 코드 468 · 코드 469 · 코드 470 · 코드 471 · 코드 472 · 코드 473 · 코드 474 · 코드 475 · 코드 476 · 코드 477 · 코드 478 · 코드 479 · 코드 480 · 코드 481 · 코드 482 · 코드 483 · 코드 484 · 코드 485 · 코드 486 · 코드 487 · 코드 488 · 코드 489 · 코드 490 · 코드 491 · 코드 492 · 코드 493 · 코드 494 · 코드 495 · 코드 496 · 코드 497 · 코드 498 · 코드 499 · 코드 500 · 코드 501 · 코드 502 · 코드 503 · 코드 504 · 코드 505 · 코드 506 · 코드 507 · 코드 508 · 코드 509 · 코드 510 · 코드 511 · 코드 512 · 코드 513 · 코드 514 · 코드 515 · 코드 516 · 코드 517 · 코드 518 · 코드 519 · 코드 520 · 코드 521 · 코드 522 · 코드 523 · 코드 524 · 코드 525 · 코드 526 · 코드 527 · 코드 528 · 코드 529 · 코드 530 · 코드 531 · 코드 532 · 코드 533 · 코드 534 |
| SpanBERT |
- Accuracy
- 89.5
- F1
- 71.9
|
SpanBERT: Improving Pre-training by Representing and Predicting Spans
2019-07-24 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 |
| TinyBERT |
- F1
- 71.3
|
TinyBERT: Distilling BERT for Natural Language Understanding
2019-09-23 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 |
| ERNIE |
- F1
- 71.2
|
ERNIE: Enhanced Language Representation with Informative Entities
2019-05-17 |
코드 1 · 코드 2 |
| data2vec |
- Accuracy
- 92.4
|
data2vec: A General Framework for Self-supervised Learning in Speech, Vision and Language
2022-02-07 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 |
| MFAE |
- Accuracy
- 90.54
|
What Do Questions Exactly Ask? MFAE: Duplicate Question Identification with Multi-Fusion Asking Emphasis
2020-05-07 |
코드 1 |
| RE2 |
- Accuracy
- 89.2
|
Simple and Effective Text Matching with Richer Alignment Features
2019-08-01 |
코드 1 · 코드 2 · 코드 3 |
| MwAN |
- Accuracy
- 89.12
|
Multiway Attention Networks for Modeling Sentence Pairs
2018-07-01 |
코드 1 |
| DIIN |
- Accuracy
- 89.06
|
Natural Language Inference over Interaction Space
2017-09-13 |
코드 1 · 코드 2 |
| MSEM |
- Accuracy
- 88.86
|
Multi-task Sentence Encoding Model for Semantic Retrieval in Question Answering Systems
2019-11-18 |
연결 없음 |
| Bi-CAS-LSTM |
- Accuracy
- 88.6
|
Cell-aware Stacked LSTMs for Modeling Sentences
2018-09-07 |
연결 없음 |
| pt-DecAtt |
- Accuracy
- 88.40
|
Neural Paraphrase Identification of Questions with Noisy Pretraining
2017-04-15 |
연결 없음 |
| TRANS-BLSTM |
- Accuracy
- 88.28
|
TRANS-BLSTM: Transformer with Bidirectional LSTM for Language Understanding
2020-03-16 |
연결 없음 |
| BiMPM |
- Accuracy
- 88.17
|
Bilateral Multi-Perspective Matching for Natural Language Sentences
2017-02-13 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 |
| GenSen |
- Accuracy
- 87.01
|
Learning General Purpose Distributed Sentence Representations via Large Scale Multi-task Learning
2018-03-30 |
코드 1 · 코드 2 · 코드 3 · 코드 4 |
| 1-3[0.8pt/2pt] Random |
- Accuracy
- 80
|
Self-Explaining Structures Improve NLP Models
2020-12-03 |
코드 1 |
| FreeLB |
- Accuracy
- 74.8
- Dev Accuracy
- 92.6
|
SMART: Robust and Efficient Fine-Tuning for Pre-trained Natural Language Models through Principled Regularized Optimization
2019-11-08 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 |
| BERT-Base |
- Direct Intrinsic Dimension
- 9295
- Structure Aware Intrinsic Dimension
- 8030
|
Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning
2020-12-22 |
코드 1 · 코드 2 |
| SMART-BERT |
- Dev Accuracy
- 91.5
- Dev F1
- 88.5
|
SMART: Robust and Efficient Fine-Tuning for Pre-trained Natural Language Models through Principled Regularized Optimization
2019-11-08 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 |