| En-BERT + TDA + PCA |
- Accuracy
- 88.6%
|
Acceptability Judgements via Examining the Topology of Attention Maps
2022-05-19 |
코드 1 |
| BERT+TDA |
- Accuracy
- 88.2%
- MCC
- 0.726
|
Can BERT eat RuCoLA? Topological Data Analysis to Explain
2023-04-04 |
코드 1 · 코드 2 |
| RoBERTa+TDA |
- Accuracy
- 87.3%
- MCC
- 0.695
|
Can BERT eat RuCoLA? Topological Data Analysis to Explain
2023-04-04 |
코드 1 · 코드 2 |
| deberta-v3-base+tasksource |
- Accuracy
- 87.15%
|
tasksource: A Dataset Harmonization Framework for Streamlined NLP Multi-Task Learning and Evaluation
2023-01-14 |
코드 1 |
| RoBERTa-large 355M + Entailment as Few-shot Learner |
- Accuracy
- 86.4%
|
Entailment as Few-Shot Learner
2021-04-29 |
코드 1 · 코드 2 · 코드 3 |
| LTG-BERT-base 98M |
- Accuracy
- 82.7
|
Not all layers are equally as important: Every Layer Counts BERT
2023-11-03 |
연결 없음 |
| ELC-BERT-base 98M |
- Accuracy
- 82.6
|
Not all layers are equally as important: Every Layer Counts BERT
2023-11-03 |
연결 없음 |
| En-BERT + TDA |
- Accuracy
- 82.1%
- MCC
- 0.565
|
Acceptability Judgements via Examining the Topology of Attention Maps
2022-05-19 |
코드 1 |
| FNet-Large |
- Accuracy
- 78%
|
FNet: Mixing Tokens with Fourier Transforms
2021-05-09 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 |
| LTG-BERT-small 24M |
- Accuracy
- 77.6
|
Not all layers are equally as important: Every Layer Counts BERT
2023-11-03 |
연결 없음 |
| ELC-BERT-small 24M |
- Accuracy
- 76.1
|
Not all layers are equally as important: Every Layer Counts BERT
2023-11-03 |
연결 없음 |
| T5-11B |
- Accuracy
- 70.8%
|
Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
2019-10-23 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 |
| StructBERTRoBERTa ensemble |
- Accuracy
- 69.2%
|
StructBERT: Incorporating Language Structures into Pre-training for Deep Language Understanding
2019-08-13 |
연결 없음 |
| ALBERT |
- Accuracy
- 69.1%
|
ALBERT: A Lite BERT for Self-supervised Learning of Language Representations
2019-09-26 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 |
| XLNet (single model) |
- Accuracy
- 69%
|
XLNet: Generalized Autoregressive Pretraining for Language Understanding
2019-06-19 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 |
| FLOATER-large |
- Accuracy
- 69%
|
Learning to Encode Position for Transformer with Continuous Dynamical Model
2020-03-13 |
코드 1 |
| RoBERTa-large 355M (MLP quantized vector-wise, fine-tuned) |
- Accuracy
- 68.6%
|
LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale
2022-08-15 |
코드 1 · 코드 2 · 코드 3 · 코드 4 |
| MT-DNN |
- Accuracy
- 68.4%
|
Multi-Task Deep Neural Networks for Natural Language Understanding
2019-01-31 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 |
| ELECTRA |
- Accuracy
- 68.2%
|
연결 없음
논문 날짜 미기재 |
연결 없음 |
| RoBERTa (ensemble) |
- Accuracy
- 67.8%
|
RoBERTa: A Robustly Optimized BERT Pretraining Approach
2019-07-26 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 · 코드 58 · 코드 59 · 코드 60 · 코드 61 · 코드 62 · 코드 63 · 코드 64 · 코드 65 · 코드 66 · 코드 67 |
| PSQ (Chen et al., 2020) |
- Accuracy
- 67.5
|
A Statistical Framework for Low-bitwidth Training of Deep Neural Networks
2020-10-27 |
코드 1 · 코드 2 |
| T5-XL 3B |
- Accuracy
- 67.1%
|
Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
2019-10-23 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 |
| Q-BERT (Shen et al., 2020) |
- Accuracy
- 65.1
|
Q-BERT: Hessian Based Ultra Low Precision Quantization of BERT
2019-09-12 |
연결 없음 |
| Q8BERT (Zafrir et al., 2019) |
- Accuracy
- 65.0
|
Q8BERT: Quantized 8Bit BERT
2019-10-14 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 |
| SpanBERT |
- Accuracy
- 64.3%
|
SpanBERT: Improving Pre-training by Representing and Predicting Spans
2019-07-24 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 |
| MLM+ del-span+ reorder |
- Accuracy
- 64.3%
|
CLEAR: Contrastive Learning for Sentence Representation
2020-12-31 |
연결 없음 |
| ERNIE 2.0 Large |
- Accuracy
- 63.5%
|
ERNIE 2.0: A Continual Pre-training Framework for Language Understanding
2019-07-29 |
코드 1 · 코드 2 · 코드 3 |
| T5-Large 770M |
- Accuracy
- 61.2%
|
Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
2019-10-23 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 |
| BERT-LARGE |
- Accuracy
- 60.5%
|
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
2018-10-11 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 · 코드 58 · 코드 59 · 코드 60 · 코드 61 · 코드 62 · 코드 63 · 코드 64 · 코드 65 · 코드 66 · 코드 67 · 코드 68 · 코드 69 · 코드 70 · 코드 71 · 코드 72 · 코드 73 · 코드 74 · 코드 75 · 코드 76 · 코드 77 · 코드 78 · 코드 79 · 코드 80 · 코드 81 · 코드 82 · 코드 83 · 코드 84 · 코드 85 · 코드 86 · 코드 87 · 코드 88 · 코드 89 · 코드 90 · 코드 91 · 코드 92 · 코드 93 · 코드 94 · 코드 95 · 코드 96 · 코드 97 · 코드 98 · 코드 99 · 코드 100 · 코드 101 · 코드 102 · 코드 103 · 코드 104 · 코드 105 · 코드 106 · 코드 107 · 코드 108 · 코드 109 · 코드 110 · 코드 111 · 코드 112 · 코드 113 · 코드 114 · 코드 115 · 코드 116 · 코드 117 · 코드 118 · 코드 119 · 코드 120 · 코드 121 · 코드 122 · 코드 123 · 코드 124 · 코드 125 · 코드 126 · 코드 127 · 코드 128 · 코드 129 · 코드 130 · 코드 131 · 코드 132 · 코드 133 · 코드 134 · 코드 135 · 코드 136 · 코드 137 · 코드 138 · 코드 139 · 코드 140 · 코드 141 · 코드 142 · 코드 143 · 코드 144 · 코드 145 · 코드 146 · 코드 147 · 코드 148 · 코드 149 · 코드 150 · 코드 151 · 코드 152 · 코드 153 · 코드 154 · 코드 155 · 코드 156 · 코드 157 · 코드 158 · 코드 159 · 코드 160 · 코드 161 · 코드 162 · 코드 163 · 코드 164 · 코드 165 · 코드 166 · 코드 167 · 코드 168 · 코드 169 · 코드 170 · 코드 171 · 코드 172 · 코드 173 · 코드 174 · 코드 175 · 코드 176 · 코드 177 · 코드 178 · 코드 179 · 코드 180 · 코드 181 · 코드 182 · 코드 183 · 코드 184 · 코드 185 · 코드 186 · 코드 187 · 코드 188 · 코드 189 · 코드 190 · 코드 191 · 코드 192 · 코드 193 · 코드 194 · 코드 195 · 코드 196 · 코드 197 · 코드 198 · 코드 199 · 코드 200 · 코드 201 · 코드 202 · 코드 203 · 코드 204 · 코드 205 · 코드 206 · 코드 207 · 코드 208 · 코드 209 · 코드 210 · 코드 211 · 코드 212 · 코드 213 · 코드 214 · 코드 215 · 코드 216 · 코드 217 · 코드 218 · 코드 219 · 코드 220 · 코드 221 · 코드 222 · 코드 223 · 코드 224 · 코드 225 · 코드 226 · 코드 227 · 코드 228 · 코드 229 · 코드 230 · 코드 231 · 코드 232 · 코드 233 · 코드 234 · 코드 235 · 코드 236 · 코드 237 · 코드 238 · 코드 239 · 코드 240 · 코드 241 · 코드 242 · 코드 243 · 코드 244 · 코드 245 · 코드 246 · 코드 247 · 코드 248 · 코드 249 · 코드 250 · 코드 251 · 코드 252 · 코드 253 · 코드 254 · 코드 255 · 코드 256 · 코드 257 · 코드 258 · 코드 259 · 코드 260 · 코드 261 · 코드 262 · 코드 263 · 코드 264 · 코드 265 · 코드 266 · 코드 267 · 코드 268 · 코드 269 · 코드 270 · 코드 271 · 코드 272 · 코드 273 · 코드 274 · 코드 275 · 코드 276 · 코드 277 · 코드 278 · 코드 279 · 코드 280 · 코드 281 · 코드 282 · 코드 283 · 코드 284 · 코드 285 · 코드 286 · 코드 287 · 코드 288 · 코드 289 · 코드 290 · 코드 291 · 코드 292 · 코드 293 · 코드 294 · 코드 295 · 코드 296 · 코드 297 · 코드 298 · 코드 299 · 코드 300 · 코드 301 · 코드 302 · 코드 303 · 코드 304 · 코드 305 · 코드 306 · 코드 307 · 코드 308 · 코드 309 · 코드 310 · 코드 311 · 코드 312 · 코드 313 · 코드 314 · 코드 315 · 코드 316 · 코드 317 · 코드 318 · 코드 319 · 코드 320 · 코드 321 · 코드 322 · 코드 323 · 코드 324 · 코드 325 · 코드 326 · 코드 327 · 코드 328 · 코드 329 · 코드 330 · 코드 331 · 코드 332 · 코드 333 · 코드 334 · 코드 335 · 코드 336 · 코드 337 · 코드 338 · 코드 339 · 코드 340 · 코드 341 · 코드 342 · 코드 343 · 코드 344 · 코드 345 · 코드 346 · 코드 347 · 코드 348 · 코드 349 · 코드 350 · 코드 351 · 코드 352 · 코드 353 · 코드 354 · 코드 355 · 코드 356 · 코드 357 · 코드 358 · 코드 359 · 코드 360 · 코드 361 · 코드 362 · 코드 363 · 코드 364 · 코드 365 · 코드 366 · 코드 367 · 코드 368 · 코드 369 · 코드 370 · 코드 371 · 코드 372 · 코드 373 · 코드 374 · 코드 375 · 코드 376 · 코드 377 · 코드 378 · 코드 379 · 코드 380 · 코드 381 · 코드 382 · 코드 383 · 코드 384 · 코드 385 · 코드 386 · 코드 387 · 코드 388 · 코드 389 · 코드 390 · 코드 391 · 코드 392 · 코드 393 · 코드 394 · 코드 395 · 코드 396 · 코드 397 · 코드 398 · 코드 399 · 코드 400 · 코드 401 · 코드 402 · 코드 403 · 코드 404 · 코드 405 · 코드 406 · 코드 407 · 코드 408 · 코드 409 · 코드 410 · 코드 411 · 코드 412 · 코드 413 · 코드 414 · 코드 415 · 코드 416 · 코드 417 · 코드 418 · 코드 419 · 코드 420 · 코드 421 · 코드 422 · 코드 423 · 코드 424 · 코드 425 · 코드 426 · 코드 427 · 코드 428 · 코드 429 · 코드 430 · 코드 431 · 코드 432 · 코드 433 · 코드 434 · 코드 435 · 코드 436 · 코드 437 · 코드 438 · 코드 439 · 코드 440 · 코드 441 · 코드 442 · 코드 443 · 코드 444 · 코드 445 · 코드 446 · 코드 447 · 코드 448 · 코드 449 · 코드 450 · 코드 451 · 코드 452 · 코드 453 · 코드 454 · 코드 455 · 코드 456 · 코드 457 · 코드 458 · 코드 459 · 코드 460 · 코드 461 · 코드 462 · 코드 463 · 코드 464 · 코드 465 · 코드 466 · 코드 467 · 코드 468 · 코드 469 · 코드 470 · 코드 471 · 코드 472 · 코드 473 · 코드 474 · 코드 475 · 코드 476 · 코드 477 · 코드 478 · 코드 479 · 코드 480 · 코드 481 · 코드 482 · 코드 483 · 코드 484 · 코드 485 · 코드 486 · 코드 487 · 코드 488 · 코드 489 · 코드 490 · 코드 491 · 코드 492 · 코드 493 · 코드 494 · 코드 495 · 코드 496 · 코드 497 · 코드 498 · 코드 499 · 코드 500 · 코드 501 · 코드 502 · 코드 503 · 코드 504 · 코드 505 · 코드 506 · 코드 507 · 코드 508 · 코드 509 · 코드 510 · 코드 511 · 코드 512 · 코드 513 · 코드 514 · 코드 515 · 코드 516 · 코드 517 · 코드 518 · 코드 519 · 코드 520 · 코드 521 · 코드 522 · 코드 523 · 코드 524 · 코드 525 · 코드 526 · 코드 527 · 코드 528 · 코드 529 · 코드 530 · 코드 531 · 코드 532 · 코드 533 · 코드 534 |
| data2vec |
- Accuracy
- 60.3%
|
data2vec: A General Framework for Self-supervised Learning in Speech, Vision and Language
2022-02-07 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 |