Henry

Henry

Did You Know?

Clarity is the soul of great writing.

[Summary] RoBERTa: A Robustly Optimized BERT Pre-training Approach

Background Paper link: https://arxiv.org/abs/1907.11692 Paper code: https://github.com/pytorch/fairseq Introduction Mô hình RoBERTa (A Robustly Optimized BERT) là phiên bản cải tiến của BERT (A Robustly Optimized BERT). So với BERT, về quy mô mô hình, khả năng tính toán và dữ