0

RoBERTa итерирует процедуру предварительного обучения BERT, включая более длительное обучение модели, с большими партиями данных; удаление задачи предсказания следующего предложения; обучение на более длинных последовательностях; и динамическое изменение маскирующего шаблона, применяемого к обучающим данным. Более подробную информацию см. в соответствующей статье.