Модель XLNet была предложена в книге XLNet: Generalized Autoregressive Pretraining for Language Understanding» Жилином Яном, Зиханом Даем, Йимином Яном, Хайме Карбонеллом, Русланом Салахутдиновым, Куоком В. Ле. XLnet — это расширение модели Transformer-XL, предварительно обученной с помощью авторегрессионного метода для изучения двунаправленных контекстов путем максимизации ожидаемого правдоподобия при всех перестановках порядка факторизации входной последовательности.