LightGPT-instruct-6B
это языковая модель, разработанная AWS Contributors на основе GPT-J 6B. Она была отлажена на наборе данных инструкций OIG-small-chip2, который содержит около 200 тысяч обучающих примеров
и лицензирована под Apache-2.0.
Возможности модели:
Модель предназначена для генерации текста в ответ на запросы с конкретными инструкциями, следуя стандартному формату. Модель распознает завершение своего ответа, когда подсказка заканчивается лексемой ” Response:n”. Модель специально обучена для работы с английскими разговорами.
Развертывание и пример кода:
Поддерживается развертывание модели LightGPT-instruct-6B в Amazon SageMaker, и в документации приведен пример кода, иллюстрирующий этот процесс.
Метрики оценки:
Производительность модели оценивается с помощью различных метрик, включая LAMBADA PPL (недоумение), LAMBADA ACC (точность), WINOGRANDE, HELLASWAG, PIQA и GPT-J.
Ограничения:
В документации указаны некоторые ограничения модели. В частности, она может неточно выполнять длинные инструкции, давать неверные ответы на вопросы по математике и рассуждениям, а также иногда выдавать ложные или вводящие в заблуждение ответы. Кроме того, модели не хватает контекстного понимания, и она генерирует ответы исключительно на основе заданной подсказки.
Пример использования:
Модель LightGPT-instruct-6B – это инструмент генерации естественного языка, подходящий для создания ответов на широкий спектр разговорных запросов, в том числе требующих конкретных инструкций.
0
