Недавно компания Meta выпустила Code Llama – семейство моделей (7, 13 и 34 млрд. параметров), обученных на 500 млрд. лексем кодовых данных. Meta доработала эти базовые модели для двух различных вариантов: специализированного для Python (100 млрд. дополнительных лексем) и доработанной версии, которая понимает инструкции на естественном языке.
Цель этой статьи – помочь читателям легко освоить Code Llama. Мы рассмотрим основные способы доступа к возможностям Code Llama как локально, так и через размещенные сервисы.
Непосредственно из исходного кода
Если вы опытный исследователь/разработчик, вы можете отправить запрос на загрузку веса модели и токенизаторов непосредственно из Meta. Примеры кода для загрузки моделей Code Llama и проведения расчетов можно найти на GitHub.
N.B. Следует помнить, что срок действия ссылок истекает через 24 часа после определенного количества загрузок. Если вы начнете видеть ошибки типа 403: Forbidden, вы всегда можете повторно запросить ссылку.
На платформе Hugging Face
Кроме того, вы можете получить доступ к Code Llama на платформе Hugging Face. Там вы можете найти:
- Модели на хабе с их карточками моделей и лицензией
- Интеграция с Transformers
- Интеграция с Text Generation Inference для быстрой и эффективной работы с готовыми к производству выводами
- Интеграция с конечными точками вывода
- Контрольные примеры кода
Все подробности, включая запуск небольших моделей в бесплатном Google Colab, читайте в этом блоге! В ближайшие дни ожидается много других обновлений от Hugging Face. Они работают над обменом скриптами для обучения моделей, оптимизацией выводов на устройствах, еще более красивыми демонстрациями (и для более мощных моделей) и многим другим.
Code Llama Playground
Это демонстрационный пример генерации текста и кода с помощью модели Code Llama (13B). Обратите внимание, что эта модель предназначена не для обучения, а для заполнения кода. Заполнение кода в настоящее время не поддерживается.
Код Llama внутри чат-бота
Один из самых простых способов опробовать Code Llama – использовать одну из моделей инструкций в разговорном приложении, например в чатботе. Модели инструкций Code Llama специально настроены на понимание подсказок на естественном языке, поэтому пользователи могут просто попросить чатбота написать функцию или уточнить участок кода.
Perplexity Llama Chat
Perplexity AI – это система разговорного поиска на основе ИИ-чата, которая предоставляет ответы на вопросы, используя различные языковые модели. Уже через 6 часов после выхода Code Llama компания Perplexity интегрировала модель 34b-instruct в свое предложение Llama Chat. Чтобы начать работу, достаточно перейти на сайт.
Faraday
Компания Faraday добавила поддержку инструкторских моделей Code Llama 7b, 13b и 34b.
Faraday – это простое в использовании приложение для настольных компьютеров (Mac и Windows), позволяющее пользователям общаться с “персонажами” искусственного интеллекта в автономном режиме. Это приложение устанавливается на рабочий стол одним щелчком мыши и “работает” сразу же после установки (GPU и Metal-ускорение включены!). Модели ИИ, на которых работает Faraday, хранятся на 100% локально на вашем компьютере. Данные чата сохраняются на вашем компьютере и никогда не отправляются на удаленный сервер.
Code Llama 13B Chat на Hugging Face
Вы также можете посмотреть демонстрацию CodeLlama-13b-Instruct в этом разделе на сайте Hugging Face. Вы можете поиграть с ней как есть или продублировать, чтобы запустить генерации без очереди! Если вы хотите запустить свой собственный сервис, вы также можете развернуть модель на конечных точках Inference Endpoints.
Code Llama внутри вашей IDE
Для большинства разработчиков Code Llama может использоваться в качестве второго пилота в VSCode и других IDE. Вот некоторые варианты:
CodeGPT + Ollama
- Установите Ollama на свой Mac для локального запуска различных моделей с открытым исходным кодом. В настоящее время Ollama поддерживает инструктивную модель Code Llama 7B, поддержка других моделей появится в ближайшее время.
- Установите CodeGPT и выполните следующие инструкции для подключения Ollama.
Continue + Ollama /TogetherAI/Replicate
С помощью расширения Continue VS Code Extension вы можете использовать Code Llama в качестве замены GPT-4, как при локальном запуске с помощью Ollama или TogetherAI, так и через Replicate.
- Установите расширение Continue VS Code
- Следуйте этим инструкциям, чтобы использовать Ollama, TogetherAI или через Replicate
P.S. Вероятно, расширение VSCode Hugging Face в ближайшее время будет обновлено для поддержки Code Llama.
