Главное меню » Google Research Dremix
Google Research Dremix

Модели диффузии изображений и видео, управляемые текстом, недавно достигли беспрецедентного реализма при создании. В то время как диффузионные модели успешно применяются для редактирования изображений, очень немногие работы делают это для редактирования видео. Мы представляем первый метод, основанный на диффузии, который может выполнять текстовое редактирование движения и внешнего вида видео общего назначения. Наш подход использует диффузионную модель видео для объединения во время вывода пространственно-временной информации низкого разрешения из исходного видео с новой информацией высокого разрешения, синтезированной для согласования с направляющим текстом. Поскольку для достижения высокой точности исходного видео необходимо сохранить часть его информации высокого разрешения, мы добавляем предварительный этап настройки модели на исходном видео, что значительно повышает точность. Мы предлагаем улучшить редактируемость движения с помощью новой, смешанной задачи, которая совместно настраивает модель с полным временным вниманием и с маскировкой временного внимания. Далее мы представляем новый фреймворк для анимации изображений. Сначала мы преобразуем изображение в грубое видео с помощью простых операций обработки изображений, таких как репликация и перспективные геометрические проекции, а затем используем наш общий видеоредактор для анимации. В качестве дальнейшего применения мы можем использовать наш метод для создания видео, управляемого субъектом. Обширные качественные и численные эксперименты демонстрируют замечательную способность нашего метода к редактированию и подтверждают его превосходство по сравнению с базовыми методами.

Вам может быть интересно:

Другие компании, работающие в сфере искусственного интеллекта

Для работы сайта aiomnitech.com нужны файлы cookie и сервисы аналитики. Продолжая использование сайта, вы соглашаетесь с нашей Политикой использования файлов cookie. Вы можете запретить файлы cookie в вашем браузере. Принять Политика использования файлов cookie