DreamFusion
это продукт, использующий генеративную модель «текст-изображение» под названием Imagen для оптимизации 3D-сцены.
В продукте реализована функция Score Distillation Sampling (SDS)
способ генерации образцов из диффузионной модели путем оптимизации функции потерь. SDS позволяет оптимизировать выборки в произвольном пространстве параметров, например, в 3D-пространстве.
Для определения этого дифференцируемого отображения в продукте используется параметризация 3D-сцены, аналогичная Neural Radiance Fields. DreamFusion добавляет дополнительные регуляризаторы и стратегии оптимизации для улучшения геометрии, в результате чего получаются согласованные, высококачественные нормали, геометрия поверхности и глубина, а также пересвечиваемые NeRF с ламбертианской моделью затенения.
Сферы применения DreamFusion включают оптимизацию 3D-сцен для различных приложений, таких как видеоигры, виртуальная реальность и кинопроизводство.
0
