Новая система на базе технологий ИИ GauGAN2 позволяет создавать правдоподобные фотографии несуществующих пейзажей.
Компания Nvidia представила новую систему на базе технологий искусственного интеллекта GauGAN2 (преемник первой модели GauGAN), позволяющую создавать правдоподобные фотографии несуществующих пейзажей. С помощью таких техник, как сегментированное картирование, ретушь и преобразование текста в изображение, GauGAN2 способна создавать реалистичные изображения на основе текста и набросков от руки.
«По сравнению с другими передовыми моделями, в особенности для преобразования текста в изображение или сегментов карт в изображение, лежащая в основе GauGAN2 нейронная сеть производит более разнообразные и качественные изображения. Вместо прорисовки каждого элемента воображаемого изображения, пользователи могут просто ввести короткую фразу и сгенерировать его ключевые особенности и сюжет наподобие заснеженного горного хребта. Эту стартовую заготовку потом можно дорисовать, сделав ту или иную гору выше и добавив деревья на заднем плане или облака в небе», — сообщила участница команды Nvidia Иша Салиан (Isha Salian).
GauGAN2 является улучшенной версией системы GauGAN, созданной в 2019 году и обученной на более миллиона открытых изображений с платформы Flickr. Как и GauGAN, GauGAN2 понимает взаимосвязи между объектами, такими как снег, деревья, вода, цветы, кусты, холмы и горы и «осознает», что тип осадков меняется в зависимости от времени года.
разместить контекстную рекламу
И GauGAN, и GauGAN2 представляют собой генеративно-состязательную сеть (generative adversarial network, GAN), состоящую из генератора и дискриминатора. Генератор берет образцы (изображения с сопроводительным текстом) и предполагает, какие данные (слова) соответствуют другим данных (элементам пейзажа). Генератор обучен путем обмана дискриминатора, который оценивает, соответствуют ли эти предположения истине. Хотя переходы GAN обычно имеют низкое качество, они улучшаются с помощью ответной реакции дискриминатора.
В отличие от GauGAN, GauGAN2 обучена на 10 млн изображений и способна переводить речевые описания в изображения пейзажей. Если ввести текст наподобие «закат на пляже», сеть сгенерирует соответствующее изображение, а если расширить фразу до «закат на каменистом пляже» или заменить «закат» на «полдень» или «дождливый день», в изображении появятся соответствующие изменения.
С помощью GauGAN2 пользователи могут генерировать сегментированные карты — высокоуровневые эскизы, показывающие расположение объектов на изображении. Этот эскиз затем можно превратить в рисунок, добавив в него грубые наброски с помощью маркировки «небо», «дерево», «камень» и «река» или дорисовки вручную с помощью инструмента «кисть».
Как заявляет Nvidia, первая версия GauGAN уже используется для создания концепт-арта для кинофильмов и видеоигр. Как и в случае с GauGAN, компания планирует выложить код GauGAN2 на GitHub вместе с интерактивной демонстрацией на Playground — web-хабе для исследований искусственного интеллекта Nvidia и глубокого обучения.
разместить контекстную рекламу
