Nvidia AI превращает эскизы в фотореалистичные пейзажи за считанные секунды
Сегодня на Nvidia GTC 2019 компания представила потрясающего создателя имиджа. Используя генеративные состязательные сети, пользователи программного обеспечения с помощью нескольких щелчков мыши могут рисовать изображения, которые почти фотореалистичны. Программное обеспечение мгновенно превратит пару строк в великолепный закат на вершине горы. Это MS Paint для возраста AI.
Программное обеспечение, называемое GauGAN, является просто демонстрацией того, что возможно с платформами нейронных сетей Nvidia. Он предназначен для составления изображения, которое будет рисовать человек, с целью сделать эскиз и превратить его в фотореалистичное фото за считанные секунды. В ранней демоверсии это работает так, как рекламируется.
У GauGAN есть три инструмента: ведро с краской, ручка и карандаш. В нижней части экрана находится серия объектов. Выберите объект облака и нарисуйте линию карандашом, и программа создаст пучок фотореалистичных облаков. Но это не изображения марок. GauGAN дает результаты, уникальные для ввода. Нарисуйте круг и залейте его ведром с краской, и программа создаст летние облака.
Пользователи могут использовать инструменты ввода, чтобы нарисовать форму дерева, и оно создаст дерево. Нарисуйте прямую линию, и она даст голый ствол. Нарисуйте луковицу сверху, и программа заполнит ее листьями, образующими полное дерево.
Гауган также мультимодальный. Если два пользователя создают один и тот же эскиз с одинаковыми настройками, случайные числа, встроенные в проект, гарантируют, что программное обеспечение даст разные результаты.
Для получения результатов в реальном времени GauGAN должен работать на вычислительной платформе Tensor. Nvidia продемонстрировала это программное обеспечение на платформе графического процессора RDX Titan, что позволило ему получать результаты в режиме реального времени. Оператор демонстрации смог нарисовать линию, и программное обеспечение мгновенно дало результаты. Однако Брайан Катандзаро (Bryan Catanzaro), вице-президент по прикладным исследованиям в области глубокого обучения, заявил, что с некоторыми изменениями GauGAN может работать практически на любой платформе, включая процессоры, хотя отображение результатов может занять несколько секунд.
В демоверсии границы между объектами не идеальны, и команда проекта заявляет, что это улучшится. Есть небольшая линия, где два объекта касаются. Nvidia называет результаты фотореалистичными, но под пристальным вниманием не выдерживает критики. Нейронные сети в настоящее время имеют проблемы с объектами, на которых они были обучены, и с тем, чему обучается нейронная сеть. Этот проект надеется сократить этот разрыв.
Nvidia использовала 1 миллион изображений на Flickr для обучения нейронной сети. Большинство поступило от Creative Commons от Flickr, и Катандзаро сказал, что компания использует изображения только с разрешения. Компания говорит, что эта программа может синтезировать сотни тысяч объектов и их связь с другими объектами в реальном мире. В GauGAN смените сезон, и листья исчезнут с веток. Или, если перед деревом есть пруд, дерево будет отражаться в воде.
Nvidia выпустит белую книгу сегодня. Катандзаро отметил, что он был ранее принят к CVPR 2019.
Катандзаро надеется, что это программное обеспечение будет доступно на новой игровой площадке Nvidia , но говорит, что компания должна проделать определенную работу, чтобы это произошло. Он считает, что подобные инструменты используются в видеоиграх для создания более захватывающей среды, но отмечает, что Nvidia не создает программное обеспечение для этого напрямую.
Легко оплакивать легкость, с которой это программное обеспечение может использоваться для создания недостоверных изображений для гнусных целей. И Катандзаро соглашается, что это важная тема, отмечая, что это больше, чем один проект и компания. «Мы очень заботимся об этом, потому что мы хотим сделать мир лучше», — сказал он, добавив, что это проблема доверия, а не проблема технологии, и что мы, как общество, должны решать ее как таковую.
Даже в этой ограниченной демонстрации ясно, что программное обеспечение, созданное на основе этих способностей, понравится всем, от дизайнера видеоигр до архитектора и обычного геймера. Компания не планирует выпускать ее на коммерческой основе, но вскоре может выпустить публичную пробную версию, чтобы позволить кому-либо использовать программное обеспечение.
