Новая технология на основе искусственного интеллекта дает поразительные результаты.
NVIDIA продемонстрировала новую технологию на основе искусственного интеллекта, которая удивительно реалистично восстанавливает изображения. В этом 2-минутном видео компания знакомит со своей разработкой и приводит поразительные примеры его работы:
Что удивительно, инструмент NVIDIA не просто получает информацию от ближайших пикселей, чтобы восстановить пробелы в изображении (как это делает Photoshop) – она понимает, как должен выглядеть восстанавливаемый объект.
Например, при использовании инструмента “Заливка с учетом содержимого” для восстановления глаза на портрете, Photoshop заполнит пробел, используя окружающие черты – кожу, бровь, нос. Инструмент NVIDIA использует глубокое обучение и “знает”, что на этом месте должен быть глаз – и заполняет его сгенерированным программой глазом.
Вот пример работы обоих инструментов с портретом, где отсутствует большое количество пикселей.
Портрет с большим числом пробелов
Вот что получится в Photoshop, при использовании инструмента “Заливка с учетом содержимого”:
А вот что делает технология NVIDIA:
Хотя результат и не идеален, он значительно ближе к оригиналу, чем восстановление в Photoshop, на основе окружающих пикселей:
Оригинальное фото
Новый инструмент может использоваться как для восстановления пустых мест на изображении, так и для удаления существующих на нем объектов.
Исследователи из NVIDIA опубликовали работу, посвященную этой разработке – найти ее можно здесь.
“Наша модель способна качественно заполнять пробелы любой формы в любом месте и на любом расстоянии от края изображения, – говорится в ней. – Прежние же подходы с использованием глубокого обучения работали главным образом с прямоугольными регионами в центре изображения, и часто основывались на дорогой постобработке. Кроме того, наша модель хорошо справляется с пустотами крупных размеров”.
Разработчики обучили свой ИИ с помощью 55 116 рандомных масок пустот на большом количестве изображений. Изучая версии с пропущенными местами и оригинальные изображения, нейросеть научилась восстанавливать отсутствующие пиксели на фото. Для тестовой фазы использовались дополнительные 25 тысяч масок.
Вот еще несколько примеров того, как технология NVIDIA восстанавливает сильно поврежденные изображения:
Правда, пока нет никакой информации, будет ли эта технология использоваться в реальном программном обеспечении, и если да, то когда.
Источник:
