Их программное обеспечение под названием «Photo Wake-Up» позволяет анимационным персонажам просто «уходить» из статического кадра изображения, не оставляя дыр в картинке позади них.
Метод Вэнга идентифицирует двухмерный объект на исходной фотографии в качестве массива входных данных и создаёт трёхмерную анимационную версию этого объекта. Персонаж может уходить или убегать из исходной картинки или прыгать в 3D-изображении. Неуёмная фантазия разработчиков программного обеспечения может даже переносить персонажей в дополненную реальность.
И это может изменить способ, которым мы взаимодействуем с фотографиями. «Мы полагаем, что этот метод не только даёт людям новые возможности получать дополнительное удовольствие от фотографий и взаимодействовать с ними особым образом, но и предлагает пути к созданию виртуального 3D-аватара из обычного плоского изображения», — объясняют Вэнг.
Словно магия
Эффект, как видно из видео (англ.), приведённого ниже, удивителен, хотя и несколько неожиданный.
Легенда баскетбола Стивен Карри на фотографии приходит в движение и наплывом бежит прямо на вас из своего фото. Одно из сюрреалистических творений Пикассо прекрасно выползает из картины, причём оставляя фон нетронутым.
Чтобы эффект работал должным образом, всё, что нужно программному обеспечению Вэнга, — это неподвижный кадр с силуэтом. ПО вырезает 2D-фигуру и деформирует её нужным образом вокруг созданного 3D-скелета, который соответствует плоскому изображению.
Больше чем улучшение
Исследователи и ранее пытались создать подобный эффект, но результаты были гораздо менее впечатляющими. Подход Вэнга добавляет важную новую особенность: разработанный им алгоритм может идентифицировать различные части тела, такие как руки и ноги, и деформировать каждую из них по отдельности таким образом, чтобы они точно соответствовали 2D фигурке.
Программное обеспечение работает даже в дополненной реальности и может изменить наше взаимодействие с двухмерными произведениями искусства в следующий раз, когда мы посетим художественную галерею.
Статья о результатах разработки ПО была опубликована в издании MIT Technology Review