Разработан алгоритм, который удаляет человека с видео в режиме реального времени

Если вы когда-нибудь хотели стать человеком-невидимкой, то у вас появился такой шанс. Правда, пока только виртуально. Американец Джейсон Майес выложил в открытый доступ код программы, которая распознает на видео людей и аккуратно заменяет их на фон изображения.

Протестировать разработку может каждый, у кого есть компьютер и веб-камера. Получая изображение, программа анализирует состав фона и запоминает его. Когда в кадр попадает человек, его фигура заменяется участками фона. В отличие от существующих аналогов, код хорошо работает даже в том случае, когда фон многоцветный, а человек в кадре активно движется.

Программа была написана с использованием системы машинного обучения Tensorflow. Исходники своего творения Майес выложил на GitHub: программу можно протестировать и на веб-ресурсах Glitch и Codepen — нужно лишь включить веб-камеру и поддержку Javascript в браузере.

На ролике ниже показан пример того, как работает программа Майеса. В верхней части экрана транслируется необработанная картинка с веб-камеры, а в нижней — изображение, с которого аккуратно удален человек. Несмотря на некоторые артефакты изображения, алгоритм вполне хорошо справляется с поставленной задачей. Более того, на нижнем видео можно увидеть вмятины на покрывале, когда невидимый Джейсон ходит по кровати!

Программу можно использовать не только шутки ради, но и применять для полезных целей. Так, в своем твиттере Майес выложил «исправленное» вирусное видео, на котором в кабинет политического эксперта Роберта Келли во время прямого эфира врываются дети.