Верстка интерфейса сайта или программы отнимает много времени. Обычно дизайнеры сначала готовят нужные графические элементы и дают верстальщикам готовое изображение интерфейса, показывая тем самым, где именно должны располагаться эти элементы. А уже потом программисты, отвечающие за верстку, пишут программный код, который учитывает расположение графических объектов и привязывает их к функциям, обрабатываемым программным обеспечением или движком сайта.
Новый алгоритм pix2code даст возможность почти полностью автоматизировать этот процесс. Нейросеть научили «просматривать» изображение или скриншот пользовательского интерфейса, а потом генерировать готовую страницу со всем необходимым кодом, оформлением и графическими элементами. Причем обычно не требуется значительная доработка готового кода.
В настоящее время pix2code может генерировать код для приложений под операционные системы iOS и Android, а также для интернет сайтов. Как сообщили разработчики, на данном этапе точность генерации кода составляет 77%, но в дальнейшем планируется значительно повысить эту цифру при помощи тренировок нейросети.
Uizard Technologies собирается опубликовать прототип pix2code на GitHub, но по словам разработчиков, они не намерены делиться исходным кодом.
Кстати говоря, в декабре прошлого в Торонто представили нейросеть, которая может сочинять песни о предметах, которые изображены на фотографиях. Алгоритм создает мелодию и подбирает к ней слова в режиме реального времени. Работа программы была протестирована на фотографии рождественской елки.