Ученые из Петербурга читают по губам

Ученые из Санкт-Петербургского института информатики и автоматизации Российской академии наук (СПИИРАН) ведут научно-исследовательские проекты по созданию компьютерных систем, способных читать речь по губам и понимать язык жестов. Об этом ТАСС рассказал заведующий лабораторией речевых и многомодальных интерфейсов Алексей Карпов.

"Мы выполняем при поддержке Министерства науки и высшего образования России двусторонний проект с чешскими коллегами по разработке мобильного информационного робота с многомодальными интерфейсами пользователя. Так, там будет применен русскоязычный речевой интерфейс, а также будет жестовый интерфейс, чтобы робот мог взаимодействовать также с глухими людьми", - рассказал ТАСС Карпов про первый из проектов.

По его словам, прототип робота, который построят на основе этих разработок, будет представлять из себя помощника для покупателей супермаркетов. Машина сможет понимать речевые запросы покупателя и элементы языка жестов, проводит человека к нужным товарам и транспортирует покупки на тележке. Помимо этого, разрабатываемую систему можно будет использовать в банках, МФЦ и других организациях для работы с клиентами, в том числе - общающимися с помощью языка жестов.

Второй смежный проект должен позволить с высокой точностью и устойчивостью распознавать речь по движению губ, что будет полезно не только для общения с глухими людьми, но также и для распознавания речи в шумных местах.

"Это объединение распознавания звучащей речи и чтения речи по губам, для этого исследования мы используем высокоскоростную видеокамеру, которая выдает 200 кадров в секунду, что в несколько раз больше, чем у обычных камер. Мы получаем видеоизображения, обрабатываем звук и затем объединяем данные. Это позволяет улучшить точность распознавания речи в шумных помещениях, на улице и так далее. В настоящее время система уже может распознавать данным способом сотни слов на русском языке", - рассказал Карпов ТАСС.

16/07/2019

Источники: http://tass.ru