Не болтай! Российские эксперты научили нейросеть читать по губам

11.04.2023, 12:12 Эмилия Малинина 240 0

Российские специалисты из Петербурга научили смартфон читать по губам

Работники Санкт-Петербургского федерального исследовательского центра РАН научили искусственный интеллект понимать русский язык по движениям губ. Эту информацию сообщили в Министерстве науки и высшего образования РФ.

Известно, что программа доступна для установки на любом устройстве с видеокамерой. Новшество стало первой нейросетью в мире, которая может воспринимать русские слова таким нестандартным способом.

Стоит отметить, что разработку создали для работы в шумных помещениях. Теперь электронным голосовым помощником могут пользоваться водители грузового транспорта, пилоты и остальные профессионалы, чья деятельность соприкасается с громким оборудованием.

«Мы разработали приложение для смартфона, которое распознает звучащую речь и считывает по губам слова пользователя, анализируя видеосигнал с камеры гаджета. Программа совмещает и изучает информацию из двух источников для улучшения точности распознавания», — заявил старший научный сотрудник лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН Денис Иванько в беседе с изданием «Известия».

Отмечается, что разработчики стремились достичь лучшего понимания человека для робота с помощью визуальных и звуковых источников. В достижении этой цели им помог метод машинного обучения. Нейросеть воспринимала специальное видео со звуком, где человек говорит определенные слова. Таким образом программа стала понимать простые и часто используемые команды. Помимо этого робот сам определяет, когда для понимания следует «слушать», а когда «смотреть» на губы.

Ранее 5-tv.ru сообщал, как искусственный интеллект может переиграть человека.