Нейросеть «прочитала» человека: ИИ оценит эмоции, речь и жесты
4 сен, 23:20 Татьяна Пустынникова
Российская нейросеть научилась распознавать эмоции
Фото: 5-tv.ru
Искусственный интеллект научился видеть настроение людей по их речи, мимике и позе.
Специалисты НИУ ВШЭ вместе с экспертами из Санкт-Петербургского Федерального исследовательского центра РАН и Центра практического ИИ Сбербанка создали нейросеть, способную анализировать эмоции, особенности личности и противоречивость поведения человека.
Разработка получила данные сразу из нескольких источников: она изучает видео, голос, содержание речи, а также описание мимики, взгляда, позы и жестов. Благодаря этому искусственный интеллект одновременно определяет эмоциональное состояние человека, оценивает воспринимаемые черты личности и выявляет амбивалентность поведения. Об этом сообщили РИА Новости в пресс-службе НИУ ВШЭ в Петербурге.
«Разработанная модель искусственного интеллекта получает информацию о поведении человека сразу по нескольким каналам. Она анализирует видео, голос и содержание речи, а также сгенерированное описание мимики, взгляда, позы и жестов. Таким образом нейросеть одновременно распознает эмоции, оценивает воспринимаемые черты личности и выявляет амбивалентность», — рассказали в пресс-службе НИУ ВШЭ.
Доцент школы информатики, физики и технологий НИУ ВШЭ — Санкт-Петербург Дмитрий Рюмин отметил, что обучение модели проходило на суперкомпьютере вуза «Харизма». Для каждой из трех задач исследователи использовали отдельные наборы данных с собственной разметкой.
По словам руководителя проекта отдела прикладных технических решений НИУ ВШЭ Елены Рюминой, главной сложностью стала необходимость объединить разные типы информации. Для оценки воспринимаемых черт личности наиболее важным оказалось видео, а при выявлении противоречивости поведения большую роль сыграло содержание речи. Объединение общих компонентов позволило использовать данные из разных корпусов и улучшить распознавание эмоций на новых материалах.
Разработчики считают, что технология может применяться в цифровых образовательных системах, интеллектуальных интерфейсах и сервисах поддержки пользователей, где важно учитывать эмоциональные и поведенческие особенности человека.
Следующим этапом работы станет создание нейросетевых экспертов, которые смогут по-разному анализировать голос, речь, мимику и жесты в зависимости от конкретной задачи. Параллельно специалисты изучают возможность создания персонализированных цифровых аватаров, способных адаптировать мимику, речь и поведение под эмоциональное состояние пользователя.
Еще больше новостей — у Пятого канала в мессенджере МАКС.