Поиск по сайту Поиск

Топ‑5 голосовых приложений, созданных с помощью GPU

Речевой ИИ активно развивается и набирает популярность. Появляется всё больше приложений, распознающих речь и обрабатывающих естественный язык. Мы решили выделить пять наиболее популярных проектов с речевым ИИ, разработанных с помощью графических процессоров NVIDIA.

5. Amazon Alexa: распознавание человеческих эмоций

Разработчики из Amazon Research опубликовали статью, описывающую, как они используют состязательное обучение для улучшения распознавания речевых эмоций.

«Тон человека может многое рассказать о том, как он себя чувствует. Неудивительно, что распознавание эмоций становится все более популярной темой для разговорного ИИ», — сказал Виктор Розгич, старший специалист по прикладным исследованиям в группе Alexa Speech.

Работа проделана в сотрудничестве со Сринивасом Партхасарати, аспирантом факультета электротехники в Техасском университете.

4. Text2Scene: генерация изображений по их описанию

Чтобы улучшить распознавание запросов пользователей, исследователи из IBM и Университета Вирджинии разработали модель глубокого обучения Text2Scene. Она может генерировать изображения из их голосового описания на естественном языке. В отличие от других недавних решений, этот подход не использует GAN. 

Сравнение Text2Scene с другими решениями

«Мы показываем, что с помощью незначительных модификаций модель может генерировать сцены в различных стилях, в том числе карикатуры, синтетические и реалистичные изображения», — заявили исследователи. 

3. DeepZen: создание аудиокниг

Ежегодно в Соединенных Штатах издаётся и публикуется почти миллион книг, но лишь около 40 тысяч из них переводятся в аудиокниги. Это связано в основном с большими затратами и долгим временем их создания.

Чтобы упростить этот процесс, компания DeepZen разработала систему глубокого обучения, которая может генерировать аудиокниги. При этом создаваемые голоса похожи на человеческие и произносят фразы с эмоциональной окраской.

«Традиционная запись аудиокниг занимает слишком много времени и дорого стоит», — говорит Тайлан Камис, соучредитель и генеральный директор DeepZen. «Нужно найти рассказчика, арендовать звукозаписывающую студию и записать множество фраз. Это довольно длительный процесс, который может продолжаться от трех недель до нескольких месяцев. Цена создания одной аудиокниги достигает 5000 долларов. Мы решили упростить задачу: пользователи DeepZen могут выбирать голоса из готовой библиотеки, изменять и настраивать их, а затем генерировать рассказ.»

Вот отрывок повести «Превращение» Франца Кафки, сгенерированный нейросетью:

2. Multi-Task DNN: новые результаты GLUE

Microsoft AI Research недавно объявила о прорыве диалогового ИИ, который достиг новых результатов в задачах обработки естественного языка (Natural Language Processing, NLP) и, в частности, общего понимания языка (General Language Understanding Evaluation, GLUE). 

NLP-алгоритм называется Multi-Task DNN. Впервые его выпустили в январе этого года и обновили в апреле. Модель включает нейросеть BERT NLP от Google.

Оценки GLUE для трёх моделей: BERT, MT-DNN и Distilled MT-DNN.

«Для каждой задачи мы обучаем ансамбль разных методов MT-DNN (учителя), который превосходит любую отдельно взятую модель, а затем с их помощью обучаем одну сеть MT-DNN (учащегося) через многозадачное обучение.» — говорят исследователи. Исходный код MT-DNN доступен на GitHub.

1. VOCA: анимация речи

Исследователи из Института интеллектуальных систем Макса Планка разработали алгоритм глубокого обучения VOCA, который из аудиозаписи голоса и статичной 3D-модели создаёт реалистичную анимацию говорящего. 

«Существует множество книг и работ по оценке формы головы, выражений и движений лицевых мышц по изображениям и видео. Воссозданию анимации лиц по звуку уделяется гораздо меньше внимания», — заявляют исследователи. «Понимание связи между произносимой речью и движениями лица даёт ценную информацию для этой задачи, особенно если визуальные данные зашумлённые, неоднозначные или вовсе отсутствуют».

Интересный факт: для создания всех пяти приложений использовались самые мощные на сегодняшний день GPU NVIDIA Tesla. Если вы тоже планируете масштабный проект с обучением речевого ИИ и вам нужна максимальная производительность — воспользуйтесь нашими серверами с GPU NVIDIA Telsa V100.


⌘⌘⌘

Надеемся, что на этом развитие речевого искусственного интеллекта не закончится, и скоро он сможет достигнуть уровня человека в некоторых задачах (а может, и превзойдёт его). Какими приложениями с голосовым ИИ пользуетесь вы? Алиса, Сири или Google Ассистент? Делитесь в комментариях!

С оригинальной статьёй можно ознакомиться в блоге NVIDIA.

Подборка для вдохновения: бизнес-идеи 2022

Наверняка вы знаете, что для начала своего дела нужно составить бизнес-план, создать сайт, зарегистрировать домен, компанию и много другое. Но...
Read More

Итоги 2021 года: Cloud VPS на Windows, VIP-поддержка хостинга и искусство в дата-центре

Ещё один год приближается к финишной прямой — 2021 выдался действительно богатым на события для нашей компании. Поэтому редакция блога...
Read More

Самые читаемые посты в блоге за 2021: программирование, интересные факты и загадки

Компания REG.RU начинает подводить итоги уходящего года. Все 365 дней мы внимательно следили за тем, какие статьи вызывают у читателей...
Read More

Лучшие таск-сервисы для организации командной работы

Грамотное планирование — неотъемлемая частью нашей жизни, будь то ремонт квартиры, организация дня рождения или совместная работа над проектом с...
Read More

Жизненный цикл домена: регистрация, продление и новые владельцы

Спорим, вы догадывались, что зарегистрированный домен будет с вами не всегда? Многие знают, что сделка с регистратором подтверждает возможность использования...
Read More

Что такое веб-портфолио и как его создать

Портфолио — собрание выполненных работ, проектов и других документов, которые демонстрируют ваш профессионализм и опыт. И, если раньше портфолио представляло...
Read More

Чек-лист для проверки сайта: распознаём фишинговые страницы «на глаз»

Согласно статистике 45% россиян столкнулись с фишинговыми сайтами в 2021 году. Поэтому сегодня, в преддверии покупок подарков к приближающимся праздникам,...
Read More

Всем игрокам подготовиться: 5 игр для изучения программирования

Самостоятельное изучение программирования может оказаться не только сложным, но и проблематичным: как не потеряться в огромном количестве учебников и документации?...
Read More

«Доменный брокер» или как REG.RU договаривается о покупке за вас

Давайте представим, что вы решили зарегистрировать домен, но оказалось, что он уже занят другим администратором или владельцем. Казалось бы, что...
Read More

Google Workspace: Gmail, видеозвонки, календарь и многое другое

Хотите выстроить работу в режиме удалёнки? Это не так уж и сложно. Организовать онлайн-офис вам помогут digital-инструменты, например, Google Workspace,...
Read More