Поиск по сайту Поиск

Топ‑5 голосовых приложений, созданных с помощью GPU

Речевой ИИ активно развивается и набирает популярность. Появляется всё больше приложений, распознающих речь и обрабатывающих естественный язык. Мы решили выделить пять наиболее популярных проектов с речевым ИИ, разработанных с помощью графических процессоров NVIDIA.

5. Amazon Alexa: распознавание человеческих эмоций

Разработчики из Amazon Research опубликовали статью, описывающую, как они используют состязательное обучение для улучшения распознавания речевых эмоций.

«Тон человека может многое рассказать о том, как он себя чувствует. Неудивительно, что распознавание эмоций становится все более популярной темой для разговорного ИИ», — сказал Виктор Розгич, старший специалист по прикладным исследованиям в группе Alexa Speech.

Работа проделана в сотрудничестве со Сринивасом Партхасарати, аспирантом факультета электротехники в Техасском университете.

4. Text2Scene: генерация изображений по их описанию

Чтобы улучшить распознавание запросов пользователей, исследователи из IBM и Университета Вирджинии разработали модель глубокого обучения Text2Scene. Она может генерировать изображения из их голосового описания на естественном языке. В отличие от других недавних решений, этот подход не использует GAN. 

Сравнение Text2Scene с другими решениями

«Мы показываем, что с помощью незначительных модификаций модель может генерировать сцены в различных стилях, в том числе карикатуры, синтетические и реалистичные изображения», — заявили исследователи. 

3. DeepZen: создание аудиокниг

Ежегодно в Соединенных Штатах издаётся и публикуется почти миллион книг, но лишь около 40 тысяч из них переводятся в аудиокниги. Это связано в основном с большими затратами и долгим временем их создания.

Чтобы упростить этот процесс, компания DeepZen разработала систему глубокого обучения, которая может генерировать аудиокниги. При этом создаваемые голоса похожи на человеческие и произносят фразы с эмоциональной окраской.

«Традиционная запись аудиокниг занимает слишком много времени и дорого стоит», — говорит Тайлан Камис, соучредитель и генеральный директор DeepZen. «Нужно найти рассказчика, арендовать звукозаписывающую студию и записать множество фраз. Это довольно длительный процесс, который может продолжаться от трех недель до нескольких месяцев. Цена создания одной аудиокниги достигает 5000 долларов. Мы решили упростить задачу: пользователи DeepZen могут выбирать голоса из готовой библиотеки, изменять и настраивать их, а затем генерировать рассказ.»

Вот отрывок повести «Превращение» Франца Кафки, сгенерированный нейросетью:

2. Multi-Task DNN: новые результаты GLUE

Microsoft AI Research недавно объявила о прорыве диалогового ИИ, который достиг новых результатов в задачах обработки естественного языка (Natural Language Processing, NLP) и, в частности, общего понимания языка (General Language Understanding Evaluation, GLUE). 

NLP-алгоритм называется Multi-Task DNN. Впервые его выпустили в январе этого года и обновили в апреле. Модель включает нейросеть BERT NLP от Google.

Оценки GLUE для трёх моделей: BERT, MT-DNN и Distilled MT-DNN.

«Для каждой задачи мы обучаем ансамбль разных методов MT-DNN (учителя), который превосходит любую отдельно взятую модель, а затем с их помощью обучаем одну сеть MT-DNN (учащегося) через многозадачное обучение.» — говорят исследователи. Исходный код MT-DNN доступен на GitHub.

1. VOCA: анимация речи

Исследователи из Института интеллектуальных систем Макса Планка разработали алгоритм глубокого обучения VOCA, который из аудиозаписи голоса и статичной 3D-модели создаёт реалистичную анимацию говорящего. 

«Существует множество книг и работ по оценке формы головы, выражений и движений лицевых мышц по изображениям и видео. Воссозданию анимации лиц по звуку уделяется гораздо меньше внимания», — заявляют исследователи. «Понимание связи между произносимой речью и движениями лица даёт ценную информацию для этой задачи, особенно если визуальные данные зашумлённые, неоднозначные или вовсе отсутствуют».

Интересный факт: для создания всех пяти приложений использовались самые мощные на сегодняшний день GPU NVIDIA Tesla. Если вы тоже планируете масштабный проект с обучением речевого ИИ и вам нужна максимальная производительность — воспользуйтесь нашими серверами с GPU NVIDIA Telsa V100.


⌘⌘⌘

Надеемся, что на этом развитие речевого искусственного интеллекта не закончится, и скоро он сможет достигнуть уровня человека в некоторых задачах (а может, и превзойдёт его). Какими приложениями с голосовым ИИ пользуетесь вы? Алиса, Сири или Google Ассистент? Делитесь в комментариях!

С оригинальной статьёй можно ознакомиться в блоге NVIDIA.

Блогеры рекомендуют: что такое инфлюенс-маркетинг

Среди трендов продвижения особое место занимает influence-маркетинг. Его суть заключается в контакте бренда с целевой аудиторией через влиятельных лидеров мнений...
Read More

Итоги 2020 года в блоге REG.RU: Ускорение сайтов, языки программирования и онлайн-заработок

Редакция продолжает подводить итоги уходящего года. Сегодня мы поделимся материалами, которые вы больше всего оценили в 2020 году. Возможно, они...
Read More

Как прошёл 2020 год в REG.RU: адаптация к удалёнке, прокаченное железо, собственный дата-центр и новые сервисы

2020 год действительно перевернул жизнь многих с ног на голову. Произошло столько всего, что ни в сказке сказать, ни пером...
Read More

Как кибермошенники крадут домены и как защитить свой?

Злоумышленники ежедневно крадут домены и используют их для своих целей. Причём осенью 2020-го года, по подсчётам компании Group-IB, угоны участились,...
Read More

Сайт vs Соцсети: где эффективнее продвигаться в онлайне

Что важнее — свой сайт или группа ВКонтакте? Где лучше вести блог — в Инстаграме или на своём ресурсе? Споры...
Read More

Продвижение сайта в топ Яндекса

Если вы планируете развивать свой бизнес на рынках России и других стран СНГ и получать клиентов из поисковиков через SEO-продвижение...
Read More

Горячие предложения REG.RU: акции и скидки в помощь вашему бизнесу

Этот непростой год приближается к концу. Мы были рядом с вами и продолжаем поддерживать вас, поэтому сегодня редакция блога расскажет...
Read More

База знаний — помощник ваших клиентов: как создать и поддерживать

Мы уже писали о том, как организовать техническую поддержку пользователей. Однако для того, чтобы решать возникающие у клиентов вопросы, не...
Read More

Как завоевать доверие онлайн-покупателей в период праздников

Представьте, вы открыли интернет-магазин, товары выставлены на витрине, посетители потянулись на сайт, вы ждёте первого заказа, но клиенты почему-то не...
Read More

Black Black Friday. Как не попасть на сайт-подделку

В преддверии праздничных праздничных распродаж вместе со всей ecommerce-отраслью активизируются мошенники. Они регистрируют сотни фишинговых доменов, имитирующих магазины популярных брендов....
Read More