Поиск по сайту Поиск

Топ‑5 голосовых приложений, созданных с помощью GPU

Речевой ИИ активно развивается и набирает популярность. Появляется всё больше приложений, распознающих речь и обрабатывающих естественный язык. Мы решили выделить пять наиболее популярных проектов с речевым ИИ, разработанных с помощью графических процессоров NVIDIA.

5. Amazon Alexa: распознавание человеческих эмоций

Разработчики из Amazon Research опубликовали статью, описывающую, как они используют состязательное обучение для улучшения распознавания речевых эмоций.

«Тон человека может многое рассказать о том, как он себя чувствует. Неудивительно, что распознавание эмоций становится все более популярной темой для разговорного ИИ», — сказал Виктор Розгич, старший специалист по прикладным исследованиям в группе Alexa Speech.

Работа проделана в сотрудничестве со Сринивасом Партхасарати, аспирантом факультета электротехники в Техасском университете.

4. Text2Scene: генерация изображений по их описанию

Чтобы улучшить распознавание запросов пользователей, исследователи из IBM и Университета Вирджинии разработали модель глубокого обучения Text2Scene. Она может генерировать изображения из их голосового описания на естественном языке. В отличие от других недавних решений, этот подход не использует GAN. 

Сравнение Text2Scene с другими решениями

«Мы показываем, что с помощью незначительных модификаций модель может генерировать сцены в различных стилях, в том числе карикатуры, синтетические и реалистичные изображения», — заявили исследователи. 

3. DeepZen: создание аудиокниг

Ежегодно в Соединенных Штатах издаётся и публикуется почти миллион книг, но лишь около 40 тысяч из них переводятся в аудиокниги. Это связано в основном с большими затратами и долгим временем их создания.

Чтобы упростить этот процесс, компания DeepZen разработала систему глубокого обучения, которая может генерировать аудиокниги. При этом создаваемые голоса похожи на человеческие и произносят фразы с эмоциональной окраской.

«Традиционная запись аудиокниг занимает слишком много времени и дорого стоит», — говорит Тайлан Камис, соучредитель и генеральный директор DeepZen. «Нужно найти рассказчика, арендовать звукозаписывающую студию и записать множество фраз. Это довольно длительный процесс, который может продолжаться от трех недель до нескольких месяцев. Цена создания одной аудиокниги достигает 5000 долларов. Мы решили упростить задачу: пользователи DeepZen могут выбирать голоса из готовой библиотеки, изменять и настраивать их, а затем генерировать рассказ.»

Вот отрывок повести «Превращение» Франца Кафки, сгенерированный нейросетью:

2. Multi-Task DNN: новые результаты GLUE

Microsoft AI Research недавно объявила о прорыве диалогового ИИ, который достиг новых результатов в задачах обработки естественного языка (Natural Language Processing, NLP) и, в частности, общего понимания языка (General Language Understanding Evaluation, GLUE). 

NLP-алгоритм называется Multi-Task DNN. Впервые его выпустили в январе этого года и обновили в апреле. Модель включает нейросеть BERT NLP от Google.

Оценки GLUE для трёх моделей: BERT, MT-DNN и Distilled MT-DNN.

«Для каждой задачи мы обучаем ансамбль разных методов MT-DNN (учителя), который превосходит любую отдельно взятую модель, а затем с их помощью обучаем одну сеть MT-DNN (учащегося) через многозадачное обучение.» — говорят исследователи. Исходный код MT-DNN доступен на GitHub.

1. VOCA: анимация речи

Исследователи из Института интеллектуальных систем Макса Планка разработали алгоритм глубокого обучения VOCA, который из аудиозаписи голоса и статичной 3D-модели создаёт реалистичную анимацию говорящего. 

«Существует множество книг и работ по оценке формы головы, выражений и движений лицевых мышц по изображениям и видео. Воссозданию анимации лиц по звуку уделяется гораздо меньше внимания», — заявляют исследователи. «Понимание связи между произносимой речью и движениями лица даёт ценную информацию для этой задачи, особенно если визуальные данные зашумлённые, неоднозначные или вовсе отсутствуют».

Интересный факт: для создания всех пяти приложений использовались самые мощные на сегодняшний день GPU NVIDIA Tesla. Если вы тоже планируете масштабный проект с обучением речевого ИИ и вам нужна максимальная производительность — воспользуйтесь нашими серверами с GPU NVIDIA Telsa V100.


⌘⌘⌘

Надеемся, что на этом развитие речевого искусственного интеллекта не закончится, и скоро он сможет достигнуть уровня человека в некоторых задачах (а может, и превзойдёт его). Какими приложениями с голосовым ИИ пользуетесь вы? Алиса, Сири или Google Ассистент? Делитесь в комментариях!

С оригинальной статьёй можно ознакомиться в блоге NVIDIA.

Как создать свой сайт, даже если не знаете с чего начать

Сайт — хороший способ заявить о себе или своём бизнесе в онлайне. В этой статье расскажем, как создать крутой сайт...
Read More

Безопасность личных данных: 10 лучших менеджеров паролей

Как часто вы задумывались над тем, сколько же всего у вас аккаунтов на различных ресурсах? Методы держать в памяти или...
Read More

Домены — оригинальные подарки на 23 февраля

В День защитника Отечества многие мужчины получают стандартные подарки. Все вы их знаете :). Сегодня редакция предлагает вам оригинальную альтернативу...
Read More

Приём платежей по ссылке: что это и как подключить?

Современные технологии помогают забыть о сложностях и мгновенно (в режиме 24/7) переводить и получать деньги. Сегодня расскажем о том, как...
Read More

Как правильный домен поможет вашему бизнесу: 4 совета

Первое знакомство клиента с организацией сегодня чаще всего происходит в интернете. Совместно с Регистратурой Radix мы расскажем о том, как...
Read More

Домен .IO может исчезнуть? Разбираем ситуацию

.IO — один из популярных в IT-отрасли доменов. Кому он принадлежит, какие споры вокруг него возникали, правда ли, что доменная...
Read More

Лёгкое изучение программирования: 13 бесплатных онлайн-игр

Вы думаете, что программирование это сложно и скучно? А что если мы скажем, что можно учиться играючи? Мы составили для...
Read More

Как придумать крутое название или гайд по неймингу

Имя бренда или продукта влияет не только на его узнаваемость, но и на спрос и доверие потребителей. Именно название продукта...
Read More

Что может ИИ и машинное обучение в 2021 году

В последние годы на IT-рынке произошёл настоящий бум из-за искусственного интеллекта. И в этом нет ничего удивительного: современные вычислительные и...
Read More

Почему они уходят: 6 разочарований пользователей на сайте

Вы когда-нибудь задумывались, как казалось бы крошечные и незаметные вещи на сайте могут раздражать его посетителей? Сегодня пользователи ждут, что...
Read More