Google создали революционный синхронный переводчик устной речи

Компания Google в своем официальном блоге представила новую технологию синхронного перевода устной речи, получившую название Translatotron.

Translatotron

Translatotron основывается на сети «частота к частоте», что использует спектрограммы — визуальные записи частоты. Соответственно, программа слушает голос на одном языке, записывает его в форме спектрограммы, а уже потом проводит манипуляции для распознания и перевода (тоже в графическом виде). Далее в дело вступает «нейронный вокодер», преобразующий выходные спектрограммы в сформированные акустические волны, и иногда speaker encoder, что может использоваться для синтезирования переведенной речи.

Так выглядит схема процесса перевода с испанского на аглийский:

Translatotron 1

Такой алгоритм умеет сохранять интонации и паузы в речи, и даже подражать голосу на входе. Пока эффективность не выше, чем у актуальной каскадной модели, но в Google удовлетворены уже самим фактов доказанной возможности «прямого перевода», исключая фазу расшифровки речи в текст. Также нейросеть имеет склонность к обучению, значит и скорость и точность синхронного перевода при помощи Translatotron должны повыситься.

Источник: Tehnot.com

Популярное за неделю

Chrome bfcache

Google Chrome планирует ввести революционный режим загрузки сайтов

Компания Google объявила о создании новой функции для мобильной версии фирменного браузера Chrome, позволяющей практически моментально загружать страницы и экономить трафик. Для этого поисковый...
136
Mi Smart Band 4 2

Mi Band 4 поступил в продажу для Европы с особым названием

Только на днях компания Xiaomi представила в Китае новую версию фитнес-браслета Mi Band 4, а уже сегодня новинка добралась до Европы.   Напомним, трекер получил цветной...
190
Amazon дроны

Amazon оформила патент на слежку за людьми своими дронами

Компания Amazon получила патент на создание системы слежки за людьми с помощью дронов-курьеров. Эту же технологию можно использовать в качестве камер безопасности, пишет The...
86
Добавить комментарий

Такой e-mail уже зарегистрирован. Воспользуйтесь формой входа или введите другой.

Вы ввели некорректные логин или пароль

Sorry that something went wrong, repeat again!