Google создали революционный синхронный переводчик устной речи

Аватар
Автор: Павел

Компания Google в своем официальном блоге представила новую технологию синхронного перевода устной речи, получившую название Translatotron.

Translatotron

Translatotron основывается на сети «частота к частоте», что использует спектрограммы — визуальные записи частоты. Соответственно, программа слушает голос на одном языке, записывает его в форме спектрограммы, а уже потом проводит манипуляции для распознания и перевода (тоже в графическом виде). Далее в дело вступает «нейронный вокодер», преобразующий выходные спектрограммы в сформированные акустические волны, и иногда speaker encoder, что может использоваться для синтезирования переведенной речи.

Так выглядит схема процесса перевода с испанского на аглийский:

Translatotron 1

Такой алгоритм умеет сохранять интонации и паузы в речи, и даже подражать голосу на входе. Пока эффективность не выше, чем у актуальной каскадной модели, но в Google удовлетворены уже самим фактов доказанной возможности «прямого перевода», исключая фазу расшифровки речи в текст. Также нейросеть имеет склонность к обучению, значит и скорость и точность синхронного перевода при помощи Translatotron должны повыситься.

Источник: Tehnot.com

Популярное за неделю

PlayStation 5

Раскрыты технические характеристики и уникальные «фишки» PlayStation 5

Марк Церни, главный архитектор PlayStation 4 и Vita, поделился некоторыми подробностями об игровой консоли PlayStation нового поколения. Ни Sony, ни Церни не говорили о...
1265
WhatsApp на KaiOS

WhatsApp снова запустили приложение на кнопочных «звонилках»

Операционная система KaiOS, которая используется на современных кнопочных телефонах, или как их ещё называют — фичерфонах, наконец получила официальную версию мессенджера WhatsApp. Приложение можно...
471
Windows 8.1 RIP

Microsoft постепенно отказывается от поддержки Windows 8.1

В следующем месяце Microsoft намерена отказаться от поддержки приложений MSN для операционной системы Windows 8.1. Как сообщает портал Dr Windows, соответствующее предупреждение появилось в MSN...
820
Добавить комментарий

Такой e-mail уже зарегистрирован. Воспользуйтесь формой входа или введите другой.

Вы ввели некорректные логин или пароль

Sorry that something went wrong, repeat again!