Google создали революционный синхронный переводчик устной речи

Аватар
Автор: Павел

Компания Google в своем официальном блоге представила новую технологию синхронного перевода устной речи, получившую название Translatotron.

Translatotron

Translatotron основывается на сети «частота к частоте», что использует спектрограммы — визуальные записи частоты. Соответственно, программа слушает голос на одном языке, записывает его в форме спектрограммы, а уже потом проводит манипуляции для распознания и перевода (тоже в графическом виде). Далее в дело вступает «нейронный вокодер», преобразующий выходные спектрограммы в сформированные акустические волны, и иногда speaker encoder, что может использоваться для синтезирования переведенной речи.

Так выглядит схема процесса перевода с испанского на аглийский:

Translatotron 1

Такой алгоритм умеет сохранять интонации и паузы в речи, и даже подражать голосу на входе. Пока эффективность не выше, чем у актуальной каскадной модели, но в Google удовлетворены уже самим фактов доказанной возможности «прямого перевода», исключая фазу расшифровки речи в текст. Также нейросеть имеет склонность к обучению, значит и скорость и точность синхронного перевода при помощи Translatotron должны повыситься.

Источник: Tehnot.com

Популярное за неделю

WhatsApp на KaiOS

WhatsApp снова запустили приложение на кнопочных «звонилках»

Операционная система KaiOS, которая используется на современных кнопочных телефонах, или как их ещё называют — фичерфонах, наконец получила официальную версию мессенджера WhatsApp. Приложение можно...
3231
PlayStation 5

Раскрыты технические характеристики и уникальные «фишки» PlayStation 5

Марк Церни, главный архитектор PlayStation 4 и Vita, поделился некоторыми подробностями об игровой консоли PlayStation нового поколения. Ни Sony, ни Церни не говорили о...
3880
Telegram против SEC

Комиссия по ценным бумагам и биржам США заблокировали криптовалюту Telegram

Окружной суд Манхэттена наложил временный запрет на продажу криптовалюты Gram в отношении Telegram Group Inc и TON Issuer Inc. Истец — комиссия по ценным...
409
Добавить комментарий

Такой e-mail уже зарегистрирован. Воспользуйтесь формой входа или введите другой.

Вы ввели некорректные логин или пароль

Sorry that something went wrong, repeat again!