Google создали революционный синхронный переводчик устной речи

Автор: Павел

Компания Google в своем официальном блоге представила новую технологию синхронного перевода устной речи, получившую название Translatotron.

Translatotron

Translatotron основывается на сети «частота к частоте», что использует спектрограммы — визуальные записи частоты. Соответственно, программа слушает голос на одном языке, записывает его в форме спектрограммы, а уже потом проводит манипуляции для распознания и перевода (тоже в графическом виде). Далее в дело вступает «нейронный вокодер», преобразующий выходные спектрограммы в сформированные акустические волны, и иногда speaker encoder, что может использоваться для синтезирования переведенной речи.

Так выглядит схема процесса перевода с испанского на аглийский:

Translatotron 1

Такой алгоритм умеет сохранять интонации и паузы в речи, и даже подражать голосу на входе. Пока эффективность не выше, чем у актуальной каскадной модели, но в Google удовлетворены уже самим фактов доказанной возможности «прямого перевода», исключая фазу расшифровки речи в текст. Также нейросеть имеет склонность к обучению, значит и скорость и точность синхронного перевода при помощи Translatotron должны повыситься.

Источник: Tehnot.com

Популярное за неделю

Беспилотные синхроптеры

Создана первая в мире модель беспилотных синхроптеров от Kaman Aerospace

Компания Kaman Aerospace — единственный в мире производитель серийных вертолётов двухвинтовой поперечной схемы с большим перекрытием перекрещивающихся несущих винтов (синхроптеров) — выпустит первые беспилотные...
422
Cooper SE 2

Бренд Mini Cooper обзавелся первой серийной моделью электромобилей

Бренд Mini, принадлежащий концерну BMW, анонсировал свой первый полностью электрический серийный автомобиль Cooper SE, также известный как Electric. Технические характеристики Электродвигатель новинки обеспечивает мощность 135 кВт...
578
Google Pixel 4

Новые цвета Google Pixel 4 засветились в очередной утечке рендеров

Благодаря опубликованному Google тизеру, внешность смартфона Pixel 4 — не секрет. Но новые утекшие рендеры демонстрируют устройство в трех новых цветах. Один из цветов —...
435
Добавить комментарий

Такой e-mail уже зарегистрирован. Воспользуйтесь формой входа или введите другой.

Вы ввели некорректные логин или пароль

Sorry that something went wrong, repeat again!