Google создали революционный синхронный переводчик устной речи

Автор: Павел

Компания Google в своем официальном блоге представила новую технологию синхронного перевода устной речи, получившую название Translatotron.

Translatotron

Translatotron основывается на сети «частота к частоте», что использует спектрограммы — визуальные записи частоты. Соответственно, программа слушает голос на одном языке, записывает его в форме спектрограммы, а уже потом проводит манипуляции для распознания и перевода (тоже в графическом виде). Далее в дело вступает «нейронный вокодер», преобразующий выходные спектрограммы в сформированные акустические волны, и иногда speaker encoder, что может использоваться для синтезирования переведенной речи.

Так выглядит схема процесса перевода с испанского на аглийский:

Translatotron 1

Такой алгоритм умеет сохранять интонации и паузы в речи, и даже подражать голосу на входе. Пока эффективность не выше, чем у актуальной каскадной модели, но в Google удовлетворены уже самим фактов доказанной возможности «прямого перевода», исключая фазу расшифровки речи в текст. Также нейросеть имеет склонность к обучению, значит и скорость и точность синхронного перевода при помощи Translatotron должны повыситься.

Источник: Tehnot.com

Популярное за неделю

HP Gaming

Компания HP презентовала целый ряд отдельных игровых гаджетов

Компания HP на игровой выставке Gamescom 2019 представила линейку предназначенных для игр продуктов, состоящую из ноутбуков и системных блоков Pavilion, мониторов Omen X 27,...
702
Windows 1.11

Microsoft выпустила Windows 1.11 в виде игры по вселенной Stranger Things

Всё тайное стало явным. Тизеры о Windows 1.0, которые публиковала Microsoft в социальных сетях, приводят нас к выпуску компьютерной игры Windows 1.11 в Microsoft...
1012
HoloLens 2

Microsoft поразила всех презентацией HoloLens 2

На выставке MWC Microsoft представила второе поколение гарнитуры дополненной реальности (AR) HoloLens, получившую цифру 2 в названии. По сравнению с прошлой моделью, новинка получила в...
406
Добавить комментарий

Такой e-mail уже зарегистрирован. Воспользуйтесь формой входа или введите другой.

Вы ввели некорректные логин или пароль

Sorry that something went wrong, repeat again!