Google создали революционный синхронный переводчик устной речи

Автор: Павел

Компания Google в своем официальном блоге представила новую технологию синхронного перевода устной речи, получившую название Translatotron.

Translatotron

Translatotron основывается на сети «частота к частоте», что использует спектрограммы — визуальные записи частоты. Соответственно, программа слушает голос на одном языке, записывает его в форме спектрограммы, а уже потом проводит манипуляции для распознания и перевода (тоже в графическом виде). Далее в дело вступает «нейронный вокодер», преобразующий выходные спектрограммы в сформированные акустические волны, и иногда speaker encoder, что может использоваться для синтезирования переведенной речи.

Так выглядит схема процесса перевода с испанского на аглийский:

Translatotron 1

Такой алгоритм умеет сохранять интонации и паузы в речи, и даже подражать голосу на входе. Пока эффективность не выше, чем у актуальной каскадной модели, но в Google удовлетворены уже самим фактов доказанной возможности «прямого перевода», исключая фазу расшифровки речи в текст. Также нейросеть имеет склонность к обучению, значит и скорость и точность синхронного перевода при помощи Translatotron должны повыситься.

Источник: Tehnot.com

Популярное за неделю

Poco

Инсайдеры утверждают, что Xiaomi вскоре ликвидирует бренд Poco

Xiaomi может прекратить существование собственного суббренда Poco, говорят аналитики компании IDC. Слухи о закрытии бренда пошли после увольнения руководителя подразделения Poco Джая Мани. Представитель Xiaomi...
382
Орбитальный 3D-принтер

NASA анонсировало разработку орбитального 3D-принтера для быстрой печати космических кораблей

NASA подписало контракт на 73,3 млн долларов с компанией Made In Space, которая должна продемонстрировать возможность создания компонентов космических кораблей при помощи орбитального 3D-принтера...
449
Сверхлегкий металл

Американские ученые cоздали металл, который не тонет в воде

Всем известно, что металлы — довольно тяжелый класс веществ, который обладает высокой плотностью и (если мы не говорим об особых сплавах или сверхтонких листах...
973
Добавить комментарий

Такой e-mail уже зарегистрирован. Воспользуйтесь формой входа или введите другой.

Вы ввели некорректные логин или пароль

Sorry that something went wrong, repeat again!