Переводчик Google научился имитировать речь пользователя

Американская компания Google разработала алгоритм, который может напрямую переводить речь на другой язык, не используя текстовые представления и сохраняя голосовые данные и темп речи говорящего. Об этом сказано в блоге Google.

Компания отказалась от перевода речи в текст в Google Translate и озвучивания ее после, так как это зачастую приводит к ошибкам при переводе. Теперь речь говорящего сразу будет переводиться с одного на другой язык. Нейросеть с долгой краткосрочной памятью будет принимать голосовой ввод и обрабатывать его как спектрограмму, затем генерировать на этой основе новую спектрограмму на целевом языке.

Разработчикам Google Translate удалось сохранить оригинальный голос говорящего даже в переведенной речи. В настоящее время они «учат» алгоритм понимать векторное представление слов на обоих языках, а также грамматически верным формам и сочетаниям на большом примере.