Британские ученые создали нейросеть, переводящую текст в жестовую речь

Разработчики из Университета Суррея в Англии создали нейросетевой алгоритм, способны превращать в текст в жестовую речь. Об этом сообщает портал arXiv.org.

Алгоритм качественно производит сурдоперевод и отдельно обучается для качественного синтеза кистей рук. Он изначально принимает речь в виде текста, который проходит через кодировщик и превращается в модель тела с иллюстрацией жеста говорящего. Полученная последовательность поз кодируется в вектор и подается на сверточную нейросеть U-Net.

Во время обучения алгоритм проверяет качество своей работы после синтеза видео. Такой метод позволил добиться гораздо лучшего результата, чем у предыдущих подобных. Ученые обучали алгоритм на на датасете PHOENIX14T, состоящем из 386 записей сурдопереводчиков на немецком телеканале. Они также провели тест на 46 добровольцах. Некоторые из которых были носителями языка жестов и оценили новый алгоритм.

Как сообщало ранее Delovoe.tv, американский ученый оценил стоимость Земли.

Фото: Pixabay.com