В Новосибирске глухой программист научил компьютер переводить жесты на русский язык


В Новосибирске выпускник государственного технического университета Алексей Приходько научил компьютер переводить жесты на русский язык и запустил систему управления без помощи мыши. Об этом сообщается на сайте университета.


Алексей Приходько - единственный глухой программист в мире, который работает над созданием автоматического переводчика жестов на звуковой язык. В начале августа он завершил разработку системы, которая работает по аналогии с мозгом человека.


При помощи камеры компьютер распознает картинку и фиксирует жесты, обрабатывает изображение и переводит на русский звуковой язык. Также эта система позволяет управлять компьютером жестами. Движениями рук можно настроить громкость, яркость и управлять курсором на экране без помощи мыши.


"Я - исполнитель, я же - и разработчик. Представьте, если бы я занимался пианино, я не смог бы ремонтировать его, настраивать, потому что я его не слышу. То же самое и человек, который не знает жестового языка. Технически ему очень сложно работать над этим, потому что он не может учитывать всю специфику этой лингвистики", - рассказал Алексей Приходько.



По словам Алексея Приходько, сегодня существует много компаний, которые утверждают, что смогли создать готовый переводчик для глухих, они рекламируют его и уже даже продают:


"Эти крупные компании до сих пор не смогли реализовать полностью задачу перевода с жестового языка на звуковой язык, поэтому качество работы таких приложений оставляет желать лучшего. С письменного языка на жестовый переводить не сложно. Технически тяжело распознать жесты и их перевести. Все зависит еще от того, какая камера и какие датчики. Существует два способа распознавания жестов при помощи техники: безмаркерный и маркерный. Маркерная система — это когда у человека надеты специальные перчатки, приборы на запястья, браслеты и современные агрегаты, которые учитывают движение мышц и точки на корпусе человека. Я пошел сложным путем, который не требует больших затрат на специальное оборудование для создания программы с маркерной системой. Моя программа безмаркерным методом распознает человека и его жесты при помощи камер".


К слову, пока программа переводит только на уровне азбуки глухих. К защите кандидатской Алексей планирует обучить систему другим компонентам грамматики языка жестов, чтобы потом все глухие люди могли ее использовать.


Сейчас Алексей Приходько ищет инвесторов, которые помогут ему усовершенствовать систему:


"Я бы смог доработать прототип до конечного продукта за 1- 2 года, если бы кто-то готов был инвестировать. Мне не хватает сейчас ресурсов на работу над системой", - отметил Алексей Приходько.