Московский школьник создал приложение для перевода жестов глухонемых

Ученик инженерного класса московской школы №1347 Кирилл Карагезов разработал мобильное приложение «Дактиль», которое способно распознавать динамические жесты русского жестового языка в реальном времени.

Как рассказал юный изобретатель, гибридная нейросетевая модель анализирует форму руки и траекторию движения, а приложение работает полностью офлайн. Точность распознавания на тестовой выборке составила 89%.

- Я хотел создать инструмент, который поможет людям с нарушением слуха свободно общаться в повседневной жизни, - объясняет Кирилл Карагезов. - Существующие решения либо переводят жесты побуквенно, что неестественно, либо требуют подключения к интернету. Мое приложение работает полностью офлайн и распознаёт полноценные динамические жесты. В планах — расширить словарь до 40 - 50 жестов и добавить синтез речи.

По данным Всероссийского общества глухих, в России более 120 тысяч глухих и слабослышащих людей используют русский жестовый язык как основной способ общения. Однако надежных технологий, способных распознавать жесты в реальном времени и работать офлайн на мобильных устройствах, до сих пор практически не существует.

Мобильное приложение-переводчик, созданное Кириллом Карагезовым, может «понимать» динамические жесты прямо на мобильном устройстве. Его гибридная нейросетевая модель на базе собранного датасета из 200 видеозаписей обучена 10 динамическим жестам: «Привет», «Прощание», «Да», «Нет», «Помочь», «Хотеть», «Слышать», «Говорить», «Еда», «Вода». Важно, что приложение не только переводит жесты в текст, но и предоставляет экран ввода с крупным шрифтом для комфортного чтения глухим собеседником.

По словам Дмитрия Ларина - преподавателя Детского технопарка «Альтаир», в котором занимался школьник, Кирилл Карагезов проделал серьезную инженерную работу: от сбора и разметки датасета до обучения нейросети и создания мобильного приложения.

- Он сделал прототип и довел его до работающего продукта с хорошей производительностью на бюджетных устройствах, - сказал Дмитрий Ларин. - Такие проекты показывают, как технологии машинного обучения могут решать социально значимые задачи.

Изобретение Кирилла Карагезова уже стало победителем прикладного конкурса для школьников «Золотая дюжина» и заняло призовое место в заключительном этапе научно-практической конференции «Инженеры будущего».

Мона Платонова.

Фото из личного архива Кирилла Карагезова