Development of a software module for recognizing the fingerspelling of the Russian Sign Language based on LSTM

M. G. Grif, Y. K. Kondratenko

Результат исследования: Научные публикации в периодических изданияхстатья по материалам конференциирецензирование

Аннотация

Russian Sign Language is a natural language that serves as a means of communication for people with hearing impairments. Currently, it is necessary to provide communication paths between hearing and deaf people, which requires the solution of several specific problems, one of which is gesture recognition. The paper presents a system for recognizing isolated static and dynamic gestures of the dactyl alphabet of the Russian Sign Language. The system is based on machine learning methods and is an LSTM with Mediapipe Hands as feature extractor. The network showed an F-measure value of 91% on test data.

Язык оригиналаанглийский
Номер статьи012024
ЖурналJournal of Physics: Conference Series
Том2032
Номер выпуска1
DOI
СостояниеОпубликовано - 18 окт 2021
Событие2021 International Conference on IT in Business and Industry, ITBI 2021 - Novosibirsk, Российская Федерация
Продолжительность: 12 мая 202114 мая 2021

Предметные области OECD FOS+WOS

  • 6.02.OY ЯЗЫК И ЛИНГВИСТИКА
  • 1.02 КОМПЬЮТЕРНЫЕ И ИНФОРМАЦИОННЫЕ НАУКИ

Fingerprint

Подробные сведения о темах исследования «Development of a software module for recognizing the fingerspelling of the Russian Sign Language based on LSTM». Вместе они формируют уникальный семантический отпечаток (fingerprint).

Цитировать